Radar Perene / Arquivos / ciência

Look-ahead bias: o erro que faz um modelo \"prever o passado\"

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Um aluno entrega a prova com todas as respostas certas. O professor desconfia — e descobre que o gabarito estava sobre a mesa durante o exame. Ninguém chamaria aquilo de talento. Em pesquisa de mercado, porém, o equivalente exato desse episódio circula todos os dias com nome de resultado: um modelo testado sobre o passado usando informação que, naquele passado, ainda não existia.

Look-ahead bias (viés de antecipação) é o erro metodológico de permitir que um teste sobre dados históricos use informação que só se tornou disponível depois da data que está sendo simulada. O modelo parece prever o futuro; na verdade, consultou o futuro para descrever o passado.

O nome em inglês domina a literatura, e ainda não há tradução assentada em português — "viés de antecipação" e "viés de olhar adiante" aparecem de forma esparsa. O conceito, esse sim, é universal: nenhuma conclusão sobre "o que teria funcionado" vale alguma coisa se o teste enxergou o gabarito.

Como o gabarito entra na prova sem ninguém perceber

O caso escandaloso é raro. Quase ninguém programa, de propósito, um modelo que lê o preço de amanhã para decidir hoje. O viés entra pelas frestas discretas, e três delas respondem pela maior parte dos casos.

A primeira é a data de divulgação. O PIB de um trimestre é publicado meses depois de o trimestre acabar; um balanço corporativo, semanas depois do fechamento. Um teste que usa o dado na data do fato — e não na data em que o dado se tornou público — dá ao modelo uma vantagem que nenhum participante daquele pregão teve.

A segunda é a revisão de séries. Boa parte das séries macroeconômicas é revisada: o número de emprego divulgado em março não é o mesmo que consta na série oficial baixada dez anos depois. Quem testa sobre a série final está usando uma versão do passado que só existiu no futuro.

A terceira é a mais sutil: a decisão contaminada. O pesquisador escolhe quais ativos, quais janelas e quais regras testar já sabendo como a história terminou. Nenhuma linha de código olha adiante — mas o desenho do estudo inteiro foi escrito por alguém que olhou. É a fresta que conecta este erro aos seus primos, o viés de sobrevivência e o overfitting: nos três, o passado testado não é o passado que alguém viveu.

O antídoto tem nome: ponto no tempo

A defesa contra o viés de antecipação não é inteligência — é disciplina de arquivo. Chama-se dado point-in-time: para cada data simulada, o teste só enxerga o que estava público e disponível naquela data, na versão daquela data.

É uma disciplina cara. Exige guardar não só os valores, mas o calendário de quando cada valor apareceu — e resistir à tentação de "corrigir" o arquivo quando uma versão melhor do dado surge depois. O arquivo honesto envelhece com os próprios erros de época dentro dele.

Esta casa opera sob essa regra por construção. Cada registro do Diário e cada ensaio do Atlas é escrito somente com o que o fechamento daquela data continha — o desfecho posterior não entra na leitura, nem quando o editor o conhece. O episódio da Selic a 3,75% em março de 2020 é um exemplo do gênero: o texto registra o que a data sabia, não o que 2021 revelou. Uma vez publicado, o registro é travado — reprocessar o sistema não reescreve o passado publicado. Em números: o acervo público soma cerca de 280 ensaios construídos sob essa regra, e o pacote de dados que acompanha a pesquisa da casa — séries, eventos datados e registro prévio de hipóteses — está depositado com DOI público (10.5281/zenodo.21399426), verificável por qualquer leitor.

Por que o erro sobrevive

Se o antídoto é conhecido, por que o viés persiste? Porque ele é agradável. Um teste contaminado produz curvas bonitas, e curvas bonitas circulam melhor do que ressalvas metodológicas. Quem vende um modelo raramente tem incentivo para auditar a linha do tempo do próprio dado; quem compra raramente sabe que essa auditoria é a primeira pergunta a fazer.

Há também um motivo menos cínico: verificar a disponibilidade histórica de cada insumo é trabalho tedioso, invisível no resultado final. A diferença entre um estudo com e sem essa auditoria não aparece no gráfico — aparece anos depois, quando o desempenho real diverge do simulado. O viés de antecipação é uma dívida que o teste contrai com o futuro.

Perguntas frequentes

Look-ahead bias é o mesmo que overfitting?

Não. No overfitting, o modelo se ajusta demais ao ruído da amostra que viu; no look-ahead, o teste usa informação que não estava disponível na data simulada. Um estudo pode sofrer dos dois ao mesmo tempo — e os dois inflam resultados históricos.

Um backtest com dados oficiais atuais está automaticamente contaminado?

Muitas vezes, sim. Séries macroeconômicas revisadas e balanços republicados fazem a versão atual do passado diferir da versão que era pública em cada data. A pergunta relevante é sempre: este número, nesta versão, estava disponível naquele dia?

Como um leitor identifica o problema num estudo alheio?

Procurando a linha do tempo dos insumos: o estudo declara quando cada dado se tornou público? Usa versões originais ou revisadas? Descreve como evitou decisões tomadas com conhecimento do desfecho? A ausência dessas respostas costuma dizer mais do que qualquer curva de desempenho.

O viés só afeta modelos quantitativos?

Não. Qualquer narrativa sobre o passado escrita com o desfecho em mãos — "era óbvio que aquilo ia acontecer" — comete a versão verbal do mesmo erro. A literatura chama esse primo de viés retrospectivo (hindsight bias).

Se o teste honesto exige datar cada informação, o passo seguinte é entender onde uma pesquisa datada se torna pública antes de qualquer selo formal: o que é um preprint e onde ficam os nossos →

Leituras da casa: a leitura de hoje, no Diário · os precedentes, no Atlas.

Auditar a linha do tempo de um teste específico é o tipo de exercício que a casa conduz em conversa, fora do artigo público.

Leia também: O que é um preprint e onde ficam os nossos · O que é uma anomalia estatística? · O que é o Índice de Risco Perene?