Radar Perene / Arquivos / ciência

Overfitting em backtest não é sobre trading, é sobre método

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Existe um jeito garantido de construir um modelo que explica perfeitamente os últimos vinte anos de qualquer mercado: dar a ele parâmetros suficientes. Com liberdade bastante, uma equação passa por todos os pontos do gráfico — cada crise, cada rali, cada soluço. E existe uma segunda garantia, menos anunciada: quanto mais perfeito o ajuste ao passado, pior o comportamento diante do primeiro dia que o modelo nunca viu.

Overfitting (sobreajuste) é quando um modelo aprende o ruído da amostra em vez do padrão do fenômeno — decora as respostas da prova antiga em lugar de aprender a matéria. O sintoma clássico: desempenho brilhante nos dados que treinaram o modelo, desempenho medíocre fora deles.

No Brasil, o termo circula quase só como jargão de trader — um risco técnico de quem programa robôs, resolvido com uma checagem de plataforma. Essa leitura encolhe o conceito. O overfitting é um problema de epistemologia experimental: ele decide se um resultado é conhecimento ou coincidência bem vestida — e alcança qualquer pesquisa quantitativa, de estratégia de fundo a política pública.

O mecanismo: liberdade demais, dados de menos

Todo conjunto de dados finito contém acidentes: coincidências que aconteceram uma vez e não significam nada. Um modelo flexível o bastante não distingue o acidente da regra — ajusta os dois com o mesmo entusiasmo. Cada parâmetro extra, cada regra adicional, cada exceção acomodada é um grau de liberdade a mais para decorar o passado.

O disfarce é que o sobreajuste parece rigor. O modelo com quinze regras explica o histórico melhor que o modelo com três — no papel, ele é "mais completo". A diferença só aparece no confronto com dados novos, e é por isso que a divisão entre amostra de treino e amostra de teste, feita antes de qualquer conta, é a fronteira entre pesquisa e curadoria de coincidências. Quem testa no mesmo terreno em que ajustou não testou: reapresentou.

Em séries financeiras, o problema é agravado por um detalhe estrutural: os dados são poucos. Vinte anos de pregões soam como muita coisa, mas contêm meia dúzia de regimes econômicos distintos — e um modelo que decorou dois ciclos não aprendeu "o mercado"; aprendeu dois episódios.

A tradição científica tem um antídoto antigo para esse excesso: a parcimônia. Entre duas explicações com o mesmo poder, prefere-se a mais simples — não por elegância, mas por segurança: cada complicação a mais é uma oportunidade a mais de decorar acidente. Em pesquisa quantitativa, a pergunta operacional é sempre a mesma: esta regra adicional existe porque o fenômeno a exige, ou porque a série de treino a recompensou? Quando a única resposta honesta é a segunda, a regra sai.

A experiência da casa: o teste que derrubou os próprios achados

A defesa contra o sobreajuste tem nome na literatura e na prática da casa: teste de robustez — exigir que um resultado sobreviva fora da janela, com outras medidas, sob outros recortes, antes de chamá-lo de resultado.

Um dos working papers públicos da casa mostra essa régua aplicada contra nós mesmos. O estudo das relações intermercado brasileiras — público no Zenodo sob o DOI 10.5281/zenodo.21327663 — partiu de um conjunto de relações candidatas entre classes de ativos que a primeira versão havia identificado. Submetidas a testes mais duros, quase todas caíram; a versão publicada registra que apenas a relação ligada a utilities sobreviveu ao crivo, e documenta a correção do achado anterior no próprio texto. O protocolo de auditoria funcionou como desenhado: o que era ajuste fino ao passado foi identificado e descartado antes de virar doutrina.

Um estudo que termina menor do que começou é frustrante de escrever e valioso de ler — porque o que restou passou por tentativas honestas de destruição. O conceito de intermercado que a casa usa hoje descende desse sobrevivente, não da lista original de candidatos.

A régua para ler qualquer backtest

Diante de um histórico simulado impressionante, quatro perguntas separam método de decoração:

Quantos parâmetros o modelo tem — e cada um se justifica por uma razão econômica, ou só pelo ajuste? O teste foi feito em dados que o modelo nunca viu, separados antes do ajuste? O resultado sobrevive a variações razoáveis — outra janela, outro recorte, outro custo de transação? E quantas versões da estratégia foram testadas antes desta que está no relatório?

A quarta pergunta liga este artigo ao anterior da trilha: um backtest sobreajustado escolhido entre muitos é p-hacking com gráfico. Os dois defeitos costumam viajar juntos.

Perguntas frequentes

Overfitting e p-hacking são a mesma coisa?

São defeitos irmãos com eixos diferentes: o overfitting é o excesso de ajuste dentro de um modelo; o p-hacking é a seleção entre muitos modelos ou testes. Um backtest de curso vencedor frequentemente contém os dois.

Backtest é inútil, então?

Não — é indispensável, como hipótese disciplinada. O que o invalida é a promoção indevida: tratar o desempenho simulado no passado como evidência sobre o futuro sem teste fora da amostra e sem robustez.

Como saber se um modelo está sobreajustado sem acesso ao código?

Sinais externos: muitos parâmetros com justificativas vagas, desempenho "bom demais" e regular demais, ausência de teste fora da amostra declarado, e resultados que dependem de uma janela específica de datas.

Modelos simples nunca sobreajustam?

Sobreajustam menos, por terem menos liberdade — mas a simplicidade não imuniza: um modelo simples escolhido entre centenas de modelos simples herda o defeito pela via da seleção.

---

Os estudos citados nesta trilha têm um detalhe em comum: cada um pode ser encontrado, na versão exata mencionada, por um código permanente — e esse é o próximo tema: O que é DOI.

Leituras da casa: o que sobreviveu aos testes alimenta a leitura de hoje, no Diário; os episódios que serviram de prova estão nos precedentes, no Atlas.

Submeter um backtest específico a essa bateria de perguntas é trabalho de bancada — do gênero que a casa executa sob consulta.

Leia também: O que é DOI e por que cada estudo do Radar Perene tem um · O que é a leitura de intermercado? · O que é uma anomalia estatística?