Radar Perene / Arquivos / ciência

Backtesting honesto: separar a amostra antes de testar

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Existe um gênero de gráfico que nunca decepciona: a curva de patrimônio de um backtest. Ela sobe com a serenidade de quem conhece o final do filme — porque conhece. Testada sobre um passado que já aconteceu, ajustada até funcionar nele, a regra exibe um histórico impecável exatamente até o dia em que encontra um futuro de verdade. O contraste entre a curva simulada e o desempenho vivo é tão rotineiro que deveria constar como fato estilizado da indústria. E, no entanto, o problema não está na ferramenta: testar regras contra o passado é um dos instrumentos legítimos da pesquisa. O problema está em quem responde a pergunta antes de fazê-la.

Backtesting honesto é o teste de uma regra sobre dados históricos conduzido como protocolo de pesquisa: hipótese declarada antes de qualquer conta, dados que respeitam o que cada data sabia, amostra separada antes do primeiro teste — uma parte para desenvolver, outra intocada para verificar — e contabilidade completa de todas as tentativas, incluindo as que falharam.

A definição descreve um protocolo, não uma plataforma. Os tutoriais que dominam o termo em português ensinam a operar o software; quase nenhum ensina a não se enganar — e o segundo aprendizado é o que separa pesquisa de vitrine.

O protocolo, peça por peça

O backtest honesto se reconhece por cinco compromissos, todos assumidos antes do primeiro resultado.

A hipótese vem antes da conta. O que será testado, em qual série, em qual período, com qual critério de sucesso — tudo escrito antes de rodar qualquer coisa. Esta trilha dedicou um artigo inteiro ao registro pré-análise; a versão de bolso cabe numa linha: quem define a régua depois do salto não mediu o salto.

A amostra é dividida antes de qualquer olhada. Uma parte dos dados serve para desenvolver e calibrar a regra; a outra — fora da amostra — fica trancada até o fim, e é visitada uma única vez, como veredicto. A ordem é o que importa: separar depois de explorar tudo é separar nada, porque a memória do pesquisador já contaminou os dois pedaços.

Cada data só sabe o que sabia. Balanços entram na data de publicação, não na do exercício; séries revisadas entram na versão da época. É a disciplina do dado ponto-no-tempo, descrita em look-ahead bias — sem ela, o teste consulta o gabarito.

O universo inclui os mortos. Testar sobre os ativos que existem hoje é herdar o viés de sobrevivência: os falidos e deslistados saíram da foto, e com eles saiu a metade feia da história.

Custos e tentativas entram na conta. Corretagem, impostos e fricção de execução, que corroem padrões pequenos; e o número total de variações testadas, porque vinte tentativas silenciosas compram uma "descoberta" por puro acaso — o mecanismo que esta trilha desmontou em p-hacking.

Por que quase nenhum backtest público segue o protocolo

A resposta curta é que o protocolo é caro e o atalho é invisível. Cada compromisso da lista custa tempo, dado ou orgulho — e a violação de qualquer um deles não deixa marca no gráfico final. Duas curvas idênticas podem esconder processos opostos: uma nasceu de hipótese declarada e sobreviveu à amostra trancada; a outra é a vigésima variação de uma ideia que falhou dezenove vezes. O leitor que só vê a curva não tem como distinguir — e o vendedor que só mostra a curva conta com isso.

Daí o critério prático desta trilha inteira: a credibilidade de um backtest não está no resultado, está na biografia. Um teste com retorno modesto, custos descontados, universo completo e fracassos relatados informa mais do que uma curva espetacular sem certidão de nascimento.

O que a casa pratica — e o que deposita em público

Esta casa usa backtests como instrumento de pesquisa, não como material de venda — não há robô, curso nem sinal na prateleira, o que remove o incentivo estrutural para embelezar curvas. O protocolo descrito acima é o praticado internamente, e a parte verificável dele é pública: o pacote de dados que acompanha a pesquisa da casa — séries, eventos datados e o registro prévio de hipóteses — está depositado em repositório aberto com DOI ativo (10.5281/zenodo.21399426), e a série de working papers da casa inclui um estudo cuja conclusão publicada nega a própria hipótese testada. Em números: seis working papers estão públicos no Zenodo com DOI próprio, e um deles carrega desfecho negativo no corpo do texto. Parâmetros e código de cada teste pertencem à bancada; o que se pode auditar de fora — a existência do registro, a data, a disposição de publicar o fracasso — está ao alcance de qualquer leitor.

O detalhe que costuma surpreender: o pedaço mais valioso desse arranjo é o desconfortável. Um acervo que publica os testes que falharam é a única prova externa de que os testes que passaram enfrentaram a mesma régua.

Perguntas frequentes

Um backtest bem-feito garante desempenho futuro?

Não — e essa não é uma ressalva de rodapé, é a natureza do instrumento. O backtest honesto estima como uma regra teria se comportado num regime passado; regimes trocam, custos mudam, padrões encolhem depois de conhecidos. O protocolo reduz o autoengano; não fabrica garantia.

Quantos anos de dados bastam?

Não existe número mágico: o que importa é a quantidade de episódios independentes do fenômeno testado. Uma regra sobre crises conta crises, não pregões — e vinte anos de dados podem conter três episódios relevantes. Amostras que parecem longas em dias podem ser curtíssimas em eventos.

Visitar a amostra de verificação mais de uma vez invalida o teste?

Cada visita gasta um pouco da virgindade estatística do conjunto: ajustar a regra depois de ver o resultado fora da amostra transforma a verificação em desenvolvimento disfarçado. O padrão rigoroso é uma visita, documentada; o padrão realista é declarar quantas foram.

Por que os backtests de material comercial raramente mostram fracassos?

Pelo mesmo motivo que loterias anunciam ganhadores: a seleção é o produto. O leitor que quiser um critério único pode usar este — pedir a lista do que foi testado e falhou. A resposta, ou a ausência dela, é o dado.

Aqui fecha a trilha de estatística: da regressão espúria ao protocolo que impede a curva bonita de mentir. A próxima trilha abre a caixa de ferramentas de quem pesquisa sozinho — começando pelo instrumento mais subestimado do ofício, a biblioteca de referências: Zotero para quem pesquisa mercado sem departamento →

Leituras da casa: a leitura de hoje, no Diário · os precedentes, no Atlas.

Submeter uma regra específica a esse protocolo, do registro da hipótese ao veredicto fora da amostra, é trabalho de bancada — do gênero que a casa conduz sob demanda.

Leia também: Zotero para quem pesquisa mercado sozinho · Registro pré-análise: a hipótese declarada antes do teste · Look-ahead bias: o erro que faz um modelo \"prever o passado\"