Radar Perene / Arquivos / ciência

Bater o benchmark trivial: o teste que todo índice da casa precisa passar antes de existir

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Todo indicador novo chega ao mundo com uma vantagem injusta: ele é comparado com o vazio. Quem constrói um índice de sentimento, de risco ou de liquidez tende a apresentá-lo contra a alternativa de não ter índice nenhum — e contra o nada, qualquer coisa parece informação. A pergunta honesta é outra, e é desconfortável: o que esse índice diz que uma régua boba não diria?

Benchmark trivial é a alternativa mais simples imaginável para a mesma tarefa — a média histórica, o valor de ontem repetido, uma regra de uma linha que qualquer pessoa aplicaria sem modelo algum. Um índice só justifica a própria existência se informar mais do que essa régua; superá-la não é o troféu final de um indicador, é o requisito de entrada.

Por que o adversário bobo é tão difícil de vencer

Réguas triviais são humilhantes porque carregam, de graça, quase tudo o que uma série tem de mais previsível. "Amanhã parecido com hoje" acerta muito em qualquer série persistente. "A média de sempre" acerta muito em qualquer série que oscila em torno de um centro. Um indicador sofisticado precisa pagar pela própria complexidade: cada parâmetro a mais é uma promessa de que existe informação adicional sendo capturada — e promessas se cobram contra o adversário mais barato, nunca contra o vazio.

A literatura de previsão conhece esse constrangimento há décadas: modelos elaborados perdem para regras ingênuas com uma frequência que ninguém publica com prazer. O leitor que só vê indicadores comparados "com o mercado" ou com nada está vendo a metade lisonjeira do exercício.

O que a casa fez com os próprios índices

A casa mantém cinco índices em produção, e nenhum deles ficou isento dessa régua. Num exercício interno de avaliação adversarial, os cinco foram deliberadamente confrontados com alternativas triviais — as réguas de uma linha que qualquer leitor cético proporia primeiro. O espírito do exercício era o de um advogado do diabo com acesso total: se um índice não informa mais do que a regra boba, ele não merece a complexidade que carrega.

O desenho exato do confronto e os resultados numéricos ficam na bancada — são material de trabalho, não de vitrine. O que pode ser dito é o que importa para o leitor: o exercício foi feito, foi feito contra todos os cinco ao mesmo tempo, e foi feito com a intenção declarada de derrubar. Um índice que sobrevive a esse tipo de sabatina não está provado; está autorizado a continuar existindo até a próxima rodada.

O teste vem antes, não depois

Há uma inversão de ordem que separa esse hábito do uso decorativo do benchmark. No uso decorativo, o índice nasce, ganha público e só então alguém pergunta se ele bate a régua boba — e a essa altura há reputação demais investida para aceitar um "não". No uso que a casa pratica, a comparação trivial é o primeiro obstáculo, não o último: um candidato a índice que não a atravessa não chega a ter nome.

Essa ordem tem um parentesco direto com o teste honesto de estratégias, que explicamos em Backtesting honesto, passo a passo: em ambos os casos, o adversário correto é definido antes de olhar o resultado, e a comparação lisonjeira é tratada como o vício que é. A diferença é de objeto — lá, uma estratégia; aqui, o direito de um indicador existir.

O que esse filtro não garante

Vencer a régua trivial não transforma um índice em oráculo. Ele pode informar mais que a regra boba e ainda assim informar pouco; pode vencer no período testado e empatar no seguinte; pode ser útil para uma leitura e irrelevante para outra. O filtro elimina a categoria mais numerosa de indicadores — os que só parecem informativos porque nunca enfrentaram o adversário certo — e é só isso que ele promete. O restante do trabalho de validação continua depois dele, em camadas que outros textos desta série descrevem.

Perguntas frequentes

O que é um benchmark trivial, em uma frase?

É a solução mais simples possível para a mesma tarefa do indicador — repetir o último valor, usar a média histórica, aplicar uma regra de uma linha — usada como adversário obrigatório de qualquer modelo mais elaborado.

Por que não comparar o índice direto com o mercado?

Porque "o mercado" não é a alternativa real de quem usaria o índice. A alternativa real é a regra boba que dispensa o índice — e é contra ela que o ganho de informação precisa aparecer.

Um índice que perde para a régua trivial é sempre descartado?

No hábito da casa, um candidato que perde não entra em produção. Um índice já existente que perdesse numa rodada nova entraria em revisão — o processo de decisão que outro texto desta trilha descreve.

Isso vale só para índices de mercado?

Vale para qualquer modelo que reivindique conteúdo informativo: previsões, classificações, escores. A régua trivial muda de forma conforme a tarefa; a obrigação de enfrentá-la, não.

---

Continue a trilha: Quando a casa mata a própria hipótese: o track que não sobreviveu à validação →

Leituras da casa: os índices que atravessaram essa régua alimentam o Diário todos os dias; os padrões que sobreviveram a reteste estão no Atlas.

Submeter um indicador de terceiros à mesma sabatina adversarial é trabalho que a casa faz sob encomenda — a conversa começa pela régua, não pelo modelo.

Leia também: Quando a casa mata a própria hipótese: o track que não sobreviveu à validação · Backtesting honesto: separar a amostra antes de testar · Cinco índices, um só teste: por que comparar em conjunto muda o resultado

Personagens: Método