Radar Perene / Arquivos / ciência

O que é p-hacking e por que ele mina modelos de mercado

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Um pesquisador testa vinte versões da mesma ideia contra a mesma série de preços. Dezenove falham. A vigésima passa no teste estatístico — e é a única que aparece no relatório final, apresentada como se tivesse sido a primeira e única pergunta feita. Nenhum número foi falsificado. Nenhuma planilha foi adulterada. E o resultado, ainda assim, não vale nada.

P-hacking é a prática de explorar os dados até obter um resultado estatisticamente significativo — testando muitas variações de um estudo e reportando apenas a que passou, como se fosse a única testada. O nome vem do valor-p, a medida de significância que a manobra corrompe.

O termo é quase inexistente em português, e essa ausência tem consequência prática: boa parte dos "modelos que funcionam" vendidos ou noticiados no mercado brasileiro carrega exatamente esse defeito, sem que exista vocabulário público para nomeá-lo.

A mecânica: por que dezenove fracassos somem

A convenção mais usada em pesquisa define um achado como "significativo" quando o valor-p fica abaixo de 0,05 — o que quer dizer, em palavras simples, que um resultado tão forte quanto o observado apareceria por puro acaso em cerca de uma tentativa a cada vinte, se não houvesse efeito nenhum.

A frase acima contém a chave do problema. Se o acaso aprova uma tentativa a cada vinte, quem faz vinte tentativas e mostra só a aprovada não descobriu um efeito: fabricou um. O teste estatístico continua matematicamente correto — a fraude está no que ficou fora do relatório. Por isso o p-hacking é tão difícil de detectar de fora: o artigo final é impecável; o cemitério de testes descartados é invisível.

As variações são muitas e nem sempre conscientes: mudar a janela de datas até o resultado aparecer, trocar o indicador por um primo próximo, excluir "outliers" que atrapalham, encerrar a coleta de dados no dia em que a conta fecha. Cada decisão parece inocente isoladamente. A soma delas é um estudo que só diz o que o autor queria ouvir.

Por que o mercado é o habitat perfeito

Pesquisa de mercado financeiro combina os três ingredientes que tornam o p-hacking tentador: séries longas, variáveis abundantes e recompensa por achado.

Há milhares de séries públicas — preços, juros, inflação, câmbio, volume — e cada uma pode ser fatiada em janelas, defasagens e transformações quase infinitas. Quem procura uma coincidência estatística nesse espaço encontra, com garantia matemática. E o incentivo aponta todo para o mesmo lado: um backtest "vencedor" vende curso, capta fundo, rende manchete. Um backtest que falhou não vende nada — e por isso ninguém o publica.

O resultado agregado é um ambiente onde a maioria dos padrões anunciados nunca foi testada de verdade: foi selecionada. A literatura acadêmica de finanças discute o fenômeno há anos sob nomes como data snooping e viés de publicação; o noticiário de mercado, quase nunca.

E o problema não é exclusividade de vendedor de curso. A própria academia o carrega: um dos artigos mais citados da metaciência, publicado por John Ioannidis em 2005, argumenta que boa parte dos achados publicados em diversas áreas não sobreviveria a uma repetição honesta — precisamente porque os incentivos de publicação premiam o resultado significativo, não o resultado verdadeiro. Em finanças, a versão do argumento ganhou nome próprio: pesquisadores falam de um "zoológico de fatores", centenas de padrões de retorno publicados dos quais uma fração minguada resiste quando testada fora da amostra original.

Como a casa se protege

A defesa contra o p-hacking não é sofisticação estatística — é disciplina de processo, e ela começa antes de qualquer conta: a hipótese é escrita antes do teste. O que será medido, em qual série, em qual período, com qual critério de sucesso — tudo declarado primeiro. Depois disso, o resultado é o que for. O detalhe do protocolo aplicado, teste a teste, fica na bancada da casa; o princípio, esse é público e cabe numa frase: quem define a régua depois do salto não mediu o salto.

A prova mais honesta de que o processo funciona é o que ele deixa passar de desconfortável. Um dos working papers públicos da casa — o estudo tático do Índice Ânima, DOI 10.5281/zenodo.21327608 — termina concluindo que a vantagem contrária que se propôs a testar não se sustenta. O estudo foi publicado assim mesmo, com a conclusão negativa na capa. Um resultado que desmente a própria premissa e sobrevive ao relatório final é o oposto do p-hacking — e vale mais, como credencial, do que dez backtests vitoriosos.

Perguntas frequentes

P-hacking é o mesmo que testar várias hipóteses?

Não. Testar muitas hipóteses é legítimo e às vezes necessário — desde que todas as tentativas sejam declaradas e a significância seja ajustada para o número de testes. O p-hacking começa quando as tentativas fracassadas são omitidas e a sobrevivente é apresentada como pergunta única.

P-hacking é fraude?

Nem sempre no sentido jurídico — muitos casos nascem de autoengano, não de má-fé. O efeito sobre o leitor, porém, é o mesmo da fraude: uma conclusão que os dados não sustentam.

Como um leitor percebe p-hacking num estudo de mercado?

Sinais típicos: janelas de datas peculiares sem justificativa, indicadores ligeiramente exóticos, ausência de teste fora da amostra e nenhuma menção ao que foi tentado e falhou. Um estudo que só relata sucessos merece a pergunta: onde estão os fracassos?

Um valor-p baixo garante que o efeito existe?

Não. Ele diz apenas que o resultado seria raro sob puro acaso em um teste único e honesto. Se houve muitos testes silenciosos antes dele, essa raridade é ilusória.

---

O p-hacking fabrica padrões que não existem; o passo seguinte da trilha examina o erro simétrico — enxergar causa onde há só coincidência — em Correlação não é causalidade.

Leituras da casa: a disciplina descrita aqui sustenta a leitura de hoje, no Diário, e os padrões que sobreviveram a ela estão nos precedentes, no Atlas.

Auditar um estudo específico contra esse tipo de defeito é trabalho de bancada — do gênero que a casa faz sob consulta.

Leia também: Correlação não é causalidade — e o mercado confunde as duas · O que é o Índice Ânima? · O que é uma anomalia estatística?