Radar Perene / Arquivos / ciência

Registro pré-análise: a hipótese declarada antes do teste

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Toda pesquisa quantitativa tem uma gaveta invisível. Nela ficam os testes que não deram em nada: as trinta e nove variações que falharam antes da quadragésima funcionar, as janelas que estragavam o resultado, os indicadores que se recusaram a cooperar. O leitor do estudo final nunca vê a gaveta — vê apenas o teste vencedor, apresentado como se tivesse sido a primeira e única pergunta. O registro pré-análise existe para trancar essa gaveta antes que ela seja enchida.

Registro pré-análise é um documento datado, arquivado antes de qualquer teste, que declara a hipótese, os dados que serão usados, o método e o critério de sucesso. Quando o resultado sai, ele é comparado com o que foi prometido — não com o que teria sido conveniente prometer depois.

De onde veio a ideia?

A medicina chegou primeiro, pelo motivo mais grave: ensaios clínicos que trocavam de desfecho no meio do caminho, reportando o efeito que apareceu em vez do efeito que se propunham a medir. A resposta foi tornar o registro prévio condição para publicar. A economia seguiu — o registro de ensaios da American Economic Association opera desde 2013 — e a lógica migrou naturalmente para qualquer campo em que os dados são fartos e as tentativas, baratas.

Pesquisa de mercado é o caso extremo dessa fartura. São dezenas de séries, centenas de janelas possíveis, milhares de combinações de parâmetros. Quem testa o bastante encontra alguma coisa — a estatística garante isso ao acaso, sem nenhum mérito do pesquisador. A diferença entre descoberta e artefato de busca é, muitas vezes, uma única informação: a pergunta foi feita antes ou depois de olhar as respostas?

O que o registro muda, na prática

O documento prévio inverte o ônus. Sem ele, o autor precisa convencer o leitor de que não vasculhou até achar; com ele, a dúvida se dissolve sozinha, porque a hipótese tem data anterior ao teste. Três efeitos práticos se seguem:

Há uma sutileza que a literatura metodológica apelidou de "jardim dos caminhos que se bifurcam", na expressão de Gelman e Loken: o pesquisador não precisa testar quarenta variações de má-fé para se enganar. Basta tomar, a cada encruzilhada da análise — excluir ou não aquele ano atípico, usar média ou mediana, janela de doze ou de vinte e quatro meses —, a decisão que parece razoável à luz dos dados já vistos. Cada escolha é defensável; a soma delas é uma busca disfarçada. O registro prévio corta o problema pela raiz porque as encruzilhadas são decididas antes de haver paisagem para influenciá-las.

O primeiro efeito é disciplinar o próprio autor. Escrever "espero que X aconteça porque Y" antes de rodar o modelo é constrangedor na medida certa — obriga a ter uma razão, não apenas uma esperança. O segundo é dar estatuto aos resultados negativos: se a hipótese registrada falha, a falha é um achado, não um constrangimento a esconder. O terceiro é permitir a auditoria externa: qualquer pessoa pode comparar o prometido com o entregue.

Como isso aparece no trabalho da casa

No protocolo interno do Radar Perene, nenhum teste roda sem hipótese escrita — o formato é curto, quase telegráfico: o que se espera, em que direção, e por quê. O detalhe do protocolo aplicado fica fora deste artigo; o que pode ser mostrado é a consequência pública dele.

O terceiro working paper da série da casa, sobre a versão tática do Índice Ânima, testou uma hipótese específica: a de que leituras extremas do indicador carregariam uma vantagem contrária aproveitável. O resultado não confirmou a hipótese — e o estudo foi publicado assim mesmo, com a refutação na própria conclusão, em repositório aberto e com identificador permanente. Em números: o texto está no Zenodo sob o DOI 10.5281/zenodo.21327608, com a hipótese testada e o desfecho negativo no mesmo documento. Publicar o teste que falhou custa algum orgulho; não publicar custaria a única prova de que os testes que deram certo passaram pelo mesmo crivo.

Esse é o ponto que costuma passar despercebido: o valor do registro prévio não está nos estudos que confirmam, está nos que negam. Um acervo que só contém vitórias é indistinguível de uma gaveta bem escondida.

O que o registro não é

Registro pré-análise não é camisa de força. A exploração livre dos dados continua legítima — é dela que nascem as perguntas. O que muda é a etiqueta: o que foi explorado se apresenta como exploração, e só o que foi declarado antes do teste se apresenta como teste. Também não é blindagem contra o erro: uma hipótese registrada pode estar mal formulada, medir a coisa errada ou falhar por má sorte amostral. O registro documenta a honestidade do processo, não a verdade do resultado.

Perguntas frequentes

Registrar antes não engessa a pesquisa?

Não, se a divisão for clara: explorar é livre; testar exige declaração prévia. Muitos registros preveem, inclusive, análises adicionais rotuladas como exploratórias.

Onde um pesquisador registra uma pré-análise?

Em registros públicos de área (como o da American Economic Association, para economia), em repositórios abertos com carimbo de data, ou em qualquer arquivo cuja data de criação seja verificável por terceiros.

Qual a diferença entre registro pré-análise e p-hacking?

São opostos. P-hacking é testar muitas variações e reportar a que passou; o registro prévio torna essa manobra visível, porque o teste reportado precisa coincidir com o declarado.

Testar várias hipóteses é sempre errado?

Não — desde que todas apareçam no resultado, com as correções estatísticas devidas, e não apenas a vencedora.

---

Continue a trilha: Como submeter um artigo a um periódico brasileiro de economia →

Leituras da casa: o registro diário, datado e ancorado, está no Diário; os precedentes que sobreviveram a teste, no Atlas.

Formular uma hipótese registrável a partir de uma pergunta solta é exercício que a casa conhece de dentro — e do tipo que rende mais em conversa do que em texto.

Leia também: Como submeter um artigo a um periódico de economia no Brasil · O que é p-hacking e por que ele mina modelos de mercado · O que é o Índice Ânima?