Radar Perene / Arquivos / ciência

Reprodutibilidade em ação: o que fazer quando uma estatística central não se repete

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Há um momento na vida de quem trabalha com dados que nenhum manual romantiza: o número que sustentava a análise é recalculado sob uma variação legítima do mesmo teste — e vem diferente. Não escandalosamente diferente; diferente o bastante para que a conclusão já não se sustente sozinha. O que acontece nos minutos seguintes define a seriedade de uma operação de pesquisa melhor do que qualquer declaração de princípios.

A disciplina da casa para esse momento é uma regra de parada: quando uma estatística central não se reproduz sob variantes legítimas do próprio teste, a linha de análise que dependia dela é registrada como não confirmada e não segue adiante — nem para publicação, nem para uso nas leituras da casa. O registro fica; a linha para. Reprodutibilidade não é um ideal decorativo: é um portão com regra de fechamento.

Por que o momento é mais perigoso do que parece

O perigo não está no número divergente — está no repertório de racionalizações disponíveis para quem o encontra. A variante que desmentiu o resultado pode ser reclassificada como "menos apropriada"; o recorte original pode ser promovido a "o correto" retroativamente; o teste pode ser rodado de novo, com ajustes, até devolver o valor esperado. Cada um desses movimentos tem justificativa técnica defensável em isolamento. A soma deles tem nome, e o leitor desta trilha já o conhece: é a busca do resultado, disfarçada de refinamento.

É por isso que a regra de parada precisa existir antes do episódio. Decidida no calor do achado ameaçado, a decisão pende para salvar o achado — sempre. Decidida antes, como protocolo frio, ela não pergunta o que a casa gostaria que fosse verdade; pergunta apenas se o número voltou ou não voltou.

Como a disciplina funciona, sem o manual

O mecanismo é a extensão natural do teste de robustez para dentro da rotina: resultados centrais são reexecutados sob variantes razoáveis do mesmo cálculo, e a sobrevivência é condição de passagem, não formalidade. Quando a estatística volta, a linha segue. Quando não volta, o desfecho é binário por desenho — registra-se a não confirmação, com data, e a linha é encerrada ou rebaixada a hipótese em observação. O que não existe é a terceira via: seguir adiante com o número que só funciona quando calculado de um jeito.

A casa já exerceu essa regra — linhas de análise internas foram encerradas exatamente assim, por não confirmação no reteste, e o registro dessas paradas integra o histórico interno de controle de qualidade. Quais linhas, sob quantas variantes, em que datas: isso é bancada, e detalhá-lo publicamente serviria mais à curiosidade que à verificação. O que importa ao leitor é a assimetria do compromisso: o custo de uma parada é privado e imediato; o custo de não parar seria público e adiado — cairia sobre quem lê.

O protocolo funcionando não é notícia ruim

Existe uma leitura equivocada desse tipo de relato, e vale desarmá-la: a de que admitir estatísticas que não se repetem enfraquece a credibilidade de quem admite. A leitura madura é a inversa. Toda operação quantitativa do mundo produz, rotineiramente, números que não sobrevivem ao reteste — a diferença entre as operações não está na existência desses números, está no que acontece com eles. Onde não há regra de parada, eles viram publicação; onde há, viram registro interno e linha encerrada. A casa que nunca encerra linha nenhuma não é a que nunca erra — é a que não recalcula, ou recalcula e não conta. O assunto tem tratamento geral em reprodutibilidade em finanças; aqui, o ponto é o hábito.

A regra tem um corolário que passa despercebido: ela protege também os resultados que sobrevivem. Num acervo em que linhas morrem por não confirmação, os números que permanecem carregam um atestado implícito — estiveram sob a mesma ameaça e voltaram. Sem o portão, sobreviver não significaria nada, porque nada poderia morrer.

Perguntas frequentes

Uma estatística que não se repete prova que a análise era errada?

Não necessariamente — prova que ela não estava estabelecida. A não reprodução rebaixa o achado de resultado a hipótese; a linha pode ser retomada se evidência nova a sustentar. O que a regra impede é tratá-la como resultado enquanto isso não acontece.

Qual a diferença entre essa regra e um teste de robustez comum?

O teste de robustez é o instrumento; a regra de parada é o compromisso sobre o desfecho. Muitas operações rodam o teste e negociam com o resultado. A disciplina descrita aqui remove a negociação: não voltou, não segue.

Por que não publicar cada linha encerrada, com detalhes?

Porque o valor público está no padrão, não no inventário. Linhas internas encerradas por controle de qualidade são o funcionamento normal do protocolo; o que a casa publica são os materiais que atravessaram o portão — e, quando um achado já publicado cai, a revisão é feita às claras no próprio repositório, como a série da casa já registrou.

Isso não desacelera a produção?

Desacelera — e esse é o preço correto. Uma operação que publica na velocidade dos seus achados brutos está publicando ruído com pontualidade.

---

Continue a trilha: Quem paga a conta se um índice de mercado erra: o caso institucional para a autoavaliação pública →

Leituras da casa: a leitura de hoje está no Diário; os padrões que sobreviveram ao portão, no Atlas.

Passar uma hipótese específica do leitor por esse mesmo crivo de reprodução é exercício de bancada — a casa faz disso rotina, em conversa.

Leia também: Quem paga a conta se um índice de mercado erra: o caso institucional para a autoavaliação pública · Teste de robustez: por que um resultado que só funciona de um jeito não é resultado · Reprodutibilidade em finanças: por que quase ninguém testa