Radar Perene / Arquivos / ciência

Auditoria de reprodutibilidade: rodar de novo os próprios scripts para ver se o resultado se repete

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Pergunte a qualquer pessoa que trabalha com dados se os próprios números são reproduzíveis e a resposta será sim — com a convicção serena de quem nunca verificou. A crença na própria reprodutibilidade é quase universal; o teste dela é raro. Entre a versão do código que gerou a tabela e a versão que está no disco hoje, meses de pequenos ajustes se acumulam, e a memória de que "isso roda" vai ficando cada vez mais parecida com fé.

Auditoria de reprodutibilidade é o exercício de reexecutar o próprio pipeline do zero — dos dados brutos ao resultado final — para verificar se os números publicados se repetem. Feita uma vez, é um evento; feita em ciclo, com data registrada, é uma disciplina. A diferença entre as duas é a diferença entre arrumar a casa para visita e morar em casa arrumada.

Por que resultados param de se reproduzir sozinhos

Ninguém quebra a própria reprodutibilidade de propósito. Ela apodrece por mecanismos banais: uma dependência atualizada que mudou um comportamento silencioso, um arquivo intermediário que ficou para trás e mascara a falha do passo que o gerava, um parâmetro corrigido à mão numa sexta-feira e nunca devolvido ao código, uma fonte de dados que revisou a própria série histórica sem avisar. Cada um desses eventos é pequeno demais para ser notado no dia em que acontece. A soma deles é um pipeline que produz números — apenas não mais os mesmos.

O ponto desconfortável: nada disso aparece enquanto ninguém roda tudo de novo. O sistema em produção continua funcionando, os relatórios continuam saindo, e a divergência dorme onde ninguém olha — na distância entre o que foi publicado e o que o código de hoje geraria.

O ciclo da casa

A casa trata esse risco com um instrumento deliberadamente sem glamour: um ciclo interno de auditoria de reprodutibilidade, em que o pipeline próprio é reexecutado do zero e o resultado é confrontado com o que está publicado. O ciclo mais recente foi fechado em julho de 2026, com registro — não foi o primeiro, e o desenho é de hábito recorrente, não de evento comemorativo.

Os scripts, as saídas e o conteúdo do que se verificou ficam na bancada, como em todo texto desta trilha. O que este texto registra é a existência e a cadência: a casa roda a própria produção de novo, em ciclo fechado, com data. Quem já tentou o exercício sabe que essa frase curta esconde trabalho considerável — e que a tentação permanente é adiá-lo, porque ele nunca é urgente e o custo de não fazê-lo é invisível até o dia em que deixa de ser.

Reproduzir não é o mesmo que estar certo

Uma distinção evita expectativas erradas: a auditoria de reprodutibilidade verifica se o número se repete, não se o número é verdadeiro. Um estudo pode ser perfeitamente reproduzível e metodologicamente frágil — o pipeline reexecuta sem erro e produz, de novo, a mesma conclusão mal fundamentada. A pergunta sobre a solidez do achado pertence a outro instrumento, o teste de robustez, que altera as condições de propósito para ver o que sobrevive. As duas disciplinas se complementam e não se substituem: a robustez interroga o achado; a reprodutibilidade interroga a oficina.

No panorama mais amplo da área — que tratamos em Reprodutibilidade em finanças —, a fragilidade começa antes do que se imagina: muitos resultados publicados não se reproduzem nem com os dados e códigos originais. A auditoria interna ataca exatamente essa primeira camada, a mais barata de verificar e a mais constrangedora de falhar.

O que um ciclo fechado compra

O rendimento do hábito aparece em três frentes. Confiança com lastro: quando a casa afirma que um número publicado é reproduzível, a afirmação tem data de verificação, não tom de esperança. Detecção precoce: o apodrecimento descrito acima é encontrado enquanto é pequeno e barato de corrigir, não anos depois, fossilizado sob camadas de código novo. E um efeito disciplinador sobre o presente: quem sabe que o pipeline será reexecutado do zero escreve o pipeline de outro jeito — menos ajuste manual, menos passo que só existe na memória de alguém.

Esse último efeito é provavelmente o mais valioso. A auditoria não melhora só o passado verificado; muda o comportamento de quem constrói o futuro.

Perguntas frequentes

O que é uma auditoria de reprodutibilidade, em uma frase?

É a reexecução completa do próprio pipeline, dos dados brutos ao resultado final, para verificar se os números publicados se repetem — feita em ciclo recorrente e com registro de data.

Qual a diferença entre reprodutibilidade e robustez?

Reprodutibilidade pergunta se o mesmo procedimento gera o mesmo número; robustez pergunta se o achado sobrevive quando o procedimento muda de propósito. Um estudo pode passar numa e falhar na outra, em qualquer combinação.

E se a reexecução não bater com o publicado?

Então a auditoria funcionou: a divergência existe de qualquer forma — a auditoria apenas decide se ela será encontrada pela casa ou por um leitor. Divergência encontrada vira correção com registro, e o protocolo segue o mesmo rito descrito nesta trilha para qualquer achado que não se sustenta.

Isso não é simplesmente boa engenharia de software?

Há sobreposição, e ela é bem-vinda. A diferença de ênfase: engenharia pergunta se o sistema roda; a auditoria pergunta se o que foi publicado com a assinatura da casa continua sendo o que o sistema produz.

---

Continue a trilha: Sete critérios que não mudam: o que permanece fixo quando um índice muda de versão →

Leituras da casa: os números que essa disciplina protege são os que aparecem, todos os dias, no Diário e no Atlas.

Montar um ciclo de auditoria assim para a produção de outra equipe — do desenho à primeira reexecução — é serviço que a casa presta sob consulta.

Leia também: Sete critérios que não mudam: o que permanece fixo quando um índice muda de versão · Teste de robustez: por que um resultado que só funciona de um jeito não é resultado · Reprodutibilidade em finanças: por que quase ninguém testa