Radar Perene / Arquivos / ciência

Reprodutibilidade em finanças: por que quase ninguém testa

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Existe um teste simples para separar pesquisa de opinião bem formatada: entregar o estudo a um estranho e pedir que ele chegue ao mesmo número. Sem telefonema ao autor, sem arquivo secreto, sem "confia em mim". Em finanças, esse teste quase nunca acontece — e quando acontece, o resultado costuma ser desconfortável.

Reprodutibilidade é a capacidade de um terceiro obter o mesmo resultado de um estudo usando os mesmos dados e o mesmo método do trabalho original. Ela difere da replicabilidade, que pergunta outra coisa: se o achado se sustenta quando testado com dados novos. Um estudo pode ser reprodutível e ainda assim estar errado; mas um estudo que não é reprodutível não pode nem começar a ser avaliado.

O que significa, na prática, reproduzir um estudo?

Reproduzir não é reler. É refazer. O estranho do teste precisa de três coisas: os dados exatos que o autor usou, a descrição completa do que foi feito com eles e um jeito de conferir que nada mudou no caminho. Se qualquer uma das três falta, a reprodução vira arqueologia — o leitor tenta adivinhar qual versão da série foi baixada, qual janela foi cortada, qual observação foi excluída em silêncio.

Em economia e finanças, esse detalhe é menos inocente do que parece. Séries são revisadas pelos órgãos que as publicam, provedores comerciais corrigem históricos sem aviso, e a mesma sigla pode nomear duas séries diferentes em duas fontes. Quem já tentou reconstruir uma tabela de um artigo publicado sabe: a distância entre "os dados do IPCA" e aquele arquivo do IPCA, baixado naquele dia, é onde a maior parte das reproduções morre.

Por que finanças testa tão pouco?

Três razões se acumulam, e nenhuma delas é escândalo — são incentivos.

A primeira é o dado proprietário. Boa parte da pesquisa de mercado roda sobre bases licenciadas que o autor não pode redistribuir. O estudo até descreve o método, mas o leitor comum não tem como comprar o mesmo acesso para conferir. A segunda é o código: durante décadas, periódicos aceitaram artigos sem exigir os programas que geraram as tabelas, e um método descrito em prosa nunca é tão preciso quanto o script que o executou. A terceira é a mais humana: reproduzir o trabalho alheio consome semanas e rende pouco prestígio. A carreira acadêmica premia o achado novo, não a conferência do antigo.

O custo dessa combinação apareceu quando alguém resolveu pagar para ver. Um esforço de replicação em larga escala publicado em 2020, que refez centenas de "anomalias" documentadas na literatura de precificação de ativos, encontrou que a maioria delas não sobrevivia a critérios estatísticos mais exigentes e a amostras estendidas. Não porque os autores originais fossem desonestos — mas porque ninguém tinha refeito as contas antes.

Como uma casa pequena pratica isso

A objeção habitual é que reprodutibilidade seria luxo de universidade grande, com equipe e verba. A experiência desta casa sugere o contrário: quanto menor a estrutura, mais barata é a disciplina — desde que ela entre no desenho desde o começo, e não como remendo no fim.

Os working papers do Radar Perene são publicados no Zenodo, o repositório aberto operado pelo CERN, cada um com seu DOI. Ao lado dos dois primeiros estudos da série está o que mais importa para este artigo: o pacote de dados completo que os sustenta. Em números: são 16 arquivos CSV públicos, cada um acompanhado do seu checksum SHA-256 — a impressão digital criptográfica que permite a qualquer leitor conferir, byte a byte, que o arquivo baixado hoje é o mesmo que gerou as tabelas do estudo (DOIs 10.5281/zenodo.21325743 e 10.5281/zenodo.21327595). Um dos estudos da série, o do escore de regime macroeconômico brasileiro (10.5281/zenodo.21402939), foi além e publicou os próprios pesos do indicador — uma exceção deliberada, escolhida justamente porque naquele caso a transparência valia mais que a reserva.

Nada disso exige orçamento. Exige uma decisão tomada cedo: a de que o estudo será julgado pelo que um estranho consegue refazer, não pelo que o autor afirma ter feito. O detalhe de como cada teste é desenhado e auditado internamente é outra conversa, mais longa do que um artigo público comporta — mas o princípio cabe numa frase: dado citado é dado conferível.

O que a reprodutibilidade não resolve

Convém ser honesto sobre o limite. Um estudo perfeitamente reprodutível ainda pode ter escolhido a janela conveniente, testado vinte hipóteses e reportado uma, ou confundido coincidência com padrão. Reprodutibilidade audita a execução, não a intenção. A defesa contra o outro problema tem nome próprio — registro pré-análise, a hipótese declarada antes de rodar o modelo — e é o assunto do próximo artigo desta trilha.

Perguntas frequentes

Reprodutibilidade e replicabilidade são a mesma coisa?

Não. Reprodutibilidade: mesmos dados, mesmo método, mesmo resultado. Replicabilidade: dados novos, mesmo método, resultado compatível. A primeira confere a execução; a segunda, a validade do achado.

Um estudo com dados proprietários pode ser reprodutível?

Parcialmente. O autor pode publicar o código, a lista exata de séries e as transformações aplicadas, de modo que quem tiver a mesma licença refaça tudo. É menos que o ideal, mas é muito mais que o padrão corrente.

Para que serve um checksum como o SHA-256?

É uma sequência calculada a partir do conteúdo do arquivo. Se um único byte muda, a sequência muda. Publicá-la junto com os dados permite ao leitor verificar que baixou exatamente o arquivo usado no estudo.

Resultados do Radar Perene podem ser conferidos por qualquer pessoa?

Os working papers publicados e seus pacotes de dados estão em repositório aberto, com DOI e checksums, sem cadastro nem pagamento. O que se afirma ali pode ser refeito por quem quiser dedicar o tempo.

---

Continue a trilha: Registro pré-análise: declarar a hipótese antes de rodar o modelo →

Leituras da casa: o que os índices registram hoje está no Diário; os episódios históricos que esses dados sustentam, no Atlas.

Reproduzir um estudo específico, passo a passo, é trabalho de outra profundidade — do tipo que a casa discute em conversa, não em artigo.

Leia também: Registro pré-análise: a hipótese declarada antes do teste · O que é um working paper — e o que ele não é · O que é o Índice de Risco Perene?