Radar Perene / Arquivos / ciência

Teste de robustez: por que um resultado que só funciona de um jeito não é resultado

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Há uma pergunta que desmonta a maioria dos achados empolgantes de mercado, e ela cabe numa linha: o resultado sobrevive se alguma coisa mudar? Mude a janela em um mês, troque o índice por um vizinho, comece a série dois anos depois — e observe. Uma parte surpreendente dos "padrões descobertos" evapora à primeira alteração. Eles nunca foram padrões; eram propriedades da configuração exata em que nasceram.

Teste de robustez é o procedimento de refazer um resultado sob condições deliberadamente alteradas — outra janela, outra subamostra, outra definição das variáveis, outro método de cálculo — para verificar se o achado sobrevive fora da configuração em que foi encontrado. O que só existe de um jeito não é um fato sobre o mundo; é um fato sobre aquele jeito.

Por que resultados frágeis nascem o tempo todo

Ninguém precisa de má-fé para produzir um achado frágil. Basta o processo normal de pesquisa: escolhas razoáveis feitas uma a uma — este período porque os dados são melhores, esta definição porque é a mais comum, esta janela porque é a que a literatura usa — que, somadas, moldam o resultado sem que o autor perceba. É o parente silencioso do p-hacking: não a busca ativa pelo resultado desejado, mas a acomodação passiva nele.

O teste de robustez é o antídoto estrutural. Ele pergunta, de forma organizada, o que acontece quando as escolhas razoáveis são trocadas por outras igualmente razoáveis. Se o achado depende de uma escolha específica, isso não o mata necessariamente — mas rebaixa a afirmação: o texto deixa de dizer "A se relaciona com B" e passa a dizer "A se relaciona com B nesta janela, sob esta definição". A diferença entre as duas frases é a diferença entre ciência e anedota datada.

O repertório, em linhas gerais

O repertório clássico tem quatro famílias, e descrevê-las não entrega método nenhum — o ofício está na dosagem e na ordem, não na lista. A primeira é a variação temporal: recortar a série em subperíodos e verificar se o achado vive em cada um, ou só na média que os mistura. A segunda é a variação de definição: medir o mesmo fenômeno com régua alternativa. A terceira é a variação de método: se a conclusão muda quando o cálculo muda, a conclusão era do cálculo. A quarta é o teste de placebo: aplicar o mesmo procedimento onde nada deveria aparecer — se aparece, o procedimento fabrica resultados, e o achado original perde o crédito.

Um resultado que atravessa as quatro famílias não está provado — está mais difícil de desmentir, que é o máximo a que um estudo empírico aspira.

O que a régua fez com o nosso próprio folclore

A prova de que a casa aplica essa régua não está em promessa — está num desfecho público e desconfortável. O working paper Brazilian Intramarket Relationships partiu de um conjunto de relações entre setores e classes de ativos do mercado brasileiro, pares que o folclore trata como engrenagens confiáveis e que uma primeira versão do estudo havia identificado como candidatas. Retestadas sob condições alteradas, quase todas caíram. Em números: das relações examinadas, uma única sobreviveu ao reteste — a que liga o setor de utilities ao movimento defensivo do mercado — e a segunda versão do estudo revisa abertamente um achado que a primeira sustentava, com as duas versões preservadas no repositório.

O detalhe que importa: o estudo publicou a mortalidade, não só o sobrevivente. Um texto que apresentasse apenas a relação vencedora contaria meia história — e a metade omitida é justamente a que informa quanto vale a vencedora. Qual bateria de variações foi aplicada, em que ordem e com que critérios de corte é trabalho de bancada; o desfecho é público e verificável.

O que a robustez não é

Não é repetir o teste até o resultado agradar — isso é o vício com outro nome. Não é uma garantia de verdade: um achado pode sobreviver a todas as variações e ainda assim cair quando dados novos chegarem, como discute Reprodutibilidade em finanças. E não é um ritual de tabela no fim do artigo: robustez decorativa, feita para constar, é o teatro do método sem o método.

Perguntas frequentes

Robustez e reprodutibilidade são a mesma coisa?

Não. Robustez pergunta se o resultado sobrevive a variações do próprio estudo; reprodutibilidade pergunta se outra pessoa, com os mesmos dados e métodos, chega ao mesmo número. Um estudo pode ser reproduzível e frágil — ou o contrário.

Quantos testes de robustez bastam?

Não há número. A pergunta melhor é qualitativa: as variações testadas cobrem as escolhas que mais influenciam o resultado? Dez variações irrelevantes valem menos que duas nas juntas certas.

Um resultado que falha em um teste está morto?

Não necessariamente — está redimensionado. A falha delimita onde o achado vale, e essa delimitação declarada é mais útil que uma generalidade não testada.

Por que tantos estudos de mercado não publicam testes de robustez?

Porque o incentivo aponta para o achado, não para a demolição dele. É uma das razões pelas quais resultados vistosos de mercado envelhecem mal — e um dos filtros mais úteis que o leitor pode aplicar.

---

Continue a trilha: Tamanho de amostra em séries financeiras: por que "20 anos de dados" pode ser pouco →

Leituras da casa: a leitura de hoje está no Diário; os padrões que sobreviveram a reteste, no Atlas.

Aprofundar um teste de robustez sobre uma relação específica é o tipo de exercício que cabe numa consulta — a bancada da casa faz disso rotina.

Leia também: Tamanho de amostra em séries financeiras: por que \"20 anos de dados\" pode ser pouco · Overfitting em backtest não é sobre trading, é sobre método · Reprodutibilidade em finanças: por que quase ninguém testa

Personagens: Método