Radar Perene / Arquivos / ciência

Significância estatística não é relevância econômica

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Um microscópio suficientemente potente encontra impurezas em qualquer copo de água. A descoberta é real, mensurável, reproduzível — e não responde a única pergunta que interessa a quem está com sede: dá para beber? A estatística aplicada a mercado vive a versão adulta desse problema. Com dados suficientes, quase tudo se torna detectável; a questão nunca foi detectar, e sim decidir o que, uma vez detectado, importa.

Significância estatística diz que um padrão observado dificilmente seria fruto do acaso. Relevância econômica diz que o padrão, além de existir, tem tamanho suficiente para importar no mundo real — depois de custos, de risco e de tudo o que a prática cobra. Um resultado pode ter a primeira sem ter a segunda; a confusão entre as duas sustenta boa parte do que se vende como descoberta em finanças.

A distinção não é pedantismo de pesquisador. É a diferença entre "este efeito existe" e "este efeito muda alguma decisão" — duas afirmações que a linguagem cotidiana funde na palavra "significativo", e que a ciência separa com rigor desde que a econometria aprendeu, à própria custa, o preço de fundi-las.

O que a significância realmente afirma

O instrumento clássico é o p-valor: uma medida de quão surpreendente seria o padrão observado caso não existisse efeito nenhum, só acaso. Quando essa surpresa cruza um limiar convencional, o resultado ganha o título de "estatisticamente significativo".

Repare no que a frase não diz. Não diz que o efeito é grande. Não diz que é estável. Não diz que sobrevive fora dos dados em que foi encontrado. Diz apenas: é improvável que isto seja só sorte. Um efeito minúsculo, medido sobre um histórico longo o bastante, cruza o limiar com facilidade — o microscópio melhorou, não a água.

Em mercado, o problema tem um agravante que a literatura chama de dragagem de dados: quem testa vinte padrões contra o mesmo histórico espera, só pelo acaso, que um deles pareça significativo. A casa tratou desse mecanismo em o que é p-hacking; aqui basta a consequência — significância, sozinha, é um filtro fraco exatamente onde mais se testa.

O que a relevância cobra a mais

A segunda pergunta é mais dura porque sai da matemática e entra na economia. Um padrão de retorno detectável precisa vencer três descontos antes de importar.

O primeiro é o tamanho: um efeito de centésimos de ponto ao mês pode ser real e ainda assim menor que a taxa de corretagem que custaria capturá-lo. O segundo é o risco: um ganho médio detectável pode vir acompanhado de episódios extremos que o histórico registra poucas vezes — e a média não avisa. O terceiro é a persistência: efeitos publicados têm o hábito documentado de encolher depois de conhecidos; a literatura mediu esse encolhimento e ele não é pequeno.

O contraste tem um exemplo célebre: a economista Deirdre McCloskey passou décadas argumentando que a econometria confundiu "significância" com "importância" — e que a pergunta how big is big? (quão grande é grande?) desapareceu de artigos tecnicamente impecáveis. O mercado financeiro é o lugar onde essa pergunta cobra juros: quem age sobre um efeito pequeno paga custos reais por um padrão que talvez só exista no microscópio.

Onde a casa encontrou essa fronteira na prática

Esta distinção não é teórica para o Radar Perene — ela decidiu o desfecho de um estudo da própria série. O The Tactical Ânima Index, terceiro working paper da casa, testou se uma leitura tática do índice de sentimento sustentava uma vantagem prática de curto prazo. A conclusão publicada é negativa: o texto registra que a vantagem testada não se sustenta. Em números: o estudo está público no Zenodo, com DOI ativo e a conclusão adversa no próprio corpo — não numa errata escondida.

Publicar um resultado que desautoriza a própria hipótese é o teste de honestidade que a fronteira entre significância e relevância impõe. Um padrão pode aparecer nos dados; se não atravessa os descontos do mundo real, o registro honesto é dizer isso — e a casa preferiu dizer com identificador permanente. O leitor não precisa confiar na descrição: o documento é verificável.

O que muda para quem lê pesquisa de mercado

A distinção rende uma pergunta prática de leitura. Diante de qualquer estudo — acadêmico ou comercial — que anuncie um efeito "significativo", o leitor atento procura o tamanho do efeito em unidade que faça sentido econômico: pontos de retorno, custo comparável, frequência dos episódios. Quando o texto exibe o p-valor e esconde a magnitude, a omissão costuma ser a informação.

E a régua vale nos dois sentidos. Um efeito grande e economicamente interessante que não alcança significância também merece desconfiança — pode ser o acaso vestido de tese. As duas perguntas ("existe?" e "importa?") só funcionam juntas; cada uma, sozinha, já financiou muita conclusão apressada.

Perguntas frequentes

Um resultado pode ser economicamente relevante sem ser estatisticamente significativo?

Pode — e é o caso mais traiçoeiro. Um efeito grande medido sobre poucos episódios não distingue talento de sorte. A prática madura trata esse resultado como hipótese a acompanhar, não como achado.

Qual p-valor "basta" em pesquisa de finanças?

Não há número universal. Limiares convencionais existem, e parte da literatura recente argumenta que, num campo onde milhares de padrões são testados contra os mesmos preços, o limiar tradicional é frouxo demais. O consenso possível: o limiar é o começo da conversa, nunca o fim.

"Efeito pequeno" é sempre irrelevante?

Não. Escala muda a conta: um efeito minúsculo pode importar para quem opera em volume institucional e ser invisível depois de custos para todos os demais. Relevância é sempre relativa a alguém — mais um motivo para não delegá-la ao p-valor, que é relativo a ninguém.

Como a casa aplica essa distinção no dia a dia?

Separando os verbos: o que os índices da casa detectam é descrito como registro histórico, nunca como instrução. Quando um padrão detectável não sustentou vantagem prática, o estudo correspondente diz isso abertamente.

Essa disciplina de separar "existe" de "importa" desagua na regra mais visível da casa — a de nunca transformar registro em instrução: por que nunca escrevemos "você deve" →

Leituras da casa: a leitura de hoje, no Diário · os episódios que testam a régua, no Atlas.

Submeter um efeito específico aos três descontos — tamanho, risco, persistência — é exercício que a casa conduz sob consulta.

Leia também: Por que nunca escrevemos \"você deve\": o filtro P7 explicado · O que é uma anomalia estatística? · O que é o Índice Ânima?