Radar Perene / Arquivos / ciência

Publicar a própria taxa de acerto, mesmo quando ela não é boa

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Repare no que o material de análise de mercado costuma exibir: a chamada que antecipou a queda, o estudo que "previu" a virada, o gráfico em que a linha do analista abraça a linha do mundo. Repare, agora, no que ele nunca exibe: a lista completa. Quantas chamadas foram feitas ao todo, quantas erraram, onde estão os erros. A vitrine mostra troféus; a contabilidade mostraria a temporada inteira — e é exatamente por isso que a contabilidade não aparece.

Esta casa mantém, como política editorial permanente, o princípio de publicar a própria taxa de acerto — o histórico completo de leituras confrontadas com o que de fato aconteceu — inclusive nos períodos em que o resultado não a favorece. O número específico de cada período importa menos que a regra: a conta é publicada porque foi feita antes de se saber se seria lisonjeira.

Por que quase ninguém faz isso

Não é preguiça — é incentivo. Quem vive de vender convicção não pode pagar o preço de exibir a própria margem de erro, porque a margem de erro de qualquer leitura honesta de mercado é grande. O resultado é um equilíbrio curioso: todo o setor erra rotineiramente, todos sabem que todos erram, e ainda assim o material publicado sugere infalibilidade por omissão. O leitor que quiser saber a taxa de acerto de quem o aconselha simplesmente não encontra o dado — não porque não exista, mas porque contabilizá-lo e escondê-lo dá menos trabalho que publicá-lo.

A seleção de vitrine tem parentes formais bem estudados: é o viés de sobrevivência aplicado à autopromoção. Entre as bandeiras vermelhas da pseudociência financeira, a exibição exclusiva de acertos é talvez a mais confiável — não porque acertar seja suspeito, mas porque a ausência da lista completa é uma escolha, e escolhas informam.

O que a política obriga — e o que ela custa

Publicar a taxa inteira muda a relação com o próprio erro. O erro deixa de ser acidente a administrar e vira linha da contabilidade: previsível, esperado, registrado. Isso tem um efeito disciplinador que antecede a publicação — quem sabe que a conta sairá evita a chamada vistosa que não sobreviveria à contagem. A política de publicar funciona, na prática, como um freio sobre o que se afirma: cada leitura é escrita sabendo que entrará na estatística.

O custo é evidente e a casa o aceita de olhos abertos: períodos ruins ficam expostos, e um leitor apressado pode confundir a honestidade da conta com a incompetência de quem a presta. A aposta é a inversa — que o leitor que importa saiba que uma taxa de acerto imperfeita e publicada informa mais que uma infalibilidade sugerida por omissão. Quem promete a conta inteira não pode prometer que ela será bonita; pode prometer que será feita.

O contraste estrutural, sem vilões nomeados

Nada disso exige má-fé do outro lado. O analista de uma instituição que distribui produto opera sob incentivos que tornam a vitrine racional — o assunto tem artigo próprio em conflito de interesse na pesquisa de banco. O ponto aqui não é acusar; é notar que a taxa de acerto publicada é um teste barato que o leitor pode aplicar a qualquer fonte: quem presta a conta inteira aceitou um custo; quem não presta, evitou. Nenhuma das duas escolhas é neutra, e a diferença entre elas não depende de confiar em ninguém — depende de procurar a lista.

Há ainda um efeito de arquivo: a taxa publicada período após período compõe uma série própria, e a série informa mais que qualquer número isolado — mostra se a operação melhora, piora ou apenas oscila com o ambiente. Um período ruim isolado diz pouco; uma contabilidade contínua que ninguém editou diz muito, inclusive sobre a disposição de quem a mantém.

Perguntas frequentes

Onde está o número da taxa de acerto da casa?

Na prestação de contas periódica da própria produção editorial, confrontando leituras registradas com desfechos — não neste artigo, que trata do princípio. Publicar a regra num texto e o número em outro é deliberado: a regra é permanente; o número é de cada período.

Uma taxa de acerto baixa não desmoraliza quem publica?

Depende da régua. Em leituras de mercado, taxas modestas são o estado normal do ofício — a literatura sobre previsão em ambientes ruidosos documenta isso há décadas. O que desmoraliza não é a taxa; é a diferença entre a taxa real e a infalibilidade sugerida pela vitrine.

Taxa de acerto é a métrica certa para avaliar análise?

É uma entre várias, e tem limites conhecidos: acertos e erros não pesam o mesmo, e uma leitura pode ser útil sem ser uma "chamada" verificável. A política da casa é publicar a conta com essas ressalvas declaradas — o que não se sustenta é a ausência de conta.

Como o leitor aplica esse teste a outras fontes?

Procurando a lista completa: todo o histórico de chamadas, com data, confrontado com desfechos. Se o material só oferece destaques, a resposta já veio — só que por omissão.

---

Continue a trilha: Reprodutibilidade em ação: o que fazer quando uma estatística central não se repete →

Leituras da casa: a leitura de hoje está no Diário; os episódios em arquivo, no Atlas.

Ler um relatório de terceiros com essa régua — a lista completa contra a vitrine — é exercício que a casa faz em conversa, sobre material concreto.

Leia também: Reprodutibilidade em ação: o que fazer quando uma estatística central não se repete · Red flags de pseudociência financeira · Conflito de interesse na pesquisa de banco