Radar Perene / Arquivos / ciência

Um resultado nulo também é resultado: o estudo que não deu diferença estatística

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Há um estudo em andamento na casa cujo achado central, até aqui, é uma frase que nenhum departamento de marketing aprovaria: não encontramos diferença significativa. Nenhuma virada, nenhum padrão escondido, nenhum gráfico de queixo caído. E o estudo continua no pipeline — sendo trabalhado, revisado e encaminhado como qualquer outro. Para boa parte do mercado, isso é teimosia. Para o método, é o comportamento correto, e a razão merece um texto.

Resultado nulo é o desfecho em que o teste não encontra o efeito procurado: a diferença que se esperava não aparece, ou aparece pequena demais para se distinguir do acaso. Ele responde à pergunta feita — a resposta é "não" ou "não dá para afirmar" — e uma resposta a uma pergunta bem feita é conhecimento, independentemente de qual seja.

Por que o "não deu nada" quase nunca é publicado

O sistema de publicação — acadêmico e comercial — paga em atenção, e atenção é atraída por efeitos, não por ausências. O estudo que encontra algo vira manchete; o que não encontra vira gaveta. Esse filtro tem nome, viés de publicação, e uma consequência perversa: a literatura que chega ao leitor é um recorte editado do que foi testado, em que os "sim" estão super-representados e os "não" quase não existem.

O efeito prático é pior do que parece. Quando dez equipes testam a mesma ideia e uma encontra efeito por sorte, é essa uma que publica — e o leitor conclui que a ideia funciona, sem jamais saber das nove. O resultado nulo engavetado não é neutro: é a peça que faltava para ler o resultado positivo corretamente. Cada gaveta fechada distorce o que está nas prateleiras abertas.

O estudo da casa, no nível que pode ser contado

O estudo em questão partiu de uma hipótese que a casa considerava plausível — plausível o bastante para merecer teste sério. O teste veio, e o efeito não apareceu. O que a hipótese propunha e como o teste foi desenhado ficam na bancada, pela mesma regra de todos os textos desta trilha; o que importa aqui é a decisão editorial que se seguiu. Havia três caminhos: engavetar em silêncio, torturar a análise até aparecer alguma coisa publicável, ou tratar o nulo como achado e seguir o rito normal de maturação. A casa seguiu o terceiro.

Vale nomear o segundo caminho, porque ele é o mais percorrido do mercado: reformular a pergunta depois de ver os dados, fatiar o período, trocar a régua — até que algum recorte entregue o efeito que a versão honesta não entregou. É o vício que descrevemos em O que é p-hacking, e o resultado nulo é a sua maior vítima silenciosa: quase todo p-hacking começa como um nulo que alguém se recusou a aceitar.

O que um nulo bem feito informa

Um resultado nulo sério não diz "não há nada aqui" — diz algo mais preciso e mais útil: nas condições testadas, com os dados disponíveis, o efeito procurado não se distingue do acaso. Essa formulação carrega as duas informações que o leitor de pesquisa de mercado quase nunca recebe: o tamanho do efeito que teria sido detectável, e a incerteza em torno do que se mediu — o território que exploramos em Intervalo de confiança no mercado. Um nulo com essas duas coordenadas fecha portas com utilidade: poupa quem viria depois de testar a mesma coisa do mesmo jeito, e recalibra a confiança em quem afirma o efeito com dados piores.

Há ainda um valor interno, menos visível: manter nulos no pipeline muda o incentivo de quem pesquisa. Se só o efeito positivo vira texto, todo pesquisador da casa aprende, sem que ninguém diga, que encontrar é melhor que testar. Se o nulo também vira texto, o incentivo volta ao lugar: a qualidade está na pergunta e no teste, não na sorte do desfecho.

O contraste que o leitor deveria estranhar

Aplique a qualquer produtor de análise de mercado o teste da ausência: nos últimos anos, quantas vezes essa fonte publicou "testamos e não encontramos"? Se a resposta é nunca, restam duas possibilidades — ou todas as ideias testadas funcionaram, o que a experiência de qualquer pesquisador desmente, ou os nulos foram suprimidos, e o acervo público é a metade lisonjeira de um arquivo maior. A casa prefere o desconforto de publicar o "não deu" ao conforto de um acervo que só sorri.

Perguntas frequentes

O que é um resultado nulo, em uma frase?

É o desfecho em que o teste não encontra o efeito procurado — a diferença esperada não aparece ou não se distingue do acaso — respondendo "não" a uma pergunta bem formulada.

Resultado nulo prova que o efeito não existe?

Não. Prova que, nas condições testadas e com os dados usados, ele não foi detectado. Um efeito pequeno pode existir abaixo da capacidade de detecção do teste — e um nulo honesto declara essa fronteira em vez de escondê-la.

Por que publicar um estudo assim, se ele não muda nenhuma leitura?

Ele muda: fecha um caminho que parecia promissor, informa o tamanho máximo plausível do efeito e poupa testes redundantes. A leitura que não muda é a manchete — e manchete nunca foi o critério desta série.

O estudo da casa será publicado quando?

Quando atravessar a mesma régua de maturação de qualquer outro — o desfecho nulo não acelera nem atrasa o rito. O que já é público é o que este texto registra: ele existe, o achado central até aqui é a ausência de diferença, e segue em pipeline.

---

Continue a trilha: Múltiplas passagens antes de publicar: revisão interna quando não existe periódico →

Leituras da casa: os efeitos que sobreviveram a teste — e os que não — moldam o que aparece no Diário e no Atlas.

Avaliar se um "não deu nada" de fora merece publicação — e o que ele informa apesar da aparência — é conversa metodológica que a casa tem com quem procura.

Leia também: Múltiplas passagens antes de publicar: revisão interna quando não existe periódico · Intervalo de confiança: o que um número diz — e o que cala · O que é p-hacking e por que ele mina modelos de mercado