Radar Perene / Arquivos / ciência

Amostra pequena, conclusão grande: o risco de generalizar com poucos dados no Brasil

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Há uma ironia estatística que persegue quem pesquisa o mercado brasileiro: quanto menor o mercado, maiores costumam ser as conclusões publicadas sobre ele. Onde os dados abundam, o pesquisador é forçado à modéstia — qualquer afirmação forte esbarra em milhares de contraexemplos documentados. Onde os dados escasseiam, a afirmação forte encontra pouca resistência, e a escassez que deveria pedir cautela acaba financiando ousadia.

O risco central de pesquisar mercados pequenos não é chegar a conclusões erradas — é chegar a conclusões maiores do que a amostra sustenta. Cada observação a menos deveria encolher o alcance da frase final; na prática, frases do mesmo tamanho são publicadas sobre amostras dez vezes menores, e o leitor raramente é avisado da diferença.

Esta casa opera dentro dessa restrição todos os dias, e dois dos seus estudos — um sobre amplitude de mercado, outro sobre cestas setoriais — nasceram exatamente do atrito entre fórmulas importadas e a amostra local. Os números desses estudos ficam na bancada; o aprendizado metodológico que os dois deixaram é o assunto daqui.

A escassez brasileira é tripla

A primeira escassez é de ativos. O universo de ações brasileiras com liquidez relevante cresceu de forma expressiva desde 2000, mas segue sendo uma fração pequena do que a literatura de origem considera normal — dezenas de nomes onde os papers fundadores contavam com milhares. Toda técnica que depende de médias entre muitos ativos, de carteiras dentro de carteiras, de setores povoados, opera aqui com uma fração do material.

A segunda escassez é de tempo. Séries confiáveis e comparáveis do mercado brasileiro moderno começam, para muitos propósitos, depois da estabilização monetária — poucas décadas, atravessadas por mudanças estruturais que tornam arriscado tratar o período inteiro como uma coisa só. O Trilho 1 examinou o caso geral em tamanho de amostra em séries financeiras; a versão brasileira do problema é o caso geral elevado ao quadrado.

A terceira escassez é a mais sorrateira: a de observações independentes. Num mercado concentrado, os poucos ativos existentes movem-se juntos com frequência — os mesmos fluxos, os mesmos índices, por vezes os mesmos controladores. Cem observações correlacionadas não valem cem observações; valem algo entre dez e cem, e ninguém sabe exatamente quanto. A amostra nominal engorda a confiança; a amostra efetiva não a acompanha.

O que os dois estudos ensinaram à casa

O aprendizado que os dois trabalhos deixaram cabe numa regra de conduta: no Brasil, a pergunta "quantos dados sustentam esta frase?" precisa ser feita antes da pesquisa, não depois. No estudo de amplitude, a fórmula importada pressupunha um universo de ativos que o Brasil só passou a oferecer — parcialmente — nos anos recentes; aplicá-la ao passado significava medir com uma régua que mudava de tamanho no meio da série. No estudo de cestas, a concentração setorial fazia com que grupos de aparência coletiva se comportassem como meia dúzia de empresas, encolhendo a amostra efetiva sem alterar a nominal — o mecanismo detalhado em cestas setoriais em mercado concentrado.

Em ambos os casos, a tentação simétrica esteve presente: publicar a conclusão grande que a amostra pequena parecia permitir. E em ambos, a disciplina que prevaleceu foi a mesma — dimensionar a frase final pelo que os dados aguentam, não pelo que a pergunta merece. Algumas conclusões saíram menores do que o planejado. Nenhuma precisou ser desdita depois.

Como reconhecer a conclusão superdimensionada

O leitor não tem acesso à bancada de ninguém, mas tem acesso à proporção entre a amostra declarada e a frase publicada. Alguns descompassos são visíveis a olho nu: estudos que testam "o mercado brasileiro" em janelas onde ele tinha um punhado de ativos líquidos; regularidades "setoriais" extraídas de setores com dois representantes; padrões "históricos" apoiados em três ocorrências. Nenhum desses estudos é necessariamente desonesto — a maioria apenas herdou o tamanho da frase da literatura americana, sem herdar a amostra que o justificava.

A heurística que a casa aplica a terceiros é a mesma que aplica a si: procurar, no texto, o momento em que o autor declara o que a amostra não permite concluir. Quando esse parágrafo existe, o resto ganha crédito. Quando não existe, a conclusão grande sobre a amostra pequena costuma estar logo acima.

Perguntas frequentes

Amostra pequena invalida qualquer pesquisa sobre o Brasil?

Não — obriga a redimensioná-la. Perguntas mais estreitas, claims condicionais e incerteza declarada produzem pesquisa legítima com poucos dados. O que a amostra pequena invalida é o empréstimo automático de conclusões do tamanho americano.

Por que a casa não publica os números dos dois estudos citados?

Um dos trabalhos segue em amadurecimento e o outro sustenta uma metodologia em uso — em ambos, o que é transferível ao leitor é o aprendizado de método, publicado aqui; o detalhe operacional é trabalho de bancada, como é regra da casa para material não depositado.

Mais anos de dados resolverão o problema com o tempo?

Parcialmente. O universo cresceu e a série alonga a cada ano, mas mudanças estruturais seguem fatiando o passado em regimes pouco comparáveis, e a concentração segue reduzindo a amostra efetiva. O problema muda de escala; não desaparece.

Existe um tamanho mínimo de amostra universal?

Não — o mínimo depende do que se quer afirmar. A regra transferível é de proporção: a força da conclusão precisa caber dentro da amostra efetiva, e amostras brasileiras costumam ser menores do que parecem.

---

Continue a trilha: O que a literatura americana de finanças assume que o Brasil não tem →

Leituras da casa: a leitura de hoje está no Diário; os episódios em que o arquivo diz "poucos casos parecidos", no Atlas.

Dimensionar o que uma amostra específica aguenta afirmar — antes de rodar o teste — é o tipo de avaliação que a casa faz em conversa.

Leia também: O que a literatura americana de finanças assume que o Brasil não tem · Tamanho de amostra em séries financeiras: por que \"20 anos de dados\" pode ser pouco · Cestas setoriais em mercado concentrado: quando poucas empresas decidem o setor inteiro

Personagens: Método