Radar Perene / Arquivos / ciência

Cinco índices, um só teste: por que comparar em conjunto muda o resultado

◦ Metodologia v2.2 dos índices (working papers com DOI). Ver metodologia.

Ciência

Avaliar indicadores um de cada vez parece a forma cuidadosa de trabalhar — cada um recebe atenção exclusiva, um relatório próprio, um veredito individual. E, no entanto, essa é a forma que mais perdoa. Cinco avaliações separadas produzem, com facilidade notável, cinco aprovações; uma avaliação conjunta dos mesmos cinco produz outra coisa: uma ordem, redundâncias expostas e ao menos um constrangimento. A casa escolheu a segunda forma para os próprios índices, e este texto explica por quê.

Testar um conjunto de indicadores em bloco, sob as mesmas condições, o mesmo período e os mesmos adversários, revela o que os testes isolados escondem por construção: quais indicadores dizem a mesma coisa com nomes diferentes, quais só brilham porque foram testados no terreno que lhes convinha, e quanto do conjunto sobreviveria se todos fossem cobrados pela régua do melhor.

O que a avaliação isolada perdoa

O primeiro perdão é o do terreno escolhido. Cada avaliação isolada tende a herdar as escolhas naturais do indicador avaliado — o período em que seus dados são melhores, a referência contra a qual ele foi desenhado. Nada disso exige má-fé: é o caminho de menor resistência. No teste conjunto, esse conforto desaparece, porque as condições são uma só para todos — e indicador que só funciona no próprio quintal é exposto pela simples mudança de quintal.

O segundo perdão é o da redundância invisível. Dois índices podem passar com folga em testes separados e, postos lado a lado, revelar que carregam quase a mesma informação — dois nomes para um sinal. A avaliação isolada não tem como ver isso; a pergunta "o que este índice acrescenta aos outros quatro?" só existe quando os cinco estão na mesma mesa.

O terceiro perdão é aritmético: quem roda cinco avaliações separadas, cada uma com suas tentativas e ajustes, acumula chances de encontrar bons resultados por sorte — e nenhuma das cinco presta contas das tentativas das outras. O teste em bloco obriga a contabilidade a ser uma só. É o mesmo princípio que sustenta o backtesting honesto: o número de tentativas faz parte do resultado, e escondê-lo em cinco relatórios separados não o faz desaparecer.

O exercício que a casa rodou

Os cinco índices em produção da casa passaram por um exercício adversarial desenhado assim: todos juntos, mesmas condições, mesmos adversários triviais, mesma régua. O texto de abertura desta trilha descreveu o espírito do confronto contra as réguas bobas; o que este texto acrescenta é o desenho conjunto — a decisão de que nenhum índice seria avaliado no próprio terreno, e de que a pergunta sobre redundância entre eles seria feita de frente.

Os resultados individuais, e em particular a ordem que emergiu — qual índice atravessou com mais folga, qual passou raspando —, ficam na bancada. Publicar o ranking interno transformaria um instrumento de auditoria em tabela de campeonato, e o objetivo do exercício é outro: garantir que o conjunto publicado informe, sem sombras entre os componentes. O que pode ser dito é que o desenho conjunto produziu o que dele se espera — perguntas que os testes isolados nunca teriam feito.

Um conjunto é uma afirmação, não uma soma

Há uma consequência conceitual que passa despercebida: quem publica cinco índices não está fazendo cinco afirmações independentes — está afirmando que existem cinco leituras distintas que merecem nome próprio. Essa afirmação é testável, e o teste é necessariamente conjunto. Se dois dos cinco carregam o mesmo conteúdo, o conjunto está inflado; se um deles não acrescenta nada à combinação dos outros, mantê-lo é uma decisão editorial, não informacional — e precisa ser defendida como tal.

Essa é a diferença entre uma coleção e um sistema. Coleções crescem por acumulação: cada peça entrou porque, sozinha, parecia boa. Sistemas crescem por justificativa relativa: cada peça entrou porque acrescenta ao que já estava. O teste conjunto é o pedágio que separa um do outro.

O que o leitor pode cobrar

Diante de qualquer casa que publique uma família de indicadores, a pergunta útil não é "cada um foi validado?" — a resposta será sim, e será verdade, e não bastará. A pergunta útil é: eles já foram testados juntos, nas mesmas condições, com a redundância entre eles medida de frente? Famílias de indicadores que nunca se enfrentaram entre si são coleções à espera de uma auditoria. A resposta pode existir e ser interna — como aqui —, mas a existência do exercício é o mínimo que se pode exigir de quem afirma publicar um sistema.

Perguntas frequentes

O que é um teste conjunto de indicadores?

É a avaliação simultânea de um grupo de indicadores sob condições idênticas — mesmo período, mesmos adversários, mesma régua —, incluindo a medição do que cada um acrescenta aos demais.

Por que a ordem dos resultados não é publicada?

Porque o exercício é instrumento de auditoria interna, não campeonato. O compromisso público é com a existência e o desenho do teste; o placar detalhado é material de trabalho da casa.

Testar em conjunto não pune indicadores de propósitos diferentes?

O desenho considera isso: condições iguais não significam tarefa igual. O que o teste conjunto elimina é a vantagem do terreno escolhido — cada índice continua sendo cobrado pela própria promessa, mas sob o mesmo clima.

Isso se aplica a quem usa indicadores de terceiros?

Diretamente. Quem monta um painel com indicadores de fontes diversas montou, sem perceber, um conjunto nunca testado em bloco — e a redundância entre componentes de fontes diferentes costuma ser maior do que se imagina.

---

Continue a trilha: Um resultado nulo também é resultado: o estudo que não deu diferença estatística →

Leituras da casa: o conjunto que atravessou esse teste é o que se lê, em produção, no Diário e no Atlas.

Auditar uma cesta de indicadores de terceiros em bloco — com a redundância medida de frente — é serviço que a casa desenha sob consulta.

Leia também: Um resultado nulo também é resultado: o estudo que não deu diferença estatística · Backtesting honesto: separar a amostra antes de testar · Bater o benchmark trivial: o teste que todo índice da casa precisa passar antes de existir