Por que refazer o teste quase sempre dá “estável”

O efeito de prática

Fazer o mesmo tipo de teste duas vezes quase sempre melhora a segunda pontuação. Na primeira vez, parte do esforço vai para entender o formato: como as figuras se organizam, quanto tempo cada pergunta pede, onde costuma estar a armadilha. Na segunda, isso já está resolvido, e sobra mais atenção para o problema em si.

O fenômeno é bem medido. John Hausknecht e colegas reuniram em 2007 estudos de reteste em testes de capacidade cognitiva usados em seleção de pessoal e encontraram um ganho médio de cerca de um quarto de desvio-padrão (0,26), menor quando a segunda aplicação usava uma forma alternativa, com perguntas diferentes. Jana Scharfen, Jan Peters e Heinz Holling chegaram em 2018 a um ganho de cerca de um terço de desvio-padrão da primeira para a segunda aplicação, com ganhos seguintes menores, até um platô por volta da terceira.

Na escala de QI, em que o desvio-padrão vale 15 pontos, um quarto de desvio-padrão dá perto de 4 pontos. Parece pouco, mas basta para parecer uma melhora real a quem não conhece o efeito.

O erro de cada teste se soma

Todo resultado tem erro de medida. No IQNorth, com 37 perguntas que contam, o erro-padrão fica em torno de 5 a 6 pontos no meio da escala, e por isso o número vem com uma faixa de 95% de confiança de cerca de 10 pontos para cada lado.

Quando você compara dois testes, os dois erros entram na conta. O erro da diferença é maior do que o de cada teste isolado: ele é a raiz quadrada da soma dos quadrados dos dois erros. Com dois erros de 5 pontos, o erro da diferença passa de 7. Uma diferença de 6 ou 8 pontos entre duas aplicações, portanto, cabe inteira no ruído.

Existe ainda a regressão à média. Quem teve um resultado muito longe de 100 na primeira vez tende a ficar um pouco mais perto de 100 na segunda, porque parte do desvio inicial era sorte, boa ou má, daquele dia. Isso vale para os dois lados da curva.

Uma diferença entre dois testes só diz algo quando passa, com folga, da soma dos erros dos dois e do efeito de prática.

Forma paralela: perguntas novas, mesma régua

Refazer exatamente as mesmas perguntas mistura dois efeitos: a prática com o formato e a lembrança das respostas. Para tirar a segunda parte, o reteste do IQNorth usa uma forma paralela. Cada pergunta do primeiro teste tem uma gêmea na segunda forma, com a mesma estrutura de regra e o mesmo tipo de armadilha, e conteúdo diferente. Nas matrizes, mudam as formas e os preenchimentos; nas séries e na lógica, a regra se repete com outros números e palavras; nas sequências de memória, os dígitos são novos.

A ideia é medir a mesma habilidade com a mesma régua. Como as duas formas são pontuadas pela Teoria de Resposta ao Item, cada pergunta conta pela própria dificuldade, e os resultados ficam na mesma escala. A equivalência entre as duas formas ainda é uma hipótese, que será conferida pergunta a pergunta quando a norma for recalculada com respostas reais.

O reteste abre 30 dias depois do teste. O intervalo não apaga o efeito de prática, mas reduz a chance de você lembrar detalhes da primeira aplicação.

Como a comparação decide

A comparação segue três passos, nesta ordem.

1. Desconta a prática. Da diferença entre os dois resultados, tiramos o ganho esperado pela repetição, com base em Hausknecht (2007) e Scharfen (2018). O desconto é de cerca de 4 pontos na primeira repetição e cresce um pouco nas seguintes, até um platô.
2. Calcula a margem. Combinamos os erros dos dois testes para obter o erro da diferença, como descrito acima.
3. Decide. Só dizemos que subiu ou caiu se a diferença, já sem a prática, passar de cerca de duas vezes esse erro. É o critério de mudança confiável proposto por Neil Jacobson e Paula Truax em 1991. Abaixo disso, o resultado sai estável.

O relatório também avisa quando algo pode distorcer a comparação: intervalo curto, uso do treino no mesmo formato, primeiro resultado muito longe de 100, resultado marcado como pouco confiável ou perto do teto do teste.

Por que quase todo mundo sai “estável”

Com essas regras, o reteste é conservador de propósito. Em simulações com o nosso próprio método, uma mudança real de 10 pontos foi detectada em cerca de um quarto das vezes; uma de 15 pontos, em cerca de metade; uma de 25 pontos, em mais de 9 de cada 10. Quando não havia mudança real, o método apontou uma subida falsa em menos de 2 de cada 100 casos.

O reteste, então, só enxerga mudanças grandes. É o custo de não confundir prática e ruído com mudança. E mudanças grandes de raciocínio num adulto, em poucos meses, são raras: as diferenças entre pessoas são bastante estáveis ao longo da vida, como mostra o artigo sobre idade e raciocínio.

“Estável” não quer dizer que nada mudou na sua vida. Quer dizer que, com esta medida, a diferença não pode ser separada do erro e da prática.

Veja também: Reteste com forma paralela.