Teoria de Resposta ao Item sem fórmula

O problema de só contar acertos

O jeito mais simples de pontuar uma prova é contar acertos. Ele trata todas as questões como iguais, e elas não são. Acertar uma questão que quase todo mundo acerta diz pouco; acertar uma que quase todo mundo erra diz bastante.

Dois candidatos com o mesmo número de acertos podem ter feito provas muito diferentes. Um acertou as fáceis e as médias e errou as difíceis. O outro errou fáceis e acertou difíceis espalhadas. A contagem dá empate. A Teoria de Resposta ao Item, ou TRI, desfaz esse empate olhando para quais questões foram acertadas.

Cada pergunta tem uma curva

Na TRI, cada questão ganha uma curva própria, a curva característica do item. No eixo horizontal está a habilidade de quem responde; no vertical, a chance de acertar. Para quem tem pouca habilidade, a chance é baixa; ela sobe numa região da escala e se aproxima do máximo para quem tem muita.

O desenho tem forma de S. Onde ele fica e o quanto ele sobe de repente mudam de uma questão para outra, e são essas diferenças que o modelo usa.

Pense em duas questões de matrizes. Numa, a regra aparece na primeira linha e quase todo adulto a percebe; a curva sobe cedo, bem à esquerda. Na outra, duas regras agem ao mesmo tempo e só se revelam juntas; a curva fica deitada até a parte alta da escala e só então sobe. Um acerto na segunda diz muito mais sobre quem respondeu.

Os três parâmetros

O IQNorth usa o modelo de três parâmetros, o mesmo tipo usado em provas de grande escala. Cada questão é descrita por três números.

1. Dificuldade: em que ponto da escala a curva sobe. Uma questão difícil só passa a ser acertada com frequência por quem tem mais habilidade.
2. Discriminação: o quanto a curva é íngreme. Uma questão que discrimina bem separa com nitidez quem está um pouco abaixo de quem está um pouco acima do seu ponto de dificuldade.
3. Chute: o piso da curva. Numa questão de múltipla escolha, até quem não sabe o caminho acerta de vez em quando, e o modelo registra essa chance.

Os parâmetros de cada questão vêm de dados: são estimados a partir das respostas de muitas pessoas, antes de a questão ser usada para pontuar alguém.

Por que acertar o difícil vale mais

A estimativa da sua habilidade é o ponto da escala que melhor explica o seu conjunto de acertos e erros. O modelo testa valores e fica com aquele em que o seu padrão de respostas seria mais provável.

Um acerto numa questão fácil é esperado de quase todo mundo e move pouco essa estimativa. Um acerto numa questão difícil e bem discriminante só é provável para quem está alto na escala, e empurra a estimativa para cima. Por isso o resultado não é uma porcentagem de acertos esticada.

O mesmo raciocínio explica por que a margem de erro varia. Onde o teste tem muitas questões com dificuldade perto da sua, cada resposta ajuda a localizar você com mais segurança. Longe delas, nas pontas da escala, há menos informação, e a faixa em volta do número se alarga. A TRI calcula esse erro ponto a ponto, em vez de usar um valor único para todos (Embretson e Reise, 2000).

Na TRI, pesa quais questões você acertou, e não apenas a contagem.

Por que o chute não produz número alto

Quem chuta acerta algumas questões difíceis por sorte, na taxa que o parâmetro de chute já prevê. Esses acertos soltos, cercados de erros em questões mais fáceis, formam um padrão que o modelo atribui ao acaso. O terceiro parâmetro existe justamente para isso: ele reduz o peso de um acerto numa região onde a sorte explica boa parte dele.

O ENEM usa o mesmo raciocínio desde 2009, quando o INEP adotou a TRI com três parâmetros. É por isso que, no ENEM, dois candidatos com o mesmo número de acertos podem ter notas diferentes: pesa a coerência entre o que foi acertado e o que foi errado.

Quando o padrão não faz sentido

Às vezes o conjunto de respostas é improvável para qualquer ponto da escala: muitos erros em questões fáceis e muitos acertos em difíceis. Isso pode vir de distração, de respostas no impulso ou de alguém ajudando em parte do teste. Em qualquer caso, o número calculado passa a merecer menos confiança.

No IQNorth, um padrão muito incomum, ou respostas rápidas demais para terem sido lidas, deixa o resultado marcado como pouco confiável. Refazer é grátis.

Veja também: O método.