Teoría de Respuesta al Ítem sin fórmulas

El problema de solo contar aciertos

La forma más simple de calificar un examen es contar aciertos. Esa forma trata todas las preguntas como iguales, y no lo son. Acertar una pregunta que casi todos aciertan dice poco; acertar una que casi todos fallan dice bastante.

Dos candidatos con el mismo número de aciertos pueden haber hecho exámenes muy distintos. Uno acertó las fáciles y las intermedias y falló las difíciles. El otro falló fáciles y acertó difíciles dispersas. El conteo da empate. La Teoría de Respuesta al Ítem, o TRI, deshace ese empate al mirar qué preguntas se acertaron.

Cada pregunta tiene una curva

En la TRI, cada pregunta recibe una curva propia, la curva característica del ítem. En el eje horizontal está la habilidad de quien responde; en el vertical, la probabilidad de acertar. Para quien tiene poca habilidad, la probabilidad es baja; sube en una región de la escala y se acerca al máximo para quien tiene mucha.

El dibujo tiene forma de S. Dónde se ubica y qué tan de golpe sube cambian de una pregunta a otra, y son esas diferencias las que usa el modelo.

Piensa en dos preguntas de matrices. En una, la regla aparece en la primera fila y casi cualquier adulto la percibe; la curva sube pronto, bien a la izquierda. En la otra, dos reglas actúan al mismo tiempo y solo se revelan juntas; la curva se mantiene plana hasta la parte alta de la escala y solo entonces sube. Un acierto en la segunda dice mucho más sobre quien respondió.

Los tres parámetros

IQNorth usa el modelo de tres parámetros, el mismo tipo que se usa en pruebas a gran escala. Cada pregunta se describe con tres números.

1. Dificultad: en qué punto de la escala sube la curva. Una pregunta difícil solo empieza a acertarse con frecuencia entre quienes tienen más habilidad.
2. Discriminación: qué tan empinada es la curva. Una pregunta que discrimina bien separa con nitidez a quien está un poco por debajo de quien está un poco por encima de su punto de dificultad.
3. Azar: el piso de la curva. En una pregunta de opción múltiple, incluso quien no sabe el camino acierta de vez en cuando, y el modelo registra esa probabilidad.

Los parámetros de cada pregunta salen de datos: se estiman a partir de las respuestas de muchas personas, antes de que la pregunta se use para puntuar a alguien.

Por qué acertar lo difícil vale más

La estimación de tu habilidad es el punto de la escala que mejor explica tu conjunto de aciertos y errores. El modelo prueba valores y se queda con aquel en el que tu patrón de respuestas sería más probable.

Un acierto en una pregunta fácil se espera de casi todos y mueve poco esa estimación. Un acierto en una pregunta difícil y bien discriminante solo es probable para quien está alto en la escala, y empuja la estimación hacia arriba. Por eso el resultado no es un porcentaje de aciertos estirado.

El mismo razonamiento explica por qué varía el margen de error. Donde el test tiene muchas preguntas con una dificultad cercana a la tuya, cada respuesta ayuda a ubicarte con más seguridad. Lejos de ellas, en los extremos de la escala, hay menos información, y el rango alrededor del número se ensancha. La TRI calcula ese error punto por punto, en lugar de usar un valor único para todos (Embretson y Reise, 2000).

En la TRI pesa qué preguntas acertaste, y no solo cuántas.

Por qué responder al azar no produce un número alto

Quien responde al azar acierta algunas preguntas difíciles por suerte, en la proporción que el parámetro de azar ya prevé. Esos aciertos sueltos, rodeados de errores en preguntas más fáciles, forman un patrón que el modelo atribuye a la casualidad. El tercer parámetro existe justamente para eso: reduce el peso de un acierto en una región donde la suerte explica buena parte de él.

El ENEM usa el mismo razonamiento desde 2009, cuando el INEP adoptó la TRI con tres parámetros. Por eso, en el ENEM, dos candidatos con el mismo número de aciertos pueden tener notas distintas: pesa la coherencia entre lo que se acertó y lo que se falló.

Cuando el patrón no tiene sentido

A veces el conjunto de respuestas es improbable para cualquier punto de la escala: muchos errores en preguntas fáciles y muchos aciertos en difíciles. Eso puede venir de la distracción, de respuestas por impulso o de alguien que ayudó en parte del test. En cualquier caso, el número calculado pasa a merecer menos confianza.

En IQNorth, un patrón muy inusual, o respuestas demasiado rápidas para haber sido leídas, deja el resultado marcado como poco confiable. Repetirlo es gratis.

Ver también: El método.