Por qué repetir el test casi siempre da “estable”

El efecto de práctica

Hacer el mismo tipo de test dos veces casi siempre mejora la segunda puntuación. La primera vez, parte del esfuerzo se va en entender el formato: cómo se organizan las figuras, cuánto tiempo pide cada pregunta, dónde suele estar la trampa. La segunda vez, eso ya está resuelto, y queda más atención para el problema en sí.

El fenómeno está bien medido. En 2007, John Hausknecht y sus colegas reunieron estudios de retest en tests de capacidad cognitiva usados en selección de personal y encontraron una mejora promedio de alrededor de un cuarto de desviación estándar (0,26), menor cuando la segunda aplicación usaba una forma alternativa, con preguntas diferentes. En 2018, Jana Scharfen, Jan Peters y Heinz Holling llegaron a una mejora de alrededor de un tercio de desviación estándar entre la primera y la segunda aplicación, con mejoras posteriores menores, hasta una meseta hacia la tercera.

En la escala de CI, donde la desviación estándar vale 15 puntos, un cuarto de desviación estándar equivale a casi 4 puntos. Parece poco, pero basta para parecer una mejora real a quien no conoce el efecto.

El error de cada test se suma

Todo resultado tiene un error de medida. En IQNorth, con 37 preguntas que cuentan, el error estándar ronda los 5 a 6 puntos en el centro de la escala, y por eso el número viene con un rango de confianza del 95% de unos 10 puntos hacia cada lado.

Cuando comparas dos tests, los dos errores entran en la cuenta. El error de la diferencia es mayor que el de cada test por separado: es la raíz cuadrada de la suma de los cuadrados de los dos errores. Con dos errores de 5 puntos, el error de la diferencia supera los 7. Una diferencia de 6 u 8 puntos entre dos aplicaciones, por lo tanto, cabe entera en el ruido.

Además está la regresión a la media. Quien obtuvo un resultado muy alejado de 100 la primera vez tiende a quedar un poco más cerca de 100 la segunda, porque parte de la desviación inicial era suerte, buena o mala, de ese día. Esto vale para los dos lados de la curva.

Una diferencia entre dos tests solo dice algo cuando supera con holgura la suma de los errores de ambos y el efecto de práctica.

Forma paralela: preguntas nuevas, la misma regla de medir

Repetir exactamente las mismas preguntas mezcla dos efectos: la práctica con el formato y el recuerdo de las respuestas. Para eliminar el segundo, el retest de IQNorth usa una forma paralela. Cada pregunta del primer test tiene una gemela en la segunda forma, con la misma estructura de regla y el mismo tipo de trampa, pero con contenido diferente. En las matrices cambian las formas y los rellenos; en las series y en la lógica, la regla se repite con otros números y palabras; en las secuencias de memoria, los dígitos son nuevos.

La idea es medir la misma habilidad con la misma regla de medir. Como las dos formas se puntúan con la Teoría de Respuesta al Ítem, cada pregunta cuenta según su propia dificultad, y los resultados quedan en la misma escala. La equivalencia entre las dos formas todavía es una hipótesis, que se comprobará pregunta por pregunta cuando la norma se recalcule con respuestas reales.

El retest se habilita 30 días después del test. El intervalo no borra el efecto de práctica, pero reduce la probabilidad de que recuerdes detalles de la primera aplicación.

Cómo decide la comparación

La comparación sigue tres pasos, en este orden.

1. Descuenta la práctica. De la diferencia entre los dos resultados, restamos la mejora esperada por la repetición, con base en Hausknecht (2007) y Scharfen (2018). El descuento es de unos 4 puntos en la primera repetición y crece un poco en las siguientes, hasta una meseta.
2. Calcula el margen. Combinamos los errores de los dos tests para obtener el error de la diferencia, como se describió arriba.
3. Decide. Solo decimos que subió o bajó si la diferencia, ya sin la práctica, supera unas dos veces ese error. Es el criterio de cambio confiable propuesto por Neil Jacobson y Paula Truax en 1991. Por debajo de eso, el resultado sale estable.

El informe también avisa cuando algo puede distorsionar la comparación: un intervalo corto, el uso del entrenamiento en el mismo formato, un primer resultado muy alejado de 100, un resultado marcado como poco confiable o cercano al techo del test.

Por qué casi todo el mundo sale “estable”

Con estas reglas, el retest es conservador a propósito. En simulaciones con nuestro propio método, un cambio real de 10 puntos se detectó en alrededor de una cuarta parte de los casos; uno de 15 puntos, en alrededor de la mitad; uno de 25 puntos, en más de 9 de cada 10. Cuando no había un cambio real, el método señaló una subida falsa en menos de 2 de cada 100 casos.

El retest, entonces, solo ve cambios grandes. Es el costo de no confundir la práctica y el ruido con un cambio. Y los cambios grandes de razonamiento en un adulto, en pocos meses, son raros: las diferencias entre personas son bastante estables a lo largo de la vida, como muestra el artículo sobre edad y razonamiento.

“Estable” no quiere decir que nada haya cambiado en tu vida. Quiere decir que, con esta medida, la diferencia no se puede separar del error y de la práctica.

Ver también: Retest con forma paralela.