De tín marín de do PSU

El otro día leí una noticia en el mercurio sobre el el cambio en el cálculo del puntaje PSU. Básicamente, ahora las malas no restan puntaje. ¿Bueno? ¿Malo? Bueno para algunos. Para otros no tanto.

El principal efecto de este cambio es estadístico y no psicológico, como dice el artículo. La razón es simple: ahora tengo un 20% de chance de obtener un beneficio al tirar algo al achunte, sin costo alguno. Y esto tiene implicancias nefastas para 1) la utilidad de la PSU como herramienta de medición y 2) el premio al esfuerzo.

En la página del Demre pueden encontrar un interesante resumen de cómo se calcula el puntaje de una prueba, pero cuento corto:

Básicamente lo que hacen es ajustar cómo se distribuyeron los puntajes corregidos de las pruebas para que los puntajes se distribuyan normalizadamente. Eso quiere decir que cuando los puntajes se concentran en un sector, el rango se "abre"; y cuando los puntajes se reparten mucho—lado derecho del ejemplo—, el rango se concentra y quedan todos más cerca.

Efecto achunte

¿Qué pasa si tiro una al achunte y fallo? Hoy esto te resta 1/4 de tu puntaje corregido, lo que afecta mucho menos al que ya tiene poco puntaje que al que no. ¿Qué pasa con este cambio? Ya no me restan 1/4 de punto, claro. Pero eso no es todo.

Supongamos el siguiente ejemplo.

- Michelle ha omitido 10 preguntas, ya que no sabe y no quiere arriesgar perder puntos.
- Andrés solamente ha omitido 1.

Bajo las reglas anteriores y en términos del puntaje corregido, tanto Michelle como Andrés no tienen incentivos para tirar una respuesta al achunte, ya que tienen un 20% de chance de ganar 1 punto y 80% de chance de perder 1/4.

0,2*1 - 0,8*1/4 = 0

El efecto para Andrés será más fuerte en su puntaje PSU (puntaje calculado), ya que está en la parte más alta de la curva. Sin embargo, las cosas son justas: Michelle no sabe tanto e incurre en menos riesgos para responder incluso si no está segura, mientras que Andrés arriesga mucho si trata de llegar más allá de lo que sabe.

¿Qué pasa con la nueva regla?

Bueno, ahora a los dos les da lo mismo. Tanto Michelle como Andrés van a tirar al achunte todas las respuestas que no sepan, ya que tienen un 20% de chance de ganar un punto en esa respuesta y 0% de chance de perder. ¡Y el efecto va mucho más allá!

¿Cuál es la probabilidad de que Michelle o Andrés ganen por lo menos un punto más en la prueba? En el caso de Michelle, ella tendría que fallar en las 10 preguntas que ha omitido, mientras que Andrés solamente tiene una oportunidad.

Pr(X ≥ 1 | Michelle) = 1 - 0,8^10 = 90%
Pr(X ≥ 1 | Andrés) = 0,2*1 = 20%

Podemos ver que el beneficio es aún mayor a medida que se tienen más preguntas omitidas. Y esto es lo clave al momento de definir cuál es el verdadero impacto de la medida.

Los gráficos de abajo comparan los resultados de dos simulaciones PSU para una prueba imaginaria. Los gráficos de la columna de la izquierda representan la distribución de los resultados en términos de puntaje corregido, mientras que los de la derecha la distribución de los resultados en puntaje PSU. La fila de arriba considera la situación actual, con un castigo de 0.25 por pregunta errada, y la fila de más abajo considera la regla nueva.

Queda en evidencia que el efecto en la distribución de putajes PSU no es relevante más allá de el aumento de puntajes nacionales: 277 vs. 331, un aumento del 20% aprox.

Sin embargo, el efecto de la nueva regla en la distribución de los puntajes corregidos sí es considerable. Ahora cualquier alumno tiene una esperanza positiva de ganar puntaje corregido, exceptuando los que ya iban a obtener puntajes perfectos, y aumentando su magnitud a medida que menor puntaje corregido hubiesen obtenido en el escenario con castigo.

El gráfico anterior muestra con mucha mayor claridad la pérdida de validez de la prueba, en términos de puntaje corregido, generada por la nueva regla (curva roja): aunque todavía los puntajes puedan distribuirse de forma similar, perdemos en promedio 20 preguntas—¡¡y no podemos saber cuáles!!—útiles para obtener información sobre los puntos fuertes y débiles de los alumnos.
No sé si esta información hoy efectivamente se usa para algo. Me imagino que sí. Lo importante es preguntarse por qué alguien tomaría esta decisión.

Costo-beneficio

En mi opinión, afectar la validez en términos de la capacidad predictiva y de análisis de la PSU no es una decisión ligera. Por lo menos debiera haber una razón para justificar este cambio.

¿Beneficio psicológico?

Según la entrevista, el beneficio psicológico para el alumno es la principal razón. Lo siento, pero no lo creo. A un alumno no le puede importar menos si contesta todas o contesta la mitad de las preguntas, siempre y cuando obtenga un puntaje suficiente para entrar a la universidad y carrera que quiere.

¿Mejoras en puntaje?

Ya observamos que el cambio de regla no debiera afectar la distribución de puntajes PSU en general, ¿pero qué pasa a nivel individual? En el gráfico de abajo, la línea roja muestra el puntaje simulado sin castigo por incorrectas, dado el puntaje corregido que un alumno hubiese tenido considerando un castigo de 1/4 de punto por respuesta incorrecta—o sea, situación actual.

La nueva regla beneficia al extremo derecho, mientras probablemente haga caer los puntajes del resto—esto no tendrá efecto en la entrada a universidades, ya que el orden se mantiene.

¿Oportunidad mediática?

Antes mostrábamos cómo con esta nueva regla Michelle obtiene una ventaja sobre Andrés en las chances de mejorar su puntaje. Si lo llevamos a la práctica, ¿cuán justo es esto para los alumnos que sí tenían puntajes perfectos? Puede que sea lo suficientemente justo como para organizar una ceremonia más grande y felicitar a más alumnos, no lo sé.


La suerte es imparcial, pero no es mi idea de una educación justa.