La evaluación del aprendizaje siempre es compleja. Su misión es asegurar que el aprendizaje tiene cierta persistencia y podrá ser trasladado a situaciones reales; por eso es conveniente evaluar a lo largo de un tiempo, sobre el terreno, y no ceñirse a los datos recogidos durante el tiempo de formación. Todo eso, en principio, tiene poco que ver con hacer un examen.

¿Examen sí o no?

Normalmente tenemos una idea de examen tipo cuestionario como el peor ejemplo de evaluación memorística. Aunque siempre tiene limitaciones importantes, cuando está bien hecho puede exigir comprensión de conceptos, no solo memoria. Eso sí, debe centrarse en lo que no pueda distribuirse en ayudas de trabajo, o no se va a poder consultar cuando haga falta; es decir, en lo que no hay más remedio que conocer y entender. Lo que, en definitiva, debe estar en la cabeza del aprendiz. No es la única ni la mejor manera de medir el aprendizaje (mejor un escenario que transforme las preguntas directas en factores de decisión en una situación realista, o un entregable que exija poner en práctica lo aprendido), pero normalmente es la más barata y la más sencilla de procesar y, si tengo que tener lista una evaluación en poco tiempo, mejor esta que ninguna. Si tienes que hacer un cuestionario de examen, Cathy Moore explica aquí las cuestiones básicas a tener en cuenta, y además lo enseña elegantemente en un ejercicio práctico. Tengo poco que añadir ahí, así que voy a ir un paso más allá.

Test psicológicos

Pro tip: elige bien los tests en los que te inspiras.

Si hay un tipo de cuestionario al que se le ha dedicado tiempo y tinta en investigación psicológica básica son los que miden rasgos y estados psicológicos. Obviamente no estoy hablando de cuestionarios de revista, sino de encuestas cuya fiabilidad y validez se mira con lupa y que tienen como fin usarse en contextos clínicos, como escalas de ansiedad o de depresión. Las preguntas se formulan para que cada opción tenga, de forma natural, el mismo número de probabilidades de ser elegida por azar, de forma que solo el rasgo que están midiendo influirá en una persona a la hora de seleccionar una u otra. Eso (que es básicamente imposible, pero la meta es acercarse) implica eliminar todos los sesgos posibles y tratar de localizar cualquier desequilibrio para asegurar una decisión pura, y no inconsciente o conscientemente alterada.

Claves que pueden trasladarse al diseño de preguntas de examen

Por lo general ningún examen de contenido va a someterse a ese proceso, que es complejo y largo. Sin embargo es interesante apuntar en la misma dirección, tratando de que todas las opciones sean igualmente atractivas. Aquí van, por tanto, algunos de los sesgos más importantes que podemos intentar evitar, sacados del campo de la psicometría:

• Cuidado con el efecto halo: la primera opción suele convertirse en el criterio de comparación, y las otras serán juzgadas como mejores o peores que esa, antes que entre ellas.
• Intenta que todas las opciones (o ninguna) sean socialmente deseables. Es decir, que parezcan lo que un buen profesional haría.
• Todas las respuestas deben ser útiles. No sirve de nada que sean plausibles si el alumno no puede relacionarlas con la resolución de un problema, y tenderá a escoger aquella más aplicable, frente a las que se basen en afirmaciones generales.
• Ten en cuenta los sesgos ideológicos. Las personas tendemos a elegir respuestas cercanas a nuestra postura personal, lo que en ocasiones puede eclipsar lo correctas que sean. Si una respuesta incorrecta refleja una actitud o creencia próxima a la que yo tengo, mientras que la correcta no lo hace, es fácil que me decante por la primera.
• Que la memoria de trabajo no sea un factor decisivo. Todos tenemos un límite en el número de opciones que somos capaces de comparar a la vez. Los ítems largos o los bloques grandes (normalmente de más de 4 o 5 opciones) incrementan la complejidad y fuerzan a simplificar la decisión desechando algunos factores. Es preferible un enunciado más detallado y respuestas más simples que a la inversa.

Estas variables pueden cambiar mucho la dificultad de un examen, y merece la pena incluirlas en el diseño de las preguntas y respuestas. Será raro que podamos contrastar si estamos siendo rigurosos, pero se nos colarán menos sesgos que si no las tenemos en cuenta.

Referencias:

• Brown, A. (2015) Item Response Models for Forced-Choice Questionnaires: A Common Framework
• Muñiz, J., Hambleton, R.K. (1992) “Medio siglo de teoría de respuesta a los ítems”, Anuario de Psicología 52, 41-46. .