Indicadores de aprendizaje en entornos virtuales

Este post empieza mal, porque realmente no habla de indicadores de aprendizaje, sino de indicadores de formación, y tampoco es que sean reflexiones que solo afectan a entornos virtuales. El aprendizaje tal y como lo entendemos en este contexto no es fácilmente medible, como mucho podemos tener sustitutos (proxies), medidas relacionadas que nos dan una idea sobre si efectivamente se produjo o no. Pero, igualmente, en formación corporativa el aprendizaje tampoco es nuestra meta: lo que buscamos es el desempeño, la mejora en la forma en que se llevan a cabo las tareas y que, a su vez, repercute en los objetivos que se alcanzan. Queremos que la gente sea buena en lo que hace y para eso, a veces, lo que hace falta es que aprendan. Y para que aprendan, a veces, hay que formarles.

Una evaluación no mide, por tanto, el aprendizaje, sino la capacidad de una persona para poner en práctica una habilidad en un contexto concreto. O, como escribe Will Thalheimer, “la capacidad para recordar información específica sobre antenas mientras están sentados con sus compañeros en el aula azul el 1 de abril de 3 a 4 de la tarde”.

Dicho esto, esas medidas sustitutas pueden ser suficientemente buenas como para informar el diseño instruccional y conseguir mejoras. El uso de herramientas y materiales, la implicación en las tareas, los resultados obtenidos y el uso de recursos de apoyo son algunos grandes grupos de los que podemos intentar sacar conclusiones, siempre teniendo en cuenta que el indicador se basa en evidencia, es decir, tenemos que tener pruebas de que ocurrió lo que decimos. La implicación en las tareas o el seguimiento de una conferencia solo pueden medirse si tenemos un producto de ese proceso (como puede ser un entregable, una colección de mensajes, un historial de ediciones de un documento…).

Los indicadores, en cualquier caso, deben estar alineados con la aproximación pedagógica que se sigue, por dos motivos: comprobar que la estamos aplicando correctamente, y saber si funciona. Es decir, como mi concepción del proceso de aprendizaje va a determinar el tipo de recursos y herramientas que utilizo (si creo que la interacción con pares lo facilita procuraré que las tareas tengan una vertiente social), tendré que establecer indicadores que midan esa alineación (veré si interactuaron o no entre sí y trataré de comprobar cómo impactó eso en el resultado).

Con esta información recogida podemos tomar decisiones sobre el tipo de actividades didácticas que se requieren. Así, poco uso de los recursos de apoyo puede querer decir que no los necesitan (si el resto de indicadores son buenos) o que no son suficientes o no están bien planteados (si los resultados son pobres, es decir, si necesitan ayuda pero no la piden). Una recurrencia alta en el uso de las actividades puede sugerir que son demasiado complejas o que se usan como material de referencia, lo que puede ser bueno o malo dependiendo de si era lo que se pretendía.

Ya se ve que el indicador por sí mismo no dice gran cosa, porque siempre tiene que tener una medida de comparación. Una línea base o una distribución esperada de las mediciones pueden funcionar como criterios de contraste a la hora de sacar conclusiones. Las líneas base suelen ser más sencillas de conseguir, pero también resulta más complicado determinar si el impacto es adecuado o no; es decir, sí podemos saber si ha habido un impacto significativo, pero no (o más difícilmente) cuánto se parece al óptimo que queríamos conseguir. Contar con un modelo al que aspiramos que se parezcan nuestros resultados nos puede dar esa información verificando el ajuste entre él y nuestros resultados. El problema es que estos modelos son difíciles de determinar a menos que tengamos datos de experiencias anteriores. No hay mucha investigación sobre patrones de seguimiento de cursos, menos que proporcionen relaciones causales con el resultado, y menos aún que se refieran a cursos de corta duración. Sin embargo no es descabellado establecer una relación tentativa entre seguimiento y resultados dados ciertos parámetros (ajuste a conocimientos previos y validez interna de la evaluación, al menos) que nos puede ayudar a dibujar un patrón esperado y a tomar medidas cuando hay desviaciones individuales que no responden a otros factores identificables.

En cualquier caso, el indicador definitivo nos lo debe dar la transferencia del aprendizaje, y este es quizá el más complicado de obtener. Se trata esencialmente de comprobar si el presunto aprendizaje puede saltar del contexto en el que se produjo al contexto en el que la habilidad es necesaria. Hay habilidades que se prestan más a recoger mediciones cuantitativas, pero encuentro que métodos de evaluación cualitativa como el del caso de éxito de Brinkerhoff son de gran ayuda para estimar el impacto real de un programa formativo en más dimensiones que la de estricto incremento productivo a corto plazo.

Planes de formación que cumplen objetivos

Planes de formación que cumplen objetivos

A estas alturas está relativamente extendida la idea de que los planes de formación corporativa no pueden medirse en horas de gente sentada en un aula, sino que deben conseguir algún tipo de impacto en la organización. Es decir, el objetivo de la formación en el puesto de trabajo es conseguir un cambio en el desempeño de unas funciones, y un plan de formación es una hoja de ruta para conseguir un determinado impacto en una organización. Ese impacto se mide en términos de:

  •   Eficacia: la mejora reportada en el desempeño.
  •   Eficiencia: número de horas necesarias (cuanto más bajo, mejor) y calidad percibida (índice de satisfacción).

Las horas empleadas por los profesionales son recursos, igual que las empleadas por el equipo de formación, así que deben plantearse como un indicador a reducir, no a aumentar. Que un plan de formación aumente las horas impartidas puede justificarse porque más gente acceda a los cursos, o porque haya habido un cambio importante que requiera una capacitación masiva. De otra forma, el trabajo de diseño debe tender a optimizar las horas por alumno, es decir, a conseguir impactos significativos con una dedicación cada vez menor por parte de los profesionales. Obviamente esa función tiempo-resultados tiene una asíntota y normalmente habrá un número mínimo de horas necesarias, pero que no sea porque los diseñadores instruccionales nos acomodamos.

La planificación por horas es uno de los varios vicios del diseño de planes formativos, pero hay más:

La organización en cursos es lógica, estructurada y permite compartimentar contenidos, pero cuando trabajamos con competencias las interdependencias resultan complicadas de encasillar. Aún así, como la mayoría de la gente está acostumbrada a ese formato, posiblemente los problemas que causa se resuelven bien. La mayor dificultad es insertar el uso de una estructura por cursos en el día a día laboral, en el que las necesidades se cubren mejor con herramientas que faciliten el aprendizaje informal (comunicación con expertos, herramientas sociales o ayudas de trabajo).

Los objetivos de desempeño son importantes porque evitan caer en el volcado de información, que no es que sea simplemente una mala estrategia, es que puede ser contraproducente si no va, al menos, acompañada de práctica suficiente y bien diseñada. Que alguien tenga ciertas nociones sobre una tarea, no contrastadas mediante la práctica sistemática y monitorizada, puede darle una idea equivocada sobre su propia competencia, haciéndole creer que sabe más de lo que sabe y dando pie a errores y malas prácticas. La medida de una competencia es lo que haces, no lo que presuntamente sabes, así que ese riesgo queda anulado si medimos impacto y no aprendizaje.

Unas pocas acciones ayudan mucho a potenciar esos tres puntos:

  • Dedicar recursos a rastrear problemas de desempeño. Buzones de sugerencias y cuestionarios periódicos, entrevistas con perfiles de coordinación… Lo que es un buen análisis de necesidades. Sobre este tema tienen buen material en la Diputación de Alicante, con la complejidad que tiene la formación en el sector público.
  • Basar el aprendizaje en la práctica con expertos. Los talleres y estudios de caso (presenciales o remotos) tienen mejor tasa de transferencia al puesto de trabajo que las ponencias y presentaciones.
  • Potenciar el uso de herramientas colaborativas. El aprendizaje informal surge en buena medida del contacto entre profesionales, y las oportunidades de mejora aparecen cuando puedes ver cómo hacen las cosas los demás. Por no hablar de las comunidades de práctica, que desde mi punto de vista son el mejor ejemplo de qué pasa cuando la estrategia de formación se enfoca a la solución de problemas y no al aprendizaje per se.
  • Orientar los cursos a la evaluación de impacto: La formación, formal o informal, debe concluir solo cuando ya no hay fallos (no cuando un flujo sale bien una vez durante una evaluación). Para saber cuándo ocurre esto es imprescindible tener indicadores de resultados (no de aprendizaje) que permitan medir la estabilidad de los cambios, tanto percibidos como efectivos, con recogidas de información al mes, semestre y año de la primera capacitación, por ejemplo. Espacia la práctica para reducir el olvido y recuerda que lo que no se usa se pierde.

Sobre todo este tema no puedo dejar de recomendaros que sigáis a Jesús Martínez Marín, a quien tuve ocasión de conocer en 2012, durante un congreso en el que también estaba nada menos que Charles Jennings. Trabaja, por cierto, en el sector público, en el que la innovación en formación parece moverse con más soltura que en algunos departamentos empresariales de L&D.

Ayudas para traducir la pedagogía al diseño instruccional: checklists

Checklists para control de calidad en e-learning

Al diseñar materiales didácticos, en el fragor de las pequeñas decisiones sobre cómo redactar una frase o dónde colocar un botón, a veces se pierde la visión de conjunto. No es sencillo traducir los principios pedagógicos generales a un diseño instruccional, y eso favorece caer en lugares comunes y formas de hacer que huelen un poco a rancio. ¿Cómo escribir objetivos que transmitan “qué van a sacar de este recurso sobre facturación” en lugar de “qué les voy a contar en este recurso sobre facturación”?

Por este motivo, además de trabajar con prototipos tempranos, encuentro que resulta útil mantener listas de comprobación para repasarlas cada vez que termino una fase de trabajo sobre el contenido. Suelo hacer una para guiar y auditar el diseño de los contenidos y otra para el de los materiales de evaluación, como este par de ejemplos que uso en formación para la gestión del cambio en implantación de aplicaciones informáticas:

Indicadores de calidad en formación en aplicaciones informáticas

Checklist de las pautas para diseño de contenidos

  • Tiene un título sugerente, que relaciona el contenido con necesidades reales.
  • No tiene introducciones innecesarias (no incluye cortinillas repetitivas).
  • Da objetivos del tipo “por qué me conviene ver esto”, que generan interés (por ejemplo aludiendo a un error común, o con una pregunta)
  • Recapitula conceptos anteriores jerárquicamente.
  • Incluye una explicación de la lógica subyacente a los flujos de trabajo que se tratan.
  • Incluye pequeñas actividades sobre contenidos relacionados y jerárquicamente anteriores (bien tratados en el mismo objeto de aprendizaje algo antes, bien en otros), para forzar la recuperación activa y espaciar la práctica. 
  • Tiene una estructura visible y una secuencia de orden clara, tanto en los contenidos como en los textos.
  • Cierra respondiendo a las preguntas planteadas en los objetivos.

Checklist de las pautas de evaluación

  • Evalúa comprensión y no depende de reconocer una respuesta correcta entre otras incorrectas. Por ejemplo: “¿Hay algo mal en esta pantalla?”.
  • Plantea problemas en lugar de preguntas de respuesta simple.
  • Las preguntas obligan a hacer un esfuerzo de evocación.
  • El feedback aparece demorado para forzar a evocar el problema.

En estas listas no aparecen elementos básicos que tengo muy interiorizados (como usar estilo directo y frases cortas, mantener las partes expositivas por debajo de los 5 minutos, seguir los principios básicos de diseño gráfico o dar feedback significativo), sino que se centran en aspectos en los que es más fácil caer en tópicos por demanda del cliente o inercia. Me resultan útiles para mantener la visión de los dos niveles de abstracción: las premisas de “alto nivel”, que orientan el formato, la estructura y el estilo generales de recursos y textos,  y los factores específicos para tomar decisiones concretas de diseño y redacción. Desde luego son una herramienta muy recomendable como apoyo al diseño didáctico, y ayudan a combatir los lugares comunes en el desarrollo de recursos para la formación en el puesto de trabajo.

¿Qué es xAPI? Resumen no técnico para diseñadores instruccionales

el estándar xAPI en diseño instruccional

Hace ya varios años que xAPI se perfiló como un estándar potente para trazar la actividad de aprendizaje. A lo largo del tiempo se le ha conocido como TinCan o Experience API, y habitualmente se habla de ella como un sustituto de SCORM. Y aunque ha pasado el tiempo aún es habitual encontrarse con perfiles -sobre todo no muy técnicos- que tienen dudas sobre su funcionamiento y, en realidad, sobre qué es exactamente. Aquí recopilo algunos datos generales que pueden ayudar a tomar decisiones sobre ese tipo de trazabilidad en un proyecto de formación corporativa.

xAPI vs SCORM

Que xAPI es un sustituto de SCORM es cierto solo parcialmente. SCORM viene de una época en la que el análisis de datos de formación equivalía a registrar lo que se hacía dentro de un LMS, un paradigma anterior a la demanda masiva de interoperabilidad de hoy día. Es un estándar casi universalmente aceptado, pero tiene muy limitado el tipo de información que transmite. xAPI permite, en potencia, registrar todo lo que se hace fuera del LMS: cursos presenciales, búsquedas en Google, consulta de páginas web, actividad en redes sociales… Además, facilita conectar sistemas externos para que el aprendizaje formal no quede circunscrito a un LMS corporativo.

Así pues, xAPI va sobre interconectar sistemas, no hacer seguimiento de contenidos. Con SCORM puedes saber en qué punto está una persona respecto a un objetivo que, normalmente, se mide en actividades superadas (con más o menos nivel de detalle) dentro de un LMS. Con xAPI es posible conectar esa actividad con otros sistemas que registren, por ejemplo, lo que hace una persona en su trabajo (una aplicación cualquiera que utilice para trabajar). Esto permite relacionar ambas fuentes de datos de dos formas:

  • vincular el rendimiento con la formación: si una persona supera el curso X, es de esperar que se vea una mejora en los registros de las tareas relacionadas con lo aprendido.
  • vincular la formación con el rendimiento: si hay registros que indican que una persona tiene problemas para hacer una tarea (por ejemplo, ha llamado varias veces a un servicio de soporte para preguntar por ella), se le puede ofrecer automáticamente una actividad formativa para reforzarla.

Vale, pero ¿qué es?

xAPI no es software, no es nada instalable ni configurable. Es una especificación, un documento que describe un lenguaje común para comunicar sistemas. La terminología que incluye se refiere a eventos relacionados con el aprendizaje y la formación. Por tanto, un sistema que registre algo que ha hecho un usuario (un vídeo que haya visto, una clase presencial a la que haya asistido…) puede convertirlo en una “sentencia” de este lenguaje común y enviarlo a otro sistema que sea capaz de entenderla.

Para que los sistemas puedan traducir sus datos al estándar xAPI deben contar con una API que entienda esas especificaciones, un elemento de software que pueda hacer de intérprete para los datos que salen y entran. Ese elemento puede existir ya desarrollado (varios LMS incluyen ya una API que lee xAPI), pero muchas veces habrá que desarrollarlo para que nuestros sistemas se hablen entre ellos.

Por ejemplo, si tengo una aplicación de RRHH donde se registra la gente que acude a un seminario, tendré que desarrollar una API que transforme ese dato al estándar xAPI y lo envíe a, pongamos, mi LMS, donde queda registrado junto al resto de información de eventos de aprendizaje de cada persona.

En resumen, mientras que SCORM hace que un paquete de software (un objeto de aprendizaje) se comunique con un LMS, xAPI permite que cualquier sistema se comunique con otro, siempre que ambos cuenten con una API que sepa traducir sentencias a este estándar.

Este envío puede producirse dentro de un sistema corporativo (dentro de un firewall) o a través de internet con una conexión segura, por lo que teóricamente pueden recogerse datos de cualquier sitio que disponga de una API que entienda este estándar.

¿Qué tipo de información maneja?

Básicamente cualquier cosa. Las sentencias de xAPI siguen un esquema persona-verbo-objeto-complementos que puede transmitir virtualmente lo que sea:

  • Alicia abrió el excel “Parte horario”
  • Alicia preguntó “¿Alguien sabe poner contraseña a un excel?” en Yammer
  • Alicia consulto la ayuda de trabajo ‘Cómo cubrir un parte horario‘”
  • Alicia llamó al servicio de soporte técnico el día D a la hora H.
  • Alicia consultó “Manual básico de excel” en la intranet
  • Alicia buscó ‘Cómo poner contraseña a un excel’ en Google
  • Alicia se matriculó en el curso “Excel básico”

Siguiendo la pauta habitual con SCORM, tendríamos los datos del LMS sobre la matrícula y resultados del curso, y los datos que pudiéramos extraer de fuentes indirectas. Sin embargo, con los distintos sistemas enviando información, el conjunto cuenta una historia relevante para el diseño didáctico.

Es importante ver que no estamos hablando exclusivamente de actividades de formación: haciendo que los sistemas hablen entre ellos vinculamos formación con práctica. Esto da alas al apoyo al trabajo in situ, porque puedes, teóricamente, hacer que un sistema informe de que alguien ha hecho mal un determinado flujo de trabajo, para que otro sistema lea eso y ofrezca una ayuda de trabajo adecuada en el momento en que hace falta.

¿Y cuáles son las desventajas?

La principal es el desarrollo que necesita. Al ser un estándar de codificación, si quieres que tus sistemas lo usen tendrás que tener una API que traduzca los datos que manejan de forma nativa a ese estándar. Ya hay APIs para sistemas populares, pero dependiendo de los datos que manejes quizá no se ajusten a lo que necesitas. Si tu sistema dice “Fulanito ha asistido al curso X” y la API está preparada para recibir “Fulanito ha realizado el curso X”, ya no se van a entender. De hecho, el problema más grande es el esfuerzo que requiere para unificar la terminología de cada sistema.

También requiere un sistema de almacenamiento para todos esos datos llamado LRS. El LRS es software que recibe e interpreta las sentencias enviadas por las API y las traduce al estándar xAPI. Puede usarse con conectividad ocasional, y puede registrar cualquier cosa (por ejemplo información de un giroscopio o de un acelerómetro). Puede funcionar como un componente añadido en un LMS, así que no es necesariamente una pieza más a añadir, pero en ese caso posiblemente esté limitado a las posibilidades de explotación de datos que ofrezca el LMS.

Algo a tener en cuenta (realmente no es una desventaja sino una precaución) es que al cruzar los datos de sentencias referidas a aprendizaje con las de resultados de trabajo vamos a encontrar muchas relaciones espurias. “Diez personas asistieron a un seminario y han subido sus ventas” es una conclusión tentadora, pero hay muchas variables que pueden estar mediando en esa relación. Es importante recordar que correlación y causa no son lo mismo, y someter los datos a un análisis riguroso.

Entonces, ¿vale la pena?

En términos de aprendizaje adaptado y de evaluación de impacto es un cambio enorme. Por otro lado, el esfuerzo de construcción es grande también. Desde mi punto de vista, tiene sentido si:

  • tienes varios sistemas que pueden recoger información relevante para la formación.
  • tienes una estrategia de aprendizaje adaptado que pasa por automatizar determinadas sugerencias y recursos personalizados en función de determinadas acciones de un trabajador.
  • tienes una estrategia de evaluación de impacto real.
  • si trabajas con proveedores externos y sus sistemas se ajustan al estándar (para que puedan reportar directamente a tu LRS).

Si tienes interés en profundizar más sobre xAPI, termino con dos recomendaciones: este estupendo MOOC para una visión completa, y este detallado artículo para una visión realista de las posibilidades.

5 ideas para diseñar mejores exámenes sacadas de los test psicológicos

La evaluación del aprendizaje siempre es compleja. Su misión es asegurar que el aprendizaje tiene cierta persistencia y podrá ser trasladado a situaciones reales; por eso es conveniente evaluar a lo largo de un tiempo, sobre el terreno, y no ceñirse a los datos recogidos durante el tiempo de formación. Todo eso, en principio, tiene poco que ver con hacer un examen.

¿Examen sí o no?

Normalmente tenemos una idea de examen tipo cuestionario como el peor ejemplo de evaluación memorística. Aunque siempre tiene limitaciones importantes, cuando está bien hecho puede exigir comprensión de conceptos, no solo memoria. Eso sí, debe centrarse en lo que no pueda distribuirse en ayudas de trabajo, o no se va a poder consultar cuando haga falta; es decir, en lo que no hay más remedio que conocer y entender. Lo que, en definitiva, debe estar en la cabeza del aprendiz. No es la única ni la mejor manera de medir el aprendizaje (mejor un escenario que transforme las preguntas directas en factores de decisión en una situación realista, o un entregable que exija poner en práctica lo aprendido), pero normalmente es la más barata y la más sencilla de procesar y, si tengo que tener lista una evaluación en poco tiempo, mejor esta que ninguna. Si tienes que hacer un cuestionario de examen, Cathy Moore explica aquí las cuestiones básicas a tener en cuenta, y además lo enseña elegantemente en un ejercicio práctico. Tengo poco que añadir ahí, así que voy a ir un paso más allá.

Test psicológicos

Test1

Pro tip: elige bien los tests en los que te inspiras.

Si hay un tipo de cuestionario al que se le ha dedicado tiempo y tinta en investigación psicológica básica son los que miden rasgos y estados psicológicos. Obviamente no estoy hablando de cuestionarios de revista, sino de encuestas cuya fiabilidad y validez se mira con lupa y que tienen como fin usarse en contextos clínicos, como escalas de ansiedad o de depresión. Las preguntas se formulan para que cada opción tenga, de forma natural, el mismo número de probabilidades de ser elegida por azar, de forma que solo el rasgo que están midiendo influirá en una persona a la hora de seleccionar una u otra. Eso (que es básicamente imposible, pero la meta es acercarse) implica eliminar todos los sesgos posibles y tratar de localizar cualquier desequilibrio para asegurar una decisión pura, y no inconsciente o conscientemente alterada.

Claves que pueden trasladarse al diseño de preguntas de examen

Por lo general ningún examen de contenido va a someterse a ese proceso, que es complejo y largo. Sin embargo es interesante apuntar en la misma dirección, tratando de que todas las opciones sean igualmente atractivas. Aquí van, por tanto, algunos de los sesgos más importantes que podemos intentar evitar, sacados del campo de la psicometría:

  • Cuidado con el efecto halo: la primera opción suele convertirse en el criterio de comparación, y las otras serán juzgadas como mejores o peores que esa, antes que entre ellas.
  • Intenta que todas las opciones (o ninguna) sean socialmente deseables. Es decir, que parezcan lo que un buen profesional haría.
  • Todas las respuestas deben ser útiles. No sirve de nada que sean plausibles si el alumno no puede relacionarlas con la resolución de un problema, y tenderá a escoger aquella más aplicable, frente a las que se basen en afirmaciones generales.
  • Ten en cuenta los sesgos ideológicos. Las personas tendemos a elegir respuestas cercanas a nuestra postura personal, lo que en ocasiones puede eclipsar lo correctas que sean. Si una respuesta incorrecta refleja una actitud o creencia próxima a la que yo tengo, mientras que la correcta no lo hace, es fácil que me decante por la primera.
  • Que la memoria de trabajo no sea un factor decisivo. Todos tenemos un límite en el número de opciones que somos capaces de comparar a la vez. Los ítems largos o los bloques grandes (normalmente de más de 4 o 5 opciones) incrementan la complejidad y fuerzan a simplificar la decisión desechando algunos factores. Es preferible un enunciado más detallado y respuestas más simples que a la inversa.

Estas variables pueden cambiar mucho la dificultad de un examen, y merece la pena incluirlas en el diseño de las preguntas y respuestas. Será raro que podamos contrastar si estamos siendo rigurosos, pero se nos colarán menos sesgos que si no las tenemos en cuenta.

Referencias: