retroalimentación en formación

Uso y evaluación de prototipos en e-learning

David Gutiérrez 1 comentario
Uso de prototipos en e-learning

El trabajo con prototipos en diseño instruccional proporciona validaciones tempranas, en estadios en los que a veces el análisis de necesidades formativas ni siquiera está finalizado (la triste e inevitable frecuencia del fast tracking es uno de los motivos por los que ADDIE no me gusta), pero sí tenemos ya información suficiente para hacer propuestas concretas de formato y estructura de contenidos didácticos. Aunque lo idóneo es hacer esta validación con usuarios finales, no es raro que en este primer momento solo participen usuarios avanzados, o a veces incluso directivos.

Los problemas de evaluar un prototipo con usuarios finales son varios (genera expectativas sobre el resultado final, suelen fijarse en detalles y buscan contenido más que uso y presentación) pero prescindir de ellos lo pone más difícil aún. Cuando son usuarios avanzados, expertos y directivos los que validan este trabajo temprano, su atención suele estar en qué cuentas y cómo, en lugar de qué problemas resuelves (que suele ser el foco de los usuarios finales).

Expectativas frente a prototipos en diseño instruccional

Típico resultado de una mala gestión de expectativas ante un prototipo

En estas condiciones, ¿qué tipo de evaluación tiene sentido para un prototipo?

  • Objetivos: normalmente será pronto para una validación de contenidos, pero sí puede verse si los materiales responden a los objetivos de aprendizaje perseguidos. Si quieres que aprendan a hacer una tarea necesitarás recursos para transmitir su lógica, para ver ejemplos y para practicarla, y cada función puede hacerse con un tipo diferente de material (infografías, estudios de caso, prácticas guiadas, escenarios…).
  • Usabilidad: si los usuarios se pierden en el prototipo, seguramente se perderán en los recursos finales (aquí tienes algunas pautas para evitarlo)
  • Estructura del contenido: resulta muy sencillo preparar un prototipo para mostrar cómo será la navegación no ya desde el punto de vista de la usabilidad, sino cómo y cuándo se incluirán conceptos, práctica, evaluaciones, feedback, recapitulaciones, esquemas…
  • Estructura de la información: muy relacionada con la anterior, muestra cómo distintos tipos de información se transmiten de distinta forma: qué va en un esquema (aunque el esquema en sí sea ilustrativo solamente), qué en forma de estudio de caso, qué en forma de ejemplo…

¿Cómo facilitar la evaluación?

  • Crea un prototipo enfocado a los objetivos de aprendizaje que quieres evaluar. Si vas a centrarte en usabilidad y estructura, por ejemplo, que esos dos factores estén bien trabajados, aunque dejes otros por el camino. Recuerda que un prototipo siempre es provisional y deberías tardar en producirlo el tiempo justo para que no te frustre descartarlo, si es necesario. Eso implica recortes.
  • Escoge los indicadores apropiados para medir esos objetivos de aprendizaje, y planea una tarea de evaluación que esté enfocada a recoger esas medidas.
  • Controla las expectativas: deja claro a los usuarios, desde el principio (quizá con un mensaje en el propio material), que es un prototipo, que está incompleto y que procuren centrarse en los objetivos de esta tarea concreta.
  • Automatiza la recogida de datos: si haces el prototipo en una herramienta de wireframes plana (o en powerpoint sin ir más lejos) no podrás sacar mucha información, pero si haces el prototipo directamente con la herramienta de autor que vayas a usar al final, puedes usar los datos que recoja. Es bastante laborioso y solo recomiendo hacerlo si el prototipo está avanzado y la evaluación debe ser muy exhaustiva.

Recuerda que los resultados de la evaluación serán tan fiables como avanzado esté el prototipo, por lo que es importante usarlo para validar solo aquello que refleja claramente (o sea, no tengas en cuenta comentarios sobre el diseño gráfico en un prototipo de estructura de la información, porque va a ser feo seguro). Y sobre todo, calibra el esfuerzo que dedicas a los prototipos con el resultado que vas a obtener, para que te sea más fácil superar la aversión a la pérdida.

Crear recursos didácticos interactivos: menos es más

David Gutiérrez 2 comentarios

Cuando se discuten las bases de un proyecto de formación suele haber una demanda permanente de “cursos interactivos”. Ahora, tengo la sensación de que si pregunto a alguien que nunca ha visto un curso e-learning a qué se refiere exactamente con interactividad, voy a tener una respuesta muy distinta a la de alguien habituado a ellos.

No es oro todo lo que reluce

En las últimas dos décadas hemos asociado interactividad a cualquier tipo de clic de ratón, posiblemente por la aplicación de una lógica como la siguiente:

  1. en una pantalla, la interacción con el contenido necesariamente se traduce en clics de ratón o pulsaciones con el dedo.
  2. por tanto, cualquier pulsación es una interacción.

Técnicamente es cierto, pero en nuestro terreno la interacción es un medio para un fin: el aprendizaje. Incluimos interacción, y los clientes la demandan, porque se supone que capta la atención de los alumnos y da mejores resultados. Si no hace eso, no tiene sentido llamarlo interactivo. Interaccionamos con todo lo que nos rodea, pero cuando me como un filete no digo que el cuchillo y el tenedor son interactivos.

El criterio de significatividad

El matiz está en el carácter significativo de esta interactividad: si ese clic no responde a una toma de decisiones relevante, es decir, si el usuario no está haciendo un esfuerzo cabal por averiguar dónde debe pulsar (y no porque el botón esté escondido), entonces es simplemente una acción mecánica irrelevante. Por tanto, hay interacciones relevantes y no relevantes.

El curso de acción que sigue a este descubrimiento lo dan los manuales de usabilidad web: cuantos menos clics te lleve llegar a donde quieres ir, mucho mejor. Por tanto, poda los clics irrelevantes hasta reducirlos al mínimo, y potencia los que son significativos.

Supongo que en ocasiones SÍ tienen sentido

Supongo que en ocasiones SÍ tienen sentido

Pero entonces, ¿cómo sigo leyendo?

Resulta complicado hacer ese trabajo de poda en un material basado en texto y publicado en formato de presentación; al fin y al cabo, necesitas un botón de “Siguiente” para avanzar… y pasar página no es la interacción más relevante que se me ocurre. Parte del problema es seguramente que ese tipo de materiales se etiquetan como “didácticos”; sin embargo, es exactamente lo mismo que hacen aplicaciones como Slideshare, o cualquier Power Point en formato de presentación. Estos formatos, como los libros electrónicos, tienen su lugar como material de consulta o de estudio, pero no son cursos.

Hace ya tiempo encontré por la red los resultados de una encuesta (via Ebolo) que, entre otras cosas, reforzaba la idea de que los usuarios prefieren ejercicios y casos prácticos al contenido expositivo. Nada nuevo ni difícil de entender, y, sin embargo, choca con uno de los aparentes principios inquebrantables del e-learning: la reducción de costes. De nuevo aplicando esta lógica absurda:

  1. El e-learning es barato.
  2. Lo más barato que puedo hacer es coger una presentación que ya tengo de un curso presencial y añadirle unos botones para que puedan navegarla.
  3. Por tanto, las presentaciones navegables son e-learning.

Ayuda a este silogismo que las herramientas de autoría más habituales tienen como función más básica, precisamente, ese paso de un formato de presentación a otro navegable. Si lo haces con una herramienta para crear e-learning, será que es e-learning, ¿no?

¿Cuánto me va a costar esa interactividad?

Abandonar este razonamiento no implica que el e-learning sea caro; en los casos en que los materiales sean reutilizables varias veces, hagan falta actualizaciones frecuentes y la audiencia objetivo sea numerosa o esté geográficamente dispersa, seguirá siendo más barato que la formación presencial. Sin embargo, si queremos que sea efectivo sí será, posiblemente, más caro de lo que suele esperarse. Clark Quinn lo explica muy bien en su blog: cualquier aprendizaje formal debe ser caro. Construir materiales con interacciones relevantes, retroalimentación significativa y adaptado al usuario lleva tiempo y esfuerzo. Simplemente, algunas veces no es necesario algo tan complejo, y la situación demanda otro tipo de recursos: breves presentaciones informativas, checklists, guías paso a paso, una charla con un experto, construir una wiki o alimentar la conexión entre las personas implicadas, para que se ayuden unas a otras.

Pero cuando hay que rascarse el bolsillo, no está de más recordar que el resultado habitual del low cost son demasiadas horas perdidas por usuario, y unas cuantas encuestas de satisfacción que rezuman satisfacción, pero no dicen nada sobre aprendizaje.

Conclusiones

No asumas que un curso es la solución más apropiada; pero si efectivamente lo es, haz uno que valga la pena y consigue que los recursos dedicados sean una inversión, y no un coste perdido. Si decides que necesitas un material interactivo haz que el contenido sea relevante, y añade la interactividad como parte integral de la experiencia, no como una forma de navegar por la pantalla.

¿Que es un curso obligatorio (léase por ley), y de lo que se trata es de que salga barato, y que esté ahí por si acaso? Pues también hay alternativas.

4 factores esenciales en el diseño de experiencias de aprendizaje

David Gutiérrez 2 comentarios

Tengo una memoria desastrosa, y me cuesta mucho recordar la lista de cosas que debo tener en cuenta a la hora de plantear un diseño de formación (ni falta que hace: para eso tengo un montón de documentación). Sin embargo, la experiencia hace que cuando hago mis primeros esquemas, antes de consultar ninguna fuente, ya haya mucho definido. Simplemente me parece obvio y lo incluyo, pero está claro que es más que intuición: es conocimiento procedimental.

Desde luego, cada formación es distinta, y las circunstancias mandan: lo que funcionó la última vez puede ser una mala idea para la próxima. Para tener una base relativamente firme sobre la que pisar, parto de lo que sabemos acerca de cómo aprendemos, y lo aplico a unos objetivos de aprendizaje a medida de la situación. Los recursos que desarrollo a partir de ahí deberían dar como resultado una formación significativa y medible, que son las dos características irrenunciables.

Por tanto, la planificación cambia de una vez para otra, pero hay un esqueleto de cuatro elementos que engloban todas las variables para crear experiencias de aprendizaje de uno u otro tipo:

Contexto

realista pero seguroUn aprendizaje no puede ser significativo si no está contextualizado. Todo lo que no proporcionemos nosotros lo tendrá que suponer el alumno, y ese esfuerzo en ocasiones será demasiado como para que le compense. El entorno de formación perfecto proporciona situaciones realistas, pero en las que los fallos no tienen consecuencias reales: un entorno seguro en el que experimentar. Algo lógico (y una de las bases del aprendizaje activo) y sin embargo ausente de la mayoría de los cursos, que tienden a usar el juego de rol como un tímido e insuficiente intento de acercar el tópico a la realidad.


Actividad

no_magistralEl aprendizaje es activo. Aprendemos haciendo, y cualquier tipo de formación debe girar en torno a la actividad. Las clases magistrales pasivas (es decir, que ni siquiera provocan el razonamiento, que es una forma de actividad) no son solo aburridas, sino poco eficientes: el tiempo que ocupan se aprovecha mucho mejor trabajando sobre tareas y ejemplos. Incluso un tema más teórico como, pongamos, la legislación sobre riesgos laborales, se aborda mejor después de haber resuelto un caso de mala prevención que contextualiza, obliga a buscar respuestas y ayuda a entender por qué la ley es como es.

Esfuerzo

esfuerzoComo norma general un cierto grado de frustración es motivador, igual que un cierto grado de estrés mejora el rendimiento en una tarea. Poner delante un ejercicio demasiado sencillo es tiempo perdido: hay que hacer que el alumno sude la camiseta un poco. No solo porque necesita concentrarse para resolver el problema, o porque puede aprender corrigiendo sus errores, sino porque cuando finalmente consigue resolver un reto relevante para él (es decir, bien contextualizado), recibe una inyección de endorfinas que le mantienen motivado y, a la vez, ayudan a fijar el aprendizaje. Un problema adecuado obliga a explorar los límites de las habilidades que tenemos, ajustándolas o buscando alternativas para resolverlo. Como el riesgo de frustrarse es alto, debe haber ayuda disponible cuando sea necesaria, pero no en forma de instrucciones, sino de indicios o sugerencias. Facilitar en lugar de contar.

Consecuencias

estafermoSi el aprendizaje está contextualizado y es activo, la retroalimentación será necesariamente en forma de consecuencias. Esto implica normalmente cierta incertidumbre y tonos de gris en el resultado de los casos abordados: salvo en tareas con pocos grados de libertad, lo normal es que hagamos las cosas tirando a bien o tirando a mal, pero no perfectas ni desastrosas. Debería ser el contexto resultante el que hable por sí solo, dando claramente una idea de cómo ha salido, complementado con algo de información adicional o una pista sobre qué falló. La retroalimentación directa y basada en recompensas (“lo has hecho muy bien”) es un triste intento de provocar algo de emoción, no aporta información y tiene el riesgo de reducir las conclusiones obtenidas a un mero juicio de valor.

Además de estos cuatro factores hay otras consideraciones (interacción entre alumnos y tutores, tipo de materiales didácticos, medios de distribución, seguimiento, andamiaje, objetivos, espaciamiento…) que tienen, obviamente, mucho impacto en el resultado final, pero desde mi punto de vista siempre van subordinados a los cuatro anteriores.

¿Y vale la pena siempre?

Este enfoque redunda, inevitablemente, en el coste inmediato. La instrucción directa y la exposición de contenido son más baratos y más sencillos de producir. Esto no quiere decir que sean la única opción cuando el presupuesto es bajo: se pueden diseñar experiencias activas y adaptadas sencillas, minimalistas, y con un impacto duradero mayor que una clase magistral, sea presencial o virtual; abarcarán menos terreno, y seguramente haya que dejar en el tintero muchos detalles, pero el resultado seguirá favoreciendo el aprendizaje, a diferencia de la alternativa.