objetivos de aprendizaje

Indicadores de aprendizaje en entornos virtuales

David Gutiérrez Deja un comentario

Este post empieza mal, porque realmente no habla de indicadores de aprendizaje, sino de indicadores de formación, y tampoco es que sean reflexiones que solo afectan a entornos virtuales. El aprendizaje tal y como lo entendemos en este contexto no es fácilmente medible, como mucho podemos tener sustitutos (proxies), medidas relacionadas que nos dan una idea sobre si efectivamente se produjo o no. Pero, igualmente, en formación corporativa el aprendizaje tampoco es nuestra meta: lo que buscamos es el desempeño, la mejora en la forma en que se llevan a cabo las tareas y que, a su vez, repercute en los objetivos que se alcanzan. Queremos que la gente sea buena en lo que hace y para eso, a veces, lo que hace falta es que aprendan. Y para que aprendan, a veces, hay que formarles.

Una evaluación no mide, por tanto, el aprendizaje, sino la capacidad de una persona para poner en práctica una habilidad en un contexto concreto. O, como escribe Will Thalheimer, «la capacidad para recordar información específica sobre antenas mientras están sentados con sus compañeros en el aula azul el 1 de abril de 3 a 4 de la tarde».

Dicho esto, esas medidas sustitutas pueden ser suficientemente buenas como para informar el diseño instruccional y conseguir mejoras. El uso de herramientas y materiales, la implicación en las tareas, los resultados obtenidos y el uso de recursos de apoyo son algunos grandes grupos de los que podemos intentar sacar conclusiones, siempre teniendo en cuenta que el indicador se basa en evidencia, es decir, tenemos que tener pruebas de que ocurrió lo que decimos. La implicación en las tareas o el seguimiento de una conferencia solo pueden medirse si tenemos un producto de ese proceso (como puede ser un entregable, una colección de mensajes, un historial de ediciones de un documento…).

Los indicadores, en cualquier caso, deben estar alineados con la aproximación pedagógica que se sigue, por dos motivos: comprobar que la estamos aplicando correctamente, y saber si funciona. Es decir, como mi concepción del proceso de aprendizaje va a determinar el tipo de recursos y herramientas que utilizo (si creo que la interacción con pares lo facilita procuraré que las tareas tengan una vertiente social), tendré que establecer indicadores que midan esa alineación (veré si interactuaron o no entre sí y trataré de comprobar cómo impactó eso en el resultado).

Con esta información recogida podemos tomar decisiones sobre el tipo de actividades didácticas que se requieren. Así, poco uso de los recursos de apoyo puede querer decir que no los necesitan (si el resto de indicadores son buenos) o que no son suficientes o no están bien planteados (si los resultados son pobres, es decir, si necesitan ayuda pero no la piden). Una recurrencia alta en el uso de las actividades puede sugerir que son demasiado complejas o que se usan como material de referencia, lo que puede ser bueno o malo dependiendo de si era lo que se pretendía.

Ya se ve que el indicador por sí mismo no dice gran cosa, porque siempre tiene que tener una medida de comparación. Una línea base o una distribución esperada de las mediciones pueden funcionar como criterios de contraste a la hora de sacar conclusiones. Las líneas base suelen ser más sencillas de conseguir, pero también resulta más complicado determinar si el impacto es adecuado o no; es decir, sí podemos saber si ha habido un impacto significativo, pero no (o más difícilmente) cuánto se parece al óptimo que queríamos conseguir. Contar con un modelo al que aspiramos que se parezcan nuestros resultados nos puede dar esa información verificando el ajuste entre él y nuestros resultados. El problema es que estos modelos son difíciles de determinar a menos que tengamos datos de experiencias anteriores. No hay mucha investigación sobre patrones de seguimiento de cursos, menos que proporcionen relaciones causales con el resultado, y menos aún que se refieran a cursos de corta duración. Sin embargo no es descabellado establecer una relación tentativa entre seguimiento y resultados dados ciertos parámetros (ajuste a conocimientos previos y validez interna de la evaluación, al menos) que nos puede ayudar a dibujar un patrón esperado y a tomar medidas cuando hay desviaciones individuales que no responden a otros factores identificables.

En cualquier caso, el indicador definitivo nos lo debe dar la transferencia del aprendizaje, y este es quizá el más complicado de obtener. Se trata esencialmente de comprobar si el presunto aprendizaje puede saltar del contexto en el que se produjo al contexto en el que la habilidad es necesaria. Hay habilidades que se prestan más a recoger mediciones cuantitativas, pero encuentro que métodos de evaluación cualitativa como el del caso de éxito de Brinkerhoff son de gran ayuda para estimar el impacto real de un programa formativo en más dimensiones que la de estricto incremento productivo a corto plazo.

La columna vertebral del diseño instruccional

David Gutiérrez 2 comentarios

La fórmula mágica para el aprendizaje no es excesivamente complicada. Así en breve: pon a alguien a hacer algo, dale ayuda cuando la necesite, explícale por qué comete fallos, dale oportunidades para practicarlo de forma sostenida y espaciada y pídele que te cuente lo que hace y por qué.

En función de las circunstancias concretas para las que estemos diseñando la experiencia de aprendizaje, este proceso tiene mil matices y condicionantes que complican una aplicación directa. Sin embargo sí hay una serie de pasos derivados de él que consigo aplicar con un éxito razonable siempre que la formación busque (y mida) resultados reales. En los cursos cuyo objetivo es que existan cursos, francamente, no hay mucho que rascar.

Esa ruta crítica que vincula mi trabajo de diseñador instruccional con el núcleo del proceso de aprendizaje tiene cinco pasos:

1. Aíslo los objetivos y determino cómo medirlos.

De esto ya hay mucho escrito, pero nunca viene mal insisitir en que los objetivos de una formación no son los mismos para quien la diseña que para quien la recibe. Además, la medición tiene que incluir indicadores de resultado y de proceso (o sea, la meta y que las acciones para llegar a ella sean las apropiadas).

2. Defino los modelos que permiten llegar al objetivo.

Está claro que para aprender cómo llegar a una meta hay que trabajar los pasos que conducen a ella. Sin embargo, diseñar la formación centrándonos en las acciones puede hacer que perdamos la imagen global. Para transmitir la lógica de un flujo de trabajo hay que proporcionar dos cosas: modelos que la muestren y ejemplos que la reflejen. Todos usamos una guía cuando queremos conseguir algo: cuando es algo procedimental puede bastar el recuerdo mecánico de los pasos a seguir, pero frecuentemente buscamos una lógica para lo que hacemos. Contar con un modelo permite inferir las acciones correctas aunque la memoria falle y predecir lo que pasará en una situación determinada, anticipando qué hacer.

3. Defino la práctica

Sin práctica la lógica de una tarea no se asimila. Para que sea escalonada empiezo por el caso más difícil posible y voy eliminando elementos para llegar a las prácticas intermedias, añadiendo ayudas o reduciendo exigencias. El orden al hacerlas será inverso, pero así me aseguro de que hay una continuidad entre los distinos niveles de andamiaje. Además, me es más fácil proporcionar feedback alineado con el resultado final cuando bajo escalones de dificultad, mostrando las consecuencias de un error y pistas para que reflexionen sobre cómo encaja con el modelo del paso anterior. La práctica, además, debería ser recurrente, entrenando varias veces la misma habilidad en contextos más o menos diferentes. Las competencias que funcionan aisladas son algo raro, así que viene bien intercalarlas en ejercicios que no las tengan como objetivo principal (y de paso conseguimos un espaciado muy útil).

4. Busco ejemplos que faciliten la transferencia

Los ejemplos deben referirse al modelo, incluyendo explicaciones de la lógica y una historia bien narrada que los haga memorables y con la que el público objetivo pueda identificarse. Lo explica estupendamente Clark Quinn: varios ejemplos que exploran distintos contextos para la misma habilidad establecen el espacio en el que puede darse la transferencia de la formación al mundo real. Ojo, al multiplicarse los contextos aumenta la probabilidad de que variables extrañas capturen la atención, así que hay que procurar que estén muy centrados y que no dejen lugar a dudas de qué se está haciendo y, muy importante, por qué.

5. Defino la información mínima imprescindible a incluir

Este paso se lo debo a Cathy Moore, cuyo modelo a estas alturas es ya merecidamente mainstream. La idea es que la información tiene que colgar de la práctica y no al revés: en una situación de aprendizaje idónea los datos necesarios para completar una tarea pueden recabarse en el momento apropiado como parte del proceso de andamiaje, exigiendo poco a poco alcanzar los objetivos sin recurrir a esas ayudas (a menos que existan también en el entorno real en el que se usará la habilidad: se pueden eliminar para aumentar la dificultad de la práctica, pero teniendo en cuenta que nos salimos de la réplica del entorno real).

Uno de los aspectos más delicados de estos pasos (y en mi experiencia más problemáticos) es evitar que se transformen en un proceso lineal. Encuentro que trabajar con prototipos de forma iterativa ayuda mucho, y no es casualidad que el modelo de aproximaciones sucesivas (SAM) sea mi metodología de trabajo por defecto desde hace años. Se nota especialmente en que los objetivos, los ejemplos y la práctica se retroalimentan entre sí y la información y los ejemplos corrigen la forma de representar la lógica del modelo. No es raro que haya cambios hasta por lo menos la tercera iteración en unos u otros aspectos, algo a tener en cuenta al abordar cada paso por primera vez para sobreponerse al ansia (propia o del cliente) de tenerlo todo definido a la primera.

El diseño instruccional en la gestión del cambio

David Gutiérrez 2 comentarios
Diseño instruccional y gestión del cambio

Me gusta trabajar en proyectos de gestión del cambio, apoyando al cliente para que aprenda a volar solo. La formación es uno de los pilares de la gestión del cambio, y todo el mundo tiene claro que debe estar incluida, pero hay una tendencia a tratarla como una intervención con principio y fin: se enseña (en el mejor de los casos, en el peor simplemente se muestra) a la gente cómo trabajar bajo las nuevas circunstancias, y a correr. Sin embargo, simplemente por la incorporación y movimiento de profesionales, necesariamente es una labor sostenida; con otra intensidad, desde luego, pero sin final.

Para traspasar a un cliente el peso de la formación, la estrategia habitual es localizar a un número de profesionales de la organización con ciertas características y habilidades (competentes, con capacidad de liderazgo, empáticos…) para convertirles en expertos en el nuevo entorno de trabajo (con la etiqueta de internal champions, superusuarios o referentes). Mi postura es que no solo necesitas profesionales competentes, sino divulgadores competentes capaces de planificar una formación siguiendo prácticas eficaces de diseño instruccional. Es decir, no solo tienen que conocer los nuevos procesos y tareas, sino ser capaces de transmitirlos de modo eficiente y juzgar si una formación está bien estructurada o no. Esto implica que deben entender y saber cómo actuar sobre los mecanismos de aprendizaje, tomando decisiones razonadas sobre cómo usar las herramientas que tengan disponibles.

Darles la competencia mínima necesaria

¿Cuáles son los principios elementales que deberían quedarles grabados a fuego? Independientemente del tipo de proyecto y de la naturaleza de las tareas, hay ciertas formas de plantear la formación que tienen sentido siempre. Nuestro trabajo es que estas personas de referencia se empapen bien de ellas y sepan cuándo y cómo aplicarlas convenientemente, para que cuando termine nuestro trabajo puedan tomar decisiones fundamentadas.

Aunque hay muchos factores importantes yo, normalmente, pongo el foco en estos cuatro conceptos que, tomados como guía, producen planes de formación con impacto relevante. Pueden trasladarse a la práctica de varias formas; aquí hago algunas sugerencias que dan buen resultado:

  1. El sentido de la formación es conseguir resultados. Cuando planifiquen un nuevo curso, que establezcan objetivos de trabajo, es decir, resultados comprobables directamente relacionados con las tareas de los profesionales. Luego tendrán que identificar qué tienen que saber hacer para conseguirlo. Estas competencias constituirán los objetivos de aprendizaje.
  2. El aprendizaje se construye y se consolida con la práctica. Que la formación proporcione oportunidades de práctica, con la teoría en un papel subordinado. Acción y reflexión en lugar de recepción de información.
  3. Lo aprendido se olvida, así que conviene que la práctica esté espaciada. Hay que reservar un porcentaje de sesiones de formación para distribuirlas en el tiempo, con intervalos de días primero y de semanas después. Que no den por aprendido un tema solo porque llegó la fecha de cerrarlo.
  4. Solucionar errores es una buena forma de aprender. Proporciona un entorno seguro en el que cometerlos y, más que prevenirlos, muéstrales sus consecuencias y su resolución. Luego repite la práctica las veces que sea hasta que no haya errores.

Hay varios más que podrían incluirse (diseñar escenarios realistas, hacer seguimiento y dar soporte, incluir interactividad significativa en materiales e-learning, incluir sistemas de ayuda bien diseñados, evaluar indicadores relevantes…) pero estos cuatro dan cuenta, probablemente, del mayor porcentaje de éxito de la formación para la gestión del cambio. Aunque no hay por qué pasar por alto los demás, si tengo que escoger en cuáles centrar mi esfuerzo, la lista es esa.

Incorporar esta perspectiva a los procesos de trabajo

La mejor manera de formar al grupo de expertos, desde luego, es a través de la práctica. Su propia formación debe responder a este conjunto de principios, de manera que los interioricen, y además conviene que tomen parte en el desarrollo de la estrategia de formación para los usuarios de a pie. La metacognición, es decir, que sean conscientes de sus propios procesos de aprendizaje durante el entrenamiento inicial, es la vía para que luego puedan aplicarlos adecuadamente.

El mensaje más importante, que debe quedar grabado a fuego, es que un plan de formación no es un curso en un aula, o unos manuales en un repositorio, o unos vídeos en un LMS, y que no se mide por cuántas de esas cosas se hacen. Se mide por sus consecuencias sobre el día a día de los trabajadores, así que debe incluir lo que sea necesario para que tenga impacto. Cualquier otra opción es tirar el dinero.

Cómo traducir competencias a contenidos: análisis de tareas cognitivas para el diseño instruccional

David Gutiérrez 2 comentarios

Empezando el diseño instruccional de un nuevo curso, organizas una reunión con los expertos en la materia, que van a explicarte los objetivos y pormenores de las tareas sobre las que hay que formar… y a) lo primero que recibes es un manual que se disponen a repasar diligentemente, para asegurarse de que «lo entiendes todo» o b) te empiezan a contar cómo hacen las cosas mientras tú tomas nota a toda velocidad. ¿Te suena?

Trabajar con expertos (SMEs) en proyectos de formación y gestión del cambio es necesario para definir los objetivos de aprendizaje y desglosar las tareas que hay que enseñar a hacer. A partir de la información que dan se extraen las competencias que se traducen en recursos didácticos. Pero los expertos suelen tener su propia idea de cómo va a ser ese proceso, y no siempre te facilitará el trabajo. Este es un paso clave en el que el diseño de un curso o plan de formación puede irse al traste, sin que tú te enteres hasta un buen tiempo después, cuando empiezas a ver que la formación no funciona como debería.

Esto es algo muy estudiado en formación sanitaria, donde el análisis de tareas en campos como la cirugía tiene una importancia crucial. El método habitual es que uno o varios expertos desglosen las tareas en pasos que puedan ser comprendidos por un aprendiz, y a partir de esos pasos se genere la secuencia que debe trasladarse a los recursos didácticos. Sin embargo, la evidencia muestra que buena parte del conocimiento de los expertos es implícito, y no son capaces de describir el total de pasos de una tarea o toma de decisiones: tienen automatizada buena parte de la tarea (de otra forma no podrían aumentar la complejidad), y por eso les resulta difícil contar a otros cómo la hacen exactamente.

Típica sesión de trabajo con un SME

Para compensar este déficit en la definición operativa de tareas, una técnica usada es el análisis de tareas cognitivas (o CTA, cognitive task analysis). Consiste en una recogida de información sistemática que ayuda a los expertos a recuperar los pasos de una tarea con menos omisiones de las que tendrían de forma natural. Un aspecto en el que se hace bastante hincapié es que los expertos NO deben ser formadores a su vez, sino profesionales consistentemente buenos en la tarea en cuestión. El resultado se valida después con otros expertos (de 4 a 6 idóneamente) para mejorar la precisión.

Los resultados comparados de usar CTA contra la simple evocación de pasos por los expertos son francamente buenos, así que me gusta usar variantes de esta técnica en función de las circunstancias (no siempre tengo tantos expertos a mano, para empezar). Es útil cuando un diseño didáctico está basado en objetivos de desempeño, centra la teoría en la lógica de los procesos (en lugar de inundar de datos a los alumnos) y trabaja sobre escenarios reales. Lo que debería ser la norma, vaya.

Hay muchos artículos de investigación sobre el tema, pero me gusta el trabajo de Clark et al (2011) porque reúne lo esencial de los modelos principales. Tiene un resumen de cómo extraer información de un experto en seis pasos que me sirve de guía para mis adaptaciones:

  1. Define la secuencia de tareas en el puesto de trabajo («describe en 30 segundos las acciones y decisiones para lograr el objetivo»):
    1. de fácil a difícil
    2. conocimientos previos que necesitan
    3. riesgos de seguridad
  2. Para cada tarea, describe (con verbos de acción):
    1. contexto (dónde y cuándo)
    2. condiciones y disparadores (qué hace que deba iniciarse la tarea)
    3. secuencia de acciones y decisiones (cómo)
  3. Dime lo que puedas de:
    1. estándares y buenas prácticas
    2. errores de novato
    3. motivación (riesgos y beneficios personales)
  4. Identifica conocimientos conceptuales, si es que son necesarios:
    1. conceptos (terminología y ejemplos)
    2. procesos (cómo se producen los eventos)
    3. principios (qué inicia los eventos)
  5. Lista 5 casos a resolver:
    1. uno para hacer una exposición o demostración
    2. dos más para ejercicios prácticos
    3. otros dos para evaluaciones
  6. Da el documento de CTA a otros expertos para corregirlo.

Aunque no siempre puedo aplicar todos los pasos, o no completamente, sí sistematizan mi recogida de información de manera que al finalizar el proceso tengo cubierta una tabla con:

  1. Objetivos y definición operativa de la tarea
  2. Riesgos y beneficios
  3. Prerrequisitos
  4. Conceptos, procesos y principios relacionados
  5. Acciones y decisiones (pasos)
  6. Problemas

Finalmente, encuentro útil un último paso en el que transformo esta tabla en un checklist, con los pasos, a los que asocio los prerrequisitos, los riesgos y beneficios que puedan reflejarse en resultados, y los problemas que pueden anticiparse. Esta lista me sirve de referencia para el guion de los contenidos formativos, ayudándome a no dejar en el tintero nada importante.

Referencias:

Clark, R.E., Feldon, D., & Yates, K. (2011, April) Using Cognitive Task Analysis to capture expert knowledge and skills for research and instructional design. Workshop presented at the American Educational Research Association, New Orleans, LA

Cómo usar correctamente los objetivos de aprendizaje

David Gutiérrez 1 comentario

Hace unos meses Will Thalheimer publicó un vídeo en el que hace un repaso de la evidencia disponible sobre el uso de objetivos para guiar el aprendizaje y, finalmente, cuestiona cómo se usan habitualmente.

Mager, en los años 60, determinó tres componentes que debe contener un objetivo de aprendizaje: el resultado que los aprendices deben obtener, las condiciones en las que deben ser capaces de alcanzarlo, y los criterios que determinan qué nivel de desempeño es adecuado. Pero , ¿ver esta información es útil para un alumno?

La constatación de que los objetivos de aprendizaje son realmente útiles parte de una investigación de Hamilton de 1985 que establecía que, cuando identifican (a grandes rasgos) la información a aprender, sí tienen efectos considerables, pero que añadir más datos no solo no ayuda, sino que puede dificultar el aprendizaje. Según sus conclusiones, presentar objetivos centra la atención, de forma que la información que se corresponde con ellos se aprende mucho mejor (y hablaríamos de hasta un 30% mejor), pero a costa de aprender peor la que no lo hace.

Es decir, unos buenos objetivos, enunciados según los criterios anteriores, parecen facilitar la discriminación entre qué es relevante y qué no, permitiendo que dediquemos recursos a lo que importa y descartemos el resto. Ojo, porque esto implica que el aprendiz hace esa distinción inconscientemente, por lo que si dejamos fuera de los objetivos algún concepto crucial, estaremos poniendo trabas a su adquisición.

Cómo escribir objetivos de aprendizaje

El enunciado de los objetivos es importante, porque los términos que usemos en ellos van a guiar la atención al trabajar con los materiales didácticos. Así, cuando encontremos esos términos, probablemente vamos a evocar el objetivo y relacionarlo en ambos contextos, ayudando a crear asociaciones significativas. Esto implica que, como de costumbre, no solo importa qué decimos en esos objetivos, sino también cómo lo decimos; esa asociación no se activará si son demasiado generales o vagos, o si las palabras usadas no evocan ese objetivo.

Esto es interesante, porque al establecer objetivos de aprendizaje la mayoría de las guías sobre este tema hacen hincapié en el uso de determinados verbos relacionados con lo que el aprendiz va a hacer con la información (entender, clasificar, organizar, construir…). Sin embargo, en los materiales didácticos,  la información difícilmente aparecerá ligada a alguno de esos términos, porque se supone que entender, clasificar y demás es precisamente lo que se está haciendo mientras trabajamos con el contenido. Es decir, en un curso no deberíamos encontrar “identificamos el bazo antes de hacer una incisión con el bisturí” sino “este es el bazo, y aquí hay que hacer la incisión con el bisturí”, y esperamos que el aprendiz pueda identificarlo a partir de ahí. No le decimos lo que tiene que hacer con su cerebro (identificar el bazo) sino que se lo intentamos facilitar diciéndole dónde está el bazo. Por tanto, en un objetivo como “identificar el bazo antes de hacer una incisión con el bisturí” es irrelevante usar un verbo u otro al enunciar el objetivo, porque lo que va a llamar la atención son términos como “bazo”, “incisión” o “bisturí”. Esos son los que deben aparecer claramente.

¿Para quién son los objetivos?

Tus objetivos como diseñador didáctico nunca van a ser los que tus alumnos tienen en mente al hacer el curso.

Tus objetivos como diseñador didáctico nunca van a ser los que tus alumnos tienen en mente al hacer el curso.


Coincido con Thalheimer (y creo que me irrita tanto como a él) en que parte de este problema viene de que, con alarmante frecuencia, los objetivos que el diseñador del curso enuncia para guiarse al crear los materiales didácticos terminan siendo los que los alumnos verán como propios, para guiar su trabajo sobre esos materiales. Este es un error importante, porque efectivamente al diseñador o a un profesor sí le importa si el alumno debe analizar, clasificar, construir o deducir algo a partir de un material concreto. Eso le va a permitir enfocar el diseño y el uso del material hacia ese tipo de procesamiento. Para el aprendiz, en cambio, lo importante es saber en qué tiene que fijarse y, si el curso está bien hecho, le guiará a procesar la información de una u otra forma.

Como el propio Thalheimer dice, hay muchas formas de guiar la atención de un aprendiz sin necesidad de recurrir siempre a los objetivos de aprendizaje. Úsalos con sensatez, y recuerda no agobiar a los pobres alumnos con lo que tú, como diseñador o profesor, pretendes que tengan en su cabeza al terminar el curso. Háblales de qué sacan ellos de ese curso, de qué problemas van a resolver, de cómo les va a hacer más fácil su trabajo, y tendrás toda su atención.

Referencias:

Hamilton, R. J. (1985). A framework for the evaluation of the effectiveness of adjunct questions and objectives. Review of Educational Research, 55, 47-85
Rothkopf, Ernst Z.; Billington, M. J. Goal-guided learning from text: Inferring a descriptive processing model from inspection times and eye movements. Journal of Educational Psychology, Vol 71(3), Jun 1979, 310-327.