Autor: David Gutiérrez

Indicadores de aprendizaje en entornos virtuales

David Gutiérrez Deja un comentario

Este post empieza mal, porque realmente no habla de indicadores de aprendizaje, sino de indicadores de formación, y tampoco es que sean reflexiones que solo afectan a entornos virtuales. El aprendizaje tal y como lo entendemos en este contexto no es fácilmente medible, como mucho podemos tener sustitutos (proxies), medidas relacionadas que nos dan una idea sobre si efectivamente se produjo o no. Pero, igualmente, en formación corporativa el aprendizaje tampoco es nuestra meta: lo que buscamos es el desempeño, la mejora en la forma en que se llevan a cabo las tareas y que, a su vez, repercute en los objetivos que se alcanzan. Queremos que la gente sea buena en lo que hace y para eso, a veces, lo que hace falta es que aprendan. Y para que aprendan, a veces, hay que formarles.

Una evaluación no mide, por tanto, el aprendizaje, sino la capacidad de una persona para poner en práctica una habilidad en un contexto concreto. O, como escribe Will Thalheimer, «la capacidad para recordar información específica sobre antenas mientras están sentados con sus compañeros en el aula azul el 1 de abril de 3 a 4 de la tarde».

Dicho esto, esas medidas sustitutas pueden ser suficientemente buenas como para informar el diseño instruccional y conseguir mejoras. El uso de herramientas y materiales, la implicación en las tareas, los resultados obtenidos y el uso de recursos de apoyo son algunos grandes grupos de los que podemos intentar sacar conclusiones, siempre teniendo en cuenta que el indicador se basa en evidencia, es decir, tenemos que tener pruebas de que ocurrió lo que decimos. La implicación en las tareas o el seguimiento de una conferencia solo pueden medirse si tenemos un producto de ese proceso (como puede ser un entregable, una colección de mensajes, un historial de ediciones de un documento…).

Los indicadores, en cualquier caso, deben estar alineados con la aproximación pedagógica que se sigue, por dos motivos: comprobar que la estamos aplicando correctamente, y saber si funciona. Es decir, como mi concepción del proceso de aprendizaje va a determinar el tipo de recursos y herramientas que utilizo (si creo que la interacción con pares lo facilita procuraré que las tareas tengan una vertiente social), tendré que establecer indicadores que midan esa alineación (veré si interactuaron o no entre sí y trataré de comprobar cómo impactó eso en el resultado).

Con esta información recogida podemos tomar decisiones sobre el tipo de actividades didácticas que se requieren. Así, poco uso de los recursos de apoyo puede querer decir que no los necesitan (si el resto de indicadores son buenos) o que no son suficientes o no están bien planteados (si los resultados son pobres, es decir, si necesitan ayuda pero no la piden). Una recurrencia alta en el uso de las actividades puede sugerir que son demasiado complejas o que se usan como material de referencia, lo que puede ser bueno o malo dependiendo de si era lo que se pretendía.

Ya se ve que el indicador por sí mismo no dice gran cosa, porque siempre tiene que tener una medida de comparación. Una línea base o una distribución esperada de las mediciones pueden funcionar como criterios de contraste a la hora de sacar conclusiones. Las líneas base suelen ser más sencillas de conseguir, pero también resulta más complicado determinar si el impacto es adecuado o no; es decir, sí podemos saber si ha habido un impacto significativo, pero no (o más difícilmente) cuánto se parece al óptimo que queríamos conseguir. Contar con un modelo al que aspiramos que se parezcan nuestros resultados nos puede dar esa información verificando el ajuste entre él y nuestros resultados. El problema es que estos modelos son difíciles de determinar a menos que tengamos datos de experiencias anteriores. No hay mucha investigación sobre patrones de seguimiento de cursos, menos que proporcionen relaciones causales con el resultado, y menos aún que se refieran a cursos de corta duración. Sin embargo no es descabellado establecer una relación tentativa entre seguimiento y resultados dados ciertos parámetros (ajuste a conocimientos previos y validez interna de la evaluación, al menos) que nos puede ayudar a dibujar un patrón esperado y a tomar medidas cuando hay desviaciones individuales que no responden a otros factores identificables.

En cualquier caso, el indicador definitivo nos lo debe dar la transferencia del aprendizaje, y este es quizá el más complicado de obtener. Se trata esencialmente de comprobar si el presunto aprendizaje puede saltar del contexto en el que se produjo al contexto en el que la habilidad es necesaria. Hay habilidades que se prestan más a recoger mediciones cuantitativas, pero encuentro que métodos de evaluación cualitativa como el del caso de éxito de Brinkerhoff son de gran ayuda para estimar el impacto real de un programa formativo en más dimensiones que la de estricto incremento productivo a corto plazo.

La columna vertebral del diseño instruccional

David Gutiérrez 2 comentarios

La fórmula mágica para el aprendizaje no es excesivamente complicada. Así en breve: pon a alguien a hacer algo, dale ayuda cuando la necesite, explícale por qué comete fallos, dale oportunidades para practicarlo de forma sostenida y espaciada y pídele que te cuente lo que hace y por qué.

En función de las circunstancias concretas para las que estemos diseñando la experiencia de aprendizaje, este proceso tiene mil matices y condicionantes que complican una aplicación directa. Sin embargo sí hay una serie de pasos derivados de él que consigo aplicar con un éxito razonable siempre que la formación busque (y mida) resultados reales. En los cursos cuyo objetivo es que existan cursos, francamente, no hay mucho que rascar.

Esa ruta crítica que vincula mi trabajo de diseñador instruccional con el núcleo del proceso de aprendizaje tiene cinco pasos:

1. Aíslo los objetivos y determino cómo medirlos.

De esto ya hay mucho escrito, pero nunca viene mal insisitir en que los objetivos de una formación no son los mismos para quien la diseña que para quien la recibe. Además, la medición tiene que incluir indicadores de resultado y de proceso (o sea, la meta y que las acciones para llegar a ella sean las apropiadas).

2. Defino los modelos que permiten llegar al objetivo.

Está claro que para aprender cómo llegar a una meta hay que trabajar los pasos que conducen a ella. Sin embargo, diseñar la formación centrándonos en las acciones puede hacer que perdamos la imagen global. Para transmitir la lógica de un flujo de trabajo hay que proporcionar dos cosas: modelos que la muestren y ejemplos que la reflejen. Todos usamos una guía cuando queremos conseguir algo: cuando es algo procedimental puede bastar el recuerdo mecánico de los pasos a seguir, pero frecuentemente buscamos una lógica para lo que hacemos. Contar con un modelo permite inferir las acciones correctas aunque la memoria falle y predecir lo que pasará en una situación determinada, anticipando qué hacer.

3. Defino la práctica

Sin práctica la lógica de una tarea no se asimila. Para que sea escalonada empiezo por el caso más difícil posible y voy eliminando elementos para llegar a las prácticas intermedias, añadiendo ayudas o reduciendo exigencias. El orden al hacerlas será inverso, pero así me aseguro de que hay una continuidad entre los distinos niveles de andamiaje. Además, me es más fácil proporcionar feedback alineado con el resultado final cuando bajo escalones de dificultad, mostrando las consecuencias de un error y pistas para que reflexionen sobre cómo encaja con el modelo del paso anterior. La práctica, además, debería ser recurrente, entrenando varias veces la misma habilidad en contextos más o menos diferentes. Las competencias que funcionan aisladas son algo raro, así que viene bien intercalarlas en ejercicios que no las tengan como objetivo principal (y de paso conseguimos un espaciado muy útil).

4. Busco ejemplos que faciliten la transferencia

Los ejemplos deben referirse al modelo, incluyendo explicaciones de la lógica y una historia bien narrada que los haga memorables y con la que el público objetivo pueda identificarse. Lo explica estupendamente Clark Quinn: varios ejemplos que exploran distintos contextos para la misma habilidad establecen el espacio en el que puede darse la transferencia de la formación al mundo real. Ojo, al multiplicarse los contextos aumenta la probabilidad de que variables extrañas capturen la atención, así que hay que procurar que estén muy centrados y que no dejen lugar a dudas de qué se está haciendo y, muy importante, por qué.

5. Defino la información mínima imprescindible a incluir

Este paso se lo debo a Cathy Moore, cuyo modelo a estas alturas es ya merecidamente mainstream. La idea es que la información tiene que colgar de la práctica y no al revés: en una situación de aprendizaje idónea los datos necesarios para completar una tarea pueden recabarse en el momento apropiado como parte del proceso de andamiaje, exigiendo poco a poco alcanzar los objetivos sin recurrir a esas ayudas (a menos que existan también en el entorno real en el que se usará la habilidad: se pueden eliminar para aumentar la dificultad de la práctica, pero teniendo en cuenta que nos salimos de la réplica del entorno real).

Uno de los aspectos más delicados de estos pasos (y en mi experiencia más problemáticos) es evitar que se transformen en un proceso lineal. Encuentro que trabajar con prototipos de forma iterativa ayuda mucho, y no es casualidad que el modelo de aproximaciones sucesivas (SAM) sea mi metodología de trabajo por defecto desde hace años. Se nota especialmente en que los objetivos, los ejemplos y la práctica se retroalimentan entre sí y la información y los ejemplos corrigen la forma de representar la lógica del modelo. No es raro que haya cambios hasta por lo menos la tercera iteración en unos u otros aspectos, algo a tener en cuenta al abordar cada paso por primera vez para sobreponerse al ansia (propia o del cliente) de tenerlo todo definido a la primera.

Planes de formación basados en casos de uso

David Gutiérrez Deja un comentario

Un análisis de necesidades siempre es delicado, pero quizá uno de los pasos menos claros es cómo documentarlo adecuadamente para trasladarlo a un plan de formación. Ya he comentado en otras entradas que más que un análisis de necesidades se trata de hacer un análisis de problemas, del que saldrán cuatro cosas:

  • El desfase entre competencias requeridas y actuales.
  • Indicadores para medir el impacto de la formación.
  • Necesidades futuras, previendo carencias a corto y medio plazo.
  • Vías para integrar la formación en el flujo diario de la organización.

Para que salga bien tendremos que contar con buenos interlocutores (fiables y relevantes para darnos la información que nos hace falta: personas con cargo, representantes de colectivos, profesionales de referencia o incluso muestras aleatorias) y trabajar bien los métodos de recogida de información y el procesamiento de los datos.

Extraer los datos relevantes de las distintas herramientas es laborioso, especialmente en el caso de la información recogida en entrevistas y grupos focales, y siempre ayuda un trabajo previo de  estructuraciónm, teniendo en cuenta que lo que buscamos con los datos finales:

  1. Desglosar las competencias genéricas (capacidades y actitudes) y las competencias técnicas requeridas para abordar una tarea específica. Esto es normalmente asimilable a un mapa de puestos de trabajo.
  2. Identificar y cuantificar el desfase entre las competencias requeridas y las actuales.
  3. Determinar cuántos y cuáles de esos desfases pueden abordarse con formación/gestión del conocimiento.
  4. Fijar unos objetivos cuantificables de reducción de ese desfase.
  5. Hacer una segmentación funcional por perfiles, agrupando usuarios según sus necesidades comunes.

Los pasos del 1 al 4, aunque suponen esfuerzo, están bastante claros y tienen buenas guías metodológicas disponibles. El paso 5, en cambio, tiene mucha miga y está menos explorado. Consiste en encontrar puntos comunes entre las necesidades formativas de los distintos perfiles profesionales, de forma que establezcamos una estructura funcional, que puede o no coincidir con el organigrama. Es lo que hace que la formación sea transversal donde debe y específica donde se necesita, y que los recursos sean reutilizables y más eficientes. Permite, por ejemplo, generar recursos de aprendizaje genéricos para  cubrir los conceptos esenciales, y reforzarlos con prácticas dirigidas específicamente.

Si tus competencias no son reales tu plan no vale nada

Yo suelo hacerlo con una doble tarea: primero identificando los flujos de trabajo basándome en el Análisis de Tareas Cognitivas, y, después, extrayendo de esos flujos las competencias, para crear agrupaciones (al estilo de los clusters para la secuenciación de contenidos) que me sirvan como criterio para agrupar también flujos de trabajo relacionados. Es decir, uso los flujos de trabajo como casos de uso de las competencias, y al final tengo una tabla tal que así:

P1 P2 P3 A1 A2 A3 A4 A5 A6
F1 c1 x
c2 x
F2 c1 x
c3 x
F3 c1 c1 c1 x
c4 c4 x
F4 c5 c5 x
c6 x

En este ejemplo, todos los perfiles profesionales (P1, P2 y P3) necesitan una misma competencia c1 para tres flujos de trabajo distintos (F1, F2 y F3). Sin embargo, solo la aplican conjuntamente en F3, que es el único flujo en el que participan todos. Por tanto, esa competencia puede entrenarse conjuntamente para todos usando el flujo de trabajo 3 como hilo conductor del entrenamiento, pero habrá que diseñar entrenamiento específico para los profesionales con perfiles P1 y P2, por separado, puesto que la usan en flujos independientes. Esto quiere decir que, si es posible, diseñaremos primero el entrenamiento del flujo F3 (A1 en la tabla), para que tanto P1 como P2 lleguen al entrenamiento respectivo de F1 y F2 con la competencia c1 ya trabajada. Esto nos permitirá centrarnos en las competencias c2 y c3 para esos flujos, ahorrándonos la parte común de c1 (para la que ese entrenamiento serviría como refuerzo y evaluación). Hay que recordar que en general el aprendizaje es contextualizado y la generalización a otros contextos no es necesariamente fácil.

El lado peligroso de este enfoque es que, al partir de flujos de trabajo, puede acabar demasiado centrado en tareas y perder el enfoque de competencias. Estando pendiente de esa cuestión, tiene la gran ventaja de generar una estructura lógica de la formación, sugiriendo un orden en el trabajo de las competencias y una progresión enlazada directamente con los flujos de trabajo reales, y permite establecer casos de uso transversales, con flujos comunes para distintos perfiles.

 

Planes de formación que cumplen objetivos

David Gutiérrez 1 comentario
Planes de formación que cumplen objetivos

A estas alturas está relativamente extendida la idea de que los planes de formación corporativa no pueden medirse en horas de gente sentada en un aula, sino que deben conseguir algún tipo de impacto en la organización. Es decir, el objetivo de la formación en el puesto de trabajo es conseguir un cambio en el desempeño de unas funciones, y un plan de formación es una hoja de ruta para conseguir un determinado impacto en una organización. Ese impacto se mide en términos de:

  •   Eficacia: la mejora reportada en el desempeño.
  •   Eficiencia: número de horas necesarias (cuanto más bajo, mejor) y calidad percibida (índice de satisfacción).

Las horas empleadas por los profesionales son recursos, igual que las empleadas por el equipo de formación, así que deben plantearse como un indicador a reducir, no a aumentar. Que un plan de formación aumente las horas impartidas puede justificarse porque más gente acceda a los cursos, o porque haya habido un cambio importante que requiera una capacitación masiva. De otra forma, el trabajo de diseño debe tender a optimizar las horas por alumno, es decir, a conseguir impactos significativos con una dedicación cada vez menor por parte de los profesionales. Obviamente esa función tiempo-resultados tiene una asíntota y normalmente habrá un número mínimo de horas necesarias, pero que no sea porque los diseñadores instruccionales nos acomodamos.

La planificación por horas es uno de los varios vicios del diseño de planes formativos, pero hay más:

La organización en cursos es lógica, estructurada y permite compartimentar contenidos, pero cuando trabajamos con competencias las interdependencias resultan complicadas de encasillar. Aún así, como la mayoría de la gente está acostumbrada a ese formato, posiblemente los problemas que causa se resuelven bien. La mayor dificultad es insertar el uso de una estructura por cursos en el día a día laboral, en el que las necesidades se cubren mejor con herramientas que faciliten el aprendizaje informal (comunicación con expertos, herramientas sociales o ayudas de trabajo).

Los objetivos de desempeño son importantes porque evitan caer en el volcado de información, que no es que sea simplemente una mala estrategia, es que puede ser contraproducente si no va, al menos, acompañada de práctica suficiente y bien diseñada. Que alguien tenga ciertas nociones sobre una tarea, no contrastadas mediante la práctica sistemática y monitorizada, puede darle una idea equivocada sobre su propia competencia, haciéndole creer que sabe más de lo que sabe y dando pie a errores y malas prácticas. La medida de una competencia es lo que haces, no lo que presuntamente sabes, así que ese riesgo queda anulado si medimos impacto y no aprendizaje.

Unas pocas acciones ayudan mucho a potenciar esos tres puntos:

  • Dedicar recursos a rastrear problemas de desempeño. Buzones de sugerencias y cuestionarios periódicos, entrevistas con perfiles de coordinación… Lo que es un buen análisis de necesidades. Sobre este tema tienen buen material en la Diputación de Alicante, con la complejidad que tiene la formación en el sector público.
  • Basar el aprendizaje en la práctica con expertos. Los talleres y estudios de caso (presenciales o remotos) tienen mejor tasa de transferencia al puesto de trabajo que las ponencias y presentaciones.
  • Potenciar el uso de herramientas colaborativas. El aprendizaje informal surge en buena medida del contacto entre profesionales, y las oportunidades de mejora aparecen cuando puedes ver cómo hacen las cosas los demás. Por no hablar de las comunidades de práctica, que desde mi punto de vista son el mejor ejemplo de qué pasa cuando la estrategia de formación se enfoca a la solución de problemas y no al aprendizaje per se.
  • Orientar los cursos a la evaluación de impacto: La formación, formal o informal, debe concluir solo cuando ya no hay fallos (no cuando un flujo sale bien una vez durante una evaluación). Para saber cuándo ocurre esto es imprescindible tener indicadores de resultados (no de aprendizaje) que permitan medir la estabilidad de los cambios, tanto percibidos como efectivos, con recogidas de información al mes, semestre y año de la primera capacitación, por ejemplo. Espacia la práctica para reducir el olvido y recuerda que lo que no se usa se pierde.

Sobre todo este tema no puedo dejar de recomendaros que sigáis a Jesús Martínez Marín, a quien tuve ocasión de conocer en 2012, durante un congreso en el que también estaba nada menos que Charles Jennings. Trabaja, por cierto, en el sector público, en el que la innovación en formación parece moverse con más soltura que en algunos departamentos empresariales de L&D.

Técnicas para potenciar el aprendizaje: el espaciado

David Gutiérrez 1 comentario
efecto de espaciado en diseño didáctico

Cuando acabas de aprender algo, especialmente si lo practicaste lo suficiente, tienes la sensación de que lo dominas. Si lo aprendiste en un curso, sales de él pensando que lo controlas. Pero claro, cuando te pones con ello en tu trabajo empiezas a ver lagunas que creías que no existían, a dudar… en definitiva, que no estaba tan claro.

El diseño didáctico se nutre, por un lado, de los principios incluidos en los modelos teóricos de diseño didáctico (como este, este o este) y, por otro, de las aportaciones de la investigación de laboratorio y de campo. La aplicación de la teoría dependerá de los valores o preferencias del diseñador instruccional frente a los objetivos de cada formación, pero cómo aplicar las aportaciones científicas tiene más miga. Entre otras cosas, porque es necesario tener claro que también la investigación de campo está mediada por los valores y objetivos del investigador, que medirá unos parámetros u otros en función de lo que entienda por «aprendizaje», pero también porque es necesaria cierta prudencia al sacar conclusiones de la experimentación tanto de laboratorio como de campo. La multiplicidad de variables en entornos de formación es tal que resulta complicado afirmar que lo que funcionó repetidamente en un contexto funcionará también en otro similar.

Bases del espaciado

A pesar de lo que comento arriba, hay principios que proceden de la investigación básica que sí podemos usar de forma transversal a cualquier diseño didáctico, teniendo en cuenta que están consolidados por un número y variedad de estudios suficiente como para considerarlos universales y que han sido convenientemente traducidos a la práctica mediante modelos, normalmente simples pero precisos. El efecto de espaciado es uno de los principios más fiables procedentes de la investigación, y empieza a ser razonablemente usado en diseño didáctico, especialmente desde la generalización del uso de apps móviles para el aprendizaje. Es uno de los aspectos fundamentales de la cognición humana, y tampoco es que sorprenda a nadie: repetir es bueno para recordar, y repasar algo un tiempo tras haberlo aprendido ayuda a no olvidarlo.

La lógica tras el espaciado es que la repetición funciona para reforzar un aprendizaje (esto no es precisamente una novedad) pero, si hace agrupada, la habilidad seguirá sometida al mismo declive dado por la curva del olvido. Si esa repetición, en forma de práctica de recuperación (es decir, con un esfuerzo consciente por recuperar la información) se espacia en el tiempo, entonces sí estamos haciendo algo realmente productivo. Este espaciado debe ser considerable sin pasarse, aunque no hay una medida estándar que pueda usarse con seguridad. Lo cierto es que varios días parecen funcionar mejor que uno o dos. Ante la duda, intenta con espaciados largos, pero mi consejo es usar periodos que permitan combinarlo de forma efectiva con otras técnicas efectivas, como el intercalado de contenidos y, por supuesto, la secuenciación, que además favorecen el andamiaje y la elaboración.

Puesta en práctica

En términos prácticos, se trata de trabajar sobre un elemento, tratar elementos posteriores en la secuencia (o sin relación, a efectos del espaciado da igual) en las sesiones siguientes y, tras unos días, someter a prueba el recuerdo. La clave es evaluarlo y dar retroalimentación, no simplemente repasarlo, porque así nos aseguramos de que hay un esfuerzo por recuperar la información. Es ese intento consciente y expreso por recordar cómo se hace algo el que refuerza y ayuda a consolidar el aprendizaje.

Las ayudas de trabajo también son una buena opción, pero su función no siempre es consolidar el aprendizaje: una guía paso a paso te facilitará completar la tarea, pero te crea dependencia y tendrás que usarla cada vez. Las guías que abordan la lógica de la tarea sí pueden funcionar como práctica de refuerzo, pero si el flujo de trabajo asociado no es frecuente, cuando finalmente la usas quizá ya ha pasado demasiado tiempo. Por tanto, solo ayudan a consolidar el aprendizaje cuando hay una rutina de revisión periódica, sea espontánea o inducida. Para asegurarla, lo mejor es establecer una secuencia temporal de ejercicios de refuerzo o simulacros que repliquen la situación de uso de esa ayuda.

Espaciado en MOOCs

Es bastante fácil pensar en una secuencia de espaciado para un curso típico, pero los MOOC plantean ciertas dudas. Aquí la dificultad estriba en que hay una diversidad enorme de ritmos de aprendizaje, así que es complicado controlar cuál es el momento idóneo para la mayoría en el que lanzar cada evento de la secuencia espaciada.

Sin embargo, normalmente los MOOC son cursos estructurados en un intervalo temporal definido, igual que un curso convencional. Esto quiere decir que, en la práctica, la solución es la misma que podría aplicarse a este: basar la secuencia no en hitos temporales sino en logros, de forma que los recursos se vayan habilitando en función de los eventos individuales previos. Es raro encontrar un LMS que no tenga esta capacidad adaptativa, así que los datos de progreso permiten enviar los refuerzos tras intervalos calculados individualmente, con lo que conseguimos una secuencia a medida de cada estudiante. Este esquema puede encontrar escollos en la dificultad de planificarlo y en la coordinación con las actividades sociales y grupales, con lo que hay que prever si vamos a contar con una masa crítica de personas en cada punto del itinerario. En cualquier caso, mi impresión es que es una mejora bastante clara al diseño habitual. No lo he visto en ningún MOOC hasta la fecha, pero está en mis planes que acabe habiendo alguno 🙂

El papel del soporte en la formación

David Gutiérrez 1 comentario
Formación y sistemas de ayuda en implantación de aplicaciones

Trabajo a menudo con aplicaciones de historia clínica electrónica, y últimamente hay una tendencia muy fuerte a incluir funcionalidades de apoyo a la toma de decisiones clínicas; es decir, cómo aprovechar toda la información contenida en la historia de un paciente para ayudar al personal clínico a elegir cursos de acción. Este apoyo normalmente se integra de forma sutil en los sistemas, como opciones recomendadas a la hora de procesar órdenes médicas o como avisos ante determinadas situaciones (interacciones medicamentosas y alergias son los más comunes, pero básicamente cualquier condición previa del paciente puede ser tenida en cuenta).

La parte interesante desde el punto de vista formativo está en la completa inmersión de la ayuda en el sistema con el que se trabaja, un modelo de cuyo diseño hablé hace un tiempo. Tener ayuda a mano tiene varias ventajas, se identifica de forma consistente como un factor de éxito en las implantaciones de aplicaciones informáticas y, en mi experiencia, tiene el mismo peso específico en la adopción de cualquier nuevo proceso, aunque no esté relacionado con el manejo de ordenadores. En general, la gestión del cambio que mejor resultado obtiene da, al menos, tanto peso al soporte tras el arranque como a la formación anterior a él.

La formación para la gestión del cambio tecnológico es un proceso continuado en el que los mecanismos de retroalimentación y mejora deben estar activos todo el tiempo, alimentando nuevas iniciativas y recursos de mejora de competencias. Tanto las nuevas incorporaciones como el avance de los usuarios veteranos hacia el uso óptimo y la adopción completa conforme a mejores prácticas requieren de un circuito permanente de formación y soporte en el que estos se complementan.

Contenidos específicos y al día

En sistemas complejos, como la historia clínica electrónica, el grado de adaptación a cada organización es tan grande que hasta resulta complicado comparar datos de uso de un mismo sistema entre distintos hospitales. Aunque los proveedores suelen ofrecer algún tipo de formación o materiales genéricos, estos suelen estar creados sobre una versión estándar de los flujos de trabajo, que se parecerá a la que se termina usando, desde luego, pero solo hasta un punto en que esos materiales pueden ser útiles para formar a perfiles técnicos (de soporte, por ejemplo), pero no a usuarios finales. Cada organización tiene sus propios flujos de trabajo que obligan a adaptar los procedimientos estándar. Y, desde luego, un buen diseño didáctico está basado en tareas, por lo que al final será necesario dar igualmente formación específica para explicar qué cosas no están bien en la formación genérica, y el resultado será mediocre como mínimo (por no hablar de los problemas de seguridad que surgen de este tipo de situaciones ambiguas).

Este planteamiento es extensivo a toda la formación, pero especialmente relevante en el caso de las ayudas de trabajo. Estas son específicas por definición (la ayuda es más útil cuanto mejor definido está el flujo de trabajo al que da soporte), por lo que es inevitable desarrollarlas acerca de tareas concretas y, con frecuencia, la mayoría de ellas acaban abordando casos de uso de frecuencia media o baja. La forma de gestionar esos casos, además, tiende a cambiar bastante con el tiempo a medida que se regulan las excepciones y se incorporan a flujos de trabajo generales. Por este motivo unas ayudas de trabajo que no están al día afectan a un número elevado de usuarios a los que, además, se hace menos seguimiento. A las nuevas incorporaciones siempre se las vigila más de cerca y es relativamente fácil ver si están cometiendo errores de uso, pero ¿quién se ocupa de comprobar cómo usa el sistema una persona que lleva años trabajando con él?

La complejidad de un sistema integrado de ayuda está, por tanto, en la detección de necesidades de apoyo, que puede hacerse de forma bastante eficiente con una supervisión proactiva a través de un sistema de explotación de datos de uso de las aplicaciones. El nivel de análisis tiene que ser realmente fino para que malas prácticas no pasen desapercibidas, y complementado con métodos analógicos (las encuestas de toda la vida), pero permite no solo detectar la necesidad de ayudas de trabajo sino identificar los puntos más adecuados donde insertar accesos a documentación específica.

Referencias

Ash, J. S., Stavri, P. Z., & Kuperman, G. J. (2003). A Consensus Statement on Considerations for a Successful CPOE Implementation. Journal of the American Medical Informatics Association : JAMIA, 10(3), 229–234. 

Estudio de caso: formación en sistemas de información

David Gutiérrez Deja un comentario
formación en sistemas informáticos

Durante los últimos meses he trabajado en un piloto de formación en línea en sistemas de información en una organización de gran tamaño. La situación era común: un sistema informático implantado desde hace tiempo pero con deficiencias en su uso, tanto por las nuevas incorporaciones (que reciben formación desigual y no equivalente a la que se proporcionaba cuando se implantó) como por las esperables desviaciones de los flujos de trabajo estándar, a medida que cada profesional resuelve los problemas que van surgiendo como mejor sabe o puede.

Por tanto, el reto no era proporcionar formación de inicio (nunca lo es), sino algo más complejo: reconducir malas prácticas y asegurar que cualquier nuevo profesional se incorpora a su área de trabajo con una competencia mínima suficiente para permitirle progresar de forma autónoma. La formación, por tanto, no va dirigida a generalizar el uso de un sistema, sino a mejorar cómo se usa. Un caso perfecto para poner en práctica un plan de formacion con impacto real, alejado de la estrategia habitual de montar algunos cursos y cruzar los dedos.

Este tipo de proyectos no son habituales, sospecho que por esa tendencia a considerar la formación como un evento con principio y fin dentro de la gestión de un cambio organizacional. Es decir, formas a la gente, aprenden a trabajar según los nuevos procedimientos, y te echas a dormir; algo que solo pasa cuando ni los flujos de trabajo ni el personal cambian (o sea, nunca). Dejar atrás esta mentalidad requiere que alguien en la dirección entienda de que la formación es un proceso longitudinal, con sus etapas y sus formas para cada momento, pero que debe estar ahí mientras haya rotaciones y modificaciones. Algo que felizmente ocurría en este caso.

Diseño de dos vías

Con esa intención de impactar el uso significativo de la herramienta, mi trabajo se centró en diseñar una formación piloto para profesionales que ya la usaban desde hacía años, pero que tenían lagunas considerables, reveladas por las auditorías periódicas. El objetivo que me marqué fue abordar, por un lado, los déficit más obvios, y por otro procurar que el personal fuera lo más autónomo posible para resolver las dificultades que les pudieran surgir, sin comprometer las mejores prácticas a seguir.

Una vez resuelta la ingente labor del análisis de necesidades y de elaborar un mapa de competencias ad hoc (recogiendo información mediante el análisis de tareas cognitivas), el reto principal para reconducir malas prácticas es propiciar el suficiente entrenamiento contextualizado (para facilitar la transferencia) sin reforzar las pautas erróneas que ya están asentadas. Por eso centré el esfuerzo de desarrollo de recursos didácticos en prácticas guiadas sobre situaciones habituales, reconduciendo la forma en que se resolvían y aumentando la autonomía progresivamente. La producción y validación se llevó a cabo mediante prototipos, siguiendo un esquema similar al modelo de aproximaciones sucesivas.

Por otro lado, para reducir el riesgo de nuevas desviaciones opté por un sistema de ayudas de trabajo, accesible desde la propia historia clínica, que diera apoyo en el momento de necesidad, de forma que ante una dificultad no fuera necesario inventarse una solución sobre la marcha.

Este doble planteamiento, pensado especialmente para los usuarios veteranos, es perfectamente válido igualmente para los usuarios nuevos, porque la práctica guiada es muy útil para construir competencias desde cero, y las ayudas just in time (que no van encaminadas al aprendizaje, sino a solución de problemas) proporcionan seguridad.

Además del planteamiento estrictamente formativo diseñé un plan de comunicación y seguimiento, y una evaluación de impacto apoyada en indicadores de uso del sistema, tomando una línea base de uso de varias semanas previas al curso, y comprobando tanto el impacto inmediato tras la formación como la tendencia en las semanas y meses siguientes. Debo decir que pocas veces he visto aumentos porcentuales (¡y estables!) de cuatro dígitos en un indicador, así que estoy particularmente orgulloso de lo conseguido.

Limitaciones y carta a los Reyes Magos

Como en todos los proyectos, el presupuesto marcó ciertos (bastantes) límites. ¿Qué hubiera hecho de forma diferente de tener más medios? La parte estrictamente formativa la hubiera planteado de forma similar, quizá haciendo escenarios más elaborados, pero esencialmente el planteamiento es el correcto en ese contexto, y eso no hay presupuesto que lo altere. Pero tanto ahí como en la parte de ayudas de trabajo, incluir un componente de inteligencia artificial seguramente hubiera aumentado el impacto del proyecto (que ya fue bastante bueno de por sí):

  • Un chatbot como vínculo entre la aplicación y las ayudas de trabajo, para resolver dudas formuladas como preguntas naturales, que resuelva el eterno problema de que la gente busca las cosas desde distintas perspectivas, con expectativas diferentes y usando palabras clave muy variadas. ¿Qué mejor que una pequeña IA que reconoce lo que quieres y te lo trae a la mano, o al menos te señala dónde mirar?
  • Un LMS predictivo, vinculado a las estadísticas de uso del sistema, que sugiera recursos formativos en función de las necesidades actuales y previstas de cada profesional. Esto cada vez es más fácil de alcanzar y facilita incluir elementos de gamificación de la buena, así que un poco más de potencia en la parte de learning analytics no hubiera venido nada mal.

La continuidad de un proyecto así pasa por ampliar su escala para atender las necesidades de las nuevas incorporaciones. La forma en que está planteado hace que el escalado sea relativamente sencillo, siendo la mayor dificultad mantener un nivel adecuado de eficiencia en la producción: maximizar los recursos compartidos por varios tipos de profesionales, y reducir al mínimo los específicos sin perder la imprescindible contextualización. Espero poder hacer una entrada dentro de un tiempo contando los resultados, y que sean igualmente satisfactorios 🙂

 

El andamiaje en los planes de formación corporativa

David Gutiérrez 4 comentarios
Andamiaje en plan de formación corporativa

Resulta bastante intuitivo hacer un diseño instruccional por niveles de dificultad (siguiendo a Reigeluth, o el axioma piagetiano de ir de lo general a lo específico). Sin embargo, no todo el mundo tiene claro por qué debe ser así. ¿Sería problemático trabajar primero con tareas específicas para luego engranarlas en una estructura mayor? Al fin y al cabo, el pensamiento formal sobre una temática también se construye a partir de conceptos específicos (no solo tienes que entender la lógica de la tarea, sino tener los conocimientos concretos que te permiten ponerla en práctica).

Posiblemente el razonamiento más válido para no romper con este principio es que facilita andamiar el progreso de los aprendices. Una vez dominado un proceso simple, mediante prácticas guiadas y ejemplos, resulta fácil quitar progresivamente apoyos para sustituirlas por otras dedicadas a profundizar en niveles o casuísticas más difíciles de ejecutar. De esta forma, mantenemos la asistencia mientras es necesaria, pero procuramos la automatización de los flujos de trabajo ya practicados, centrando el apoyo en los nuevos.

Ahora, ¿qué tipo de asistencia puedo dar y retirar en cada momento? Si necesito establecer niveles de dificultad para planificar el andamiaje, puedo organizar los contenidos siguendo un gradiente de complejidad dependiente del tipo de procesamiento que trabajan:

  • conceptual (¿qué es esto?)
  • estructural (¿cómo es?)
  • causal (¿cómo funciona?)

Así, si quiero ir retirando paulatinamente apoyos en los contenidos, para que los aprendices ganen autonomía y se hagan con la tarea, empezaré quitando ayudas conceptuales, luego las estructurales y, finalmente, las causales. Con este último paso no solo tengo una lista de recursos, sino una guía para su estructura interna: primero trabajo el concepto, luego la estructura y luego el funcionamiento.

El andamiaje tiene valor propio como facilitador del proceso de aprendizaje, pero tiene la ventaja adicional de que arrastra de forma muy natural hacia un diseño instruccional basado en la construcción progresiva de habilidades, en la automatización creciente y en la práctica deliberada. Además, encaja muy bien con la definición de flujos de trabajo a través del análisis de tareas cognitivas, a partir del que pueden diseñarse casi directamente los apoyos para cada tarea. Es una buena muestra de que las técnicas de un buen diseño instruccional no se implementan de forma aislada, sino que se retroalimentan unas a otras para dar una solución con sentido global.

El diseño instruccional en la gestión del cambio

David Gutiérrez 2 comentarios
Diseño instruccional y gestión del cambio

Me gusta trabajar en proyectos de gestión del cambio, apoyando al cliente para que aprenda a volar solo. La formación es uno de los pilares de la gestión del cambio, y todo el mundo tiene claro que debe estar incluida, pero hay una tendencia a tratarla como una intervención con principio y fin: se enseña (en el mejor de los casos, en el peor simplemente se muestra) a la gente cómo trabajar bajo las nuevas circunstancias, y a correr. Sin embargo, simplemente por la incorporación y movimiento de profesionales, necesariamente es una labor sostenida; con otra intensidad, desde luego, pero sin final.

Para traspasar a un cliente el peso de la formación, la estrategia habitual es localizar a un número de profesionales de la organización con ciertas características y habilidades (competentes, con capacidad de liderazgo, empáticos…) para convertirles en expertos en el nuevo entorno de trabajo (con la etiqueta de internal champions, superusuarios o referentes). Mi postura es que no solo necesitas profesionales competentes, sino divulgadores competentes capaces de planificar una formación siguiendo prácticas eficaces de diseño instruccional. Es decir, no solo tienen que conocer los nuevos procesos y tareas, sino ser capaces de transmitirlos de modo eficiente y juzgar si una formación está bien estructurada o no. Esto implica que deben entender y saber cómo actuar sobre los mecanismos de aprendizaje, tomando decisiones razonadas sobre cómo usar las herramientas que tengan disponibles.

Darles la competencia mínima necesaria

¿Cuáles son los principios elementales que deberían quedarles grabados a fuego? Independientemente del tipo de proyecto y de la naturaleza de las tareas, hay ciertas formas de plantear la formación que tienen sentido siempre. Nuestro trabajo es que estas personas de referencia se empapen bien de ellas y sepan cuándo y cómo aplicarlas convenientemente, para que cuando termine nuestro trabajo puedan tomar decisiones fundamentadas.

Aunque hay muchos factores importantes yo, normalmente, pongo el foco en estos cuatro conceptos que, tomados como guía, producen planes de formación con impacto relevante. Pueden trasladarse a la práctica de varias formas; aquí hago algunas sugerencias que dan buen resultado:

  1. El sentido de la formación es conseguir resultados. Cuando planifiquen un nuevo curso, que establezcan objetivos de trabajo, es decir, resultados comprobables directamente relacionados con las tareas de los profesionales. Luego tendrán que identificar qué tienen que saber hacer para conseguirlo. Estas competencias constituirán los objetivos de aprendizaje.
  2. El aprendizaje se construye y se consolida con la práctica. Que la formación proporcione oportunidades de práctica, con la teoría en un papel subordinado. Acción y reflexión en lugar de recepción de información.
  3. Lo aprendido se olvida, así que conviene que la práctica esté espaciada. Hay que reservar un porcentaje de sesiones de formación para distribuirlas en el tiempo, con intervalos de días primero y de semanas después. Que no den por aprendido un tema solo porque llegó la fecha de cerrarlo.
  4. Solucionar errores es una buena forma de aprender. Proporciona un entorno seguro en el que cometerlos y, más que prevenirlos, muéstrales sus consecuencias y su resolución. Luego repite la práctica las veces que sea hasta que no haya errores.

Hay varios más que podrían incluirse (diseñar escenarios realistas, hacer seguimiento y dar soporte, incluir interactividad significativa en materiales e-learning, incluir sistemas de ayuda bien diseñados, evaluar indicadores relevantes…) pero estos cuatro dan cuenta, probablemente, del mayor porcentaje de éxito de la formación para la gestión del cambio. Aunque no hay por qué pasar por alto los demás, si tengo que escoger en cuáles centrar mi esfuerzo, la lista es esa.

Incorporar esta perspectiva a los procesos de trabajo

La mejor manera de formar al grupo de expertos, desde luego, es a través de la práctica. Su propia formación debe responder a este conjunto de principios, de manera que los interioricen, y además conviene que tomen parte en el desarrollo de la estrategia de formación para los usuarios de a pie. La metacognición, es decir, que sean conscientes de sus propios procesos de aprendizaje durante el entrenamiento inicial, es la vía para que luego puedan aplicarlos adecuadamente.

El mensaje más importante, que debe quedar grabado a fuego, es que un plan de formación no es un curso en un aula, o unos manuales en un repositorio, o unos vídeos en un LMS, y que no se mide por cuántas de esas cosas se hacen. Se mide por sus consecuencias sobre el día a día de los trabajadores, así que debe incluir lo que sea necesario para que tenga impacto. Cualquier otra opción es tirar el dinero.

Análisis de necesidades formativas y decisiones de diseño instruccional

David Gutiérrez 2 comentarios
Análisis de necesidades formativas para el diseño instruccional

El diseño instruccional se basa en la evidencia disponible sobre cómo aprendemos y en el contexto específico de cada intervención (porque no toda la evidencia es válida en cualquier contexto). Es decir, aunque partas de un modelo pedagógico para saber cómo enfocar un plan de formación, las decisiones de diseño están condicionadas por las circunstancias.

Entonces, ¿cómo decido qué principios voy a aplicar en cada caso? La clave es no hacer un análisis de necesidades formativas, sino un análisis del problema a resolver. Pocos problemas se solucionan solo con formación. También es cierto que, en un contexto laboral, pocos problemas no requieren algún componente de formación en su solución, así que ese papel principal o secundario determinará qué principios tienen más sentido y cobran más importancia. Si usas un patrón de diseño instruccional no te será complicado (aunque siempre es laborioso) identificar qué aporta más valor en esa situación concreta.

En general, los principios básicos de un patrón guían nuestra actuación en dos niveles: la orientación global del plan de formación y el diseño de los recursos didácticos. El planteamiento global de la formación tiene impacto directo sobre las decisiones que se toman en los niveles inferiores, y por tanto debe haber coherencia entre ellos. Algunos ejemplos de pautas generales son:

  • Diferencia entre qué es imprescindible que aprendan a hacer y qué puede articularse con medios de soporte.
  • Da control al usuario (con el nivel adecuado de orientación).
  • Divide el contenido y ordénalo (el criterio puede variar, pero no la premisa).
  • Crea la estructura pensando en el andamiaje.

Estos puntos guían para tomar decisiones sobre los medios de distribución y el tipo de materiales didácticos, aplicando principios también generales de diseño. Dan una buena base con la que hacer los primeros prototipos, porque orientan el formato, la estructura y el estilo de recursos y textos. Si no hay necesidad de capacitación formal habrá que dejar fuera alguno de ellos o se necesitarán otros diferentes (por ejemplo, si el problema se resuelve con ayudas de trabajo, el primer punto ya no tendría sentido; o, si la intervención se centra en crear comunidades de práctica, los cuatro puntos pasarían a un segundo plano).

Con las premisas de alto nivel en mente, al llevar las conclusiones del análisis al diseño instruccional de los recursos didácticos, aparecerán de forma más o menos recurrente ciertos elementos. Por ejemplo, un curso típico incluirá:

  • Recursos que preparen el terreno para profundizar en el aprendizaje en el puesto de trabajo. Es decir, los diseño pensando en el andamiaje que proporcionan, más que en las competencias que desarrollan por sí mismos.
  • Actividades que ayuden a ganar seguridad para explorar después por cuenta propia. Es decir, centradas en tareas y de dificultad y complejidad creciente, procurando facilitar práctica deliberada y no automática.
  • Evaluaciones que requieran evocar conocimientos previos, relacionar, extrapolar y, en definitiva, elaborar, en lugar de simplemente reconocer una respuesta correcta entre varias incorrectas.
  • Contextualizaciones que creen sensación de urgencia, de necesidad de dominar los flujos de trabajo. 
  • Feedback que transmita lo fácil que es olvidarse de las cosas. Que sientan la necesidad de volver sobre los materiales, de practicar, de reforzar.
  • Diseño gráfico que apoye pero que no desvíe la atención del fondo a la forma.

Como en el caso de las pautas para el plan de formación, las circunstancias determinan si tiene sentido aplicar estos u otros criterios, pero es bueno tener ayudas para traducir la pedagogía al diseño que simplifiquen el proceso (¡con cuidado de no convertir nuestras soluciones habituales en universales!).

Por supuesto, la decisión no es automática y está mediada por las preferencias del diseñador instruccional. En mi caso, no tengo duda de que mi orientación hacia un aprendizaje activo influye en que ciertos factores, como los de arriba, estén casi siempre presentes. No existen los análisis de necesidades neutrales, sino que tanto los indicadores como las herramientas de recogida de datos van a reflejar los resultados esperados, y ambos son seleccionados según lo que considera importante quien está a cargo del proyecto. Por eso mismo es fundamental tener un modelo pedagógico que sirva como base a esas decisiones.