Training Effectiveness Agent

Según la IW-Weiterbildungserhebung 2023, las empresas alemanas invirtieron de media 1.347 euros por empleado y año en formación continua (46.000 millones de euros en el conjunto de la economía). Al mismo tiempo, sólo entre el 10 y el 20 por ciento de lo aprendido llega realmente al puesto de trabajo. Entre esas dos cifras no hay un problema de calidad. Hay un problema de medición. Quien no sabe qué ocurre tras la formación no puede dirigir si la inversión produce efecto.

La brecha de evaluación está bien documentada: el 95 por ciento de las organizaciones de L&D no puede vincular sus datos de aprendizaje con resultados de negocio. Sólo entre el 5 y el 8 por ciento de los programas formativos incluye medición de ROI. Entre medias están los niveles que importan - transferencia de conocimiento, cambio de comportamiento, impacto en negocio - y precisamente ahí casi nadie mide.

Por qué la satisfacción no dice nada sobre la efectividad

Tras cada formación, los participantes rellenan una hoja de feedback. ¿Era bueno el ponente? ¿El catering estuvo bien? ¿Recomendaría la formación? Estas llamadas “smiley sheets” están prácticamente generalizadas y son prácticamente inútiles para la pregunta que L&D debe responder en realidad: ¿ha cambiado esta formación el comportamiento en el puesto?

El modelo de Kirkpatrick describe desde 1959 cuatro niveles de evaluación: reacción, aprendizaje, comportamiento, resultados. Los niveles no son teoría. Son el estándar del sector. Y sin embargo, tres de los cuatro niveles permanecen vacíos en la mayoría de las organizaciones.

Nivel          Qué se mide                   Quién lo mide normalmente
────────────── ─────────────────────────────  ────────────────────────────
Reacción       Hojas de feedback              Casi todas las organizaciones
Aprendizaje    Tests, tareas prácticas        Pocas, sobre todo en compliance
Comportamiento Cambio en el puesto            Casi nadie de forma sistemática
Resultado      Correlación con KPIs negocio   5-8% de los programas

El motivo no es desinterés. El motivo es estructural. Cada nivel exige otro método, otro momento y otro responsable. La reacción puede recogerse el día de la formación. La transferencia de conocimiento necesita una distancia definida - dos a cuatro semanas - y un formato de test. El cambio de comportamiento se observa a partir de 60 a 90 días y requiere la observación del responsable. El impacto en negocio exige vincular datos formativos con KPIs de rendimiento que viven en un sistema totalmente distinto.

Ningún equipo de L&D con tres personas de desarrollo para 1.500 empleados puede hacerlo manualmente. Así que todo se queda en el smiley sheet.

El problema de la transferencia es un problema de timing

Hermann Ebbinghaus documentó en la década de 1880 lo que cualquier desarrollo del personal sabe intuitivamente: en 24 horas, las personas olvidan de media un 70 por ciento de la información nueva. Tras una semana, el 90 por ciento. La curva del olvido no es una debilidad individual. Es una constante neurológica.

La consecuencia para la efectividad de la formación es radical. Si la primera comprobación de conocimiento se realiza tres meses después de la formación - porque antes nadie se acuerda o falta capacidad - no mide transferencia de conocimiento. Mide la curva del olvido. Y si la observación del comportamiento nunca tiene lugar porque el responsable no cuenta con un formato de feedback estructurado, la pregunta decisiva queda sin respuesta: ¿ha llevado el empleado lo aprendido al día a día o no?

El problema de la transferencia no es un problema pedagógico. Es un problema de arquitectura. Quién mide con qué método y en qué momento - esas responsabilidades no están definidas en la mayoría de las organizaciones. Por eso no ocurre.

Medición escalonada como arquitectura

El Decision Layer no lo resuelve con una herramienta mejor, sino con otra arquitectura de decisión. Cada nivel de evaluación se trata como un paso de proceso independiente - con momento definido, método definido y responsable definido.

Día 0              Semana 2-4         Mes 2-3            Trimestre+
Fin formación      Check de saber     Feedback comp.     Correlación
                                                         con KPIs
┌──────────┐     ┌──────────┐      ┌──────────┐      ┌──────────┐
│ Feedback │     │ Test o   │      │ Responsa-│      │ Partici- │
│ automa-  │────▶│ tarea    │─────▶│ ble valora│─────▶│ pación vs│
│ tizado   │     │ práctica │      │ el compor-│      │ rendimien│
│          │     │ evaluar  │      │ tamiento  │      │ to        │
└──────────┘     └──────────┘      └──────────┘      └──────────┘
     A                A                  H                 A

A = Agente / automatización     H = el humano decide

La captación de la reacción el día de la formación corre totalmente automática. El agente agrega las hojas de feedback, identifica valores atípicos y genera un informe. Nadie tiene que leer textos libres para detectar que un ponente recibe valoraciones sistemáticamente bajas.

El check de conocimiento a las dos o cuatro semanas sigue un motor de reglas: el tipo de formación determina el formato de prueba. Una formación de compliance tiene un test de opción múltiple. Un desarrollo directivo tiene una tarea de reflexión. Una formación técnica tiene un ejercicio práctico. El agente lanza el check correcto en el momento correcto y evalúa los resultados.

La observación del comportamiento entre los 60 y 90 días permanece en manos humanas. Aquí entra el responsable - no con un assessment complejo, sino con tres a cinco preguntas dirigidas: ¿aplica el empleado los nuevos métodos? ¿en qué situaciones? ¿qué ha cambiado? El agente hace las preguntas en el momento oportuno, recoge las respuestas y las asigna al programa formativo.

El cálculo de ROI a nivel de programa es análisis de correlación, no afirmación de causalidad. El agente enlaza la participación en la formación con KPIs de rendimiento - tasas de error, satisfacción de clientes, evolución de productividad - y muestra correlaciones. Si una correlación es causal lo interpreta un humano con conocimiento de contexto. Porque si la tasa de error en el almacén baja tras una formación de seguridad, puede deberse a la formación - o a que simultáneamente se introdujo un nuevo sistema de estanterías.

Lo que esto cambia en las conversaciones de presupuesto

Cuando una Dirección de L&D se sienta ante Dirección General y tiene que defender el presupuesto del año siguiente, la base de datos decide la posición negociadora. Con smiley sheets la conversación suena así: los participantes estaban satisfechos. Creemos que las formaciones fueron útiles. Por favor, no nos recorten.

Con evaluación escalonada suena distinto: el programa directivo muestra, a los 90 días, cambio de comportamiento medible en el 72 por ciento de los participantes. La correlación entre la participación y la satisfacción del cliente en ventas es de 0,4. La formación de compliance tiene una retención de conocimiento del 85 por ciento a las cuatro semanas. La formación básica de SAP no muestra un efecto medible sobre los tiempos de tramitación - aquí necesitamos otro formato.

Eso ya no es defensa de presupuesto. Es decisión de inversión basada en evidencia.

La diferencia no reside en la precisión de las cifras. Reside en la capacidad de distinguir entre formaciones que producen efecto y formaciones que sólo ocupan tiempo. Las organizaciones que alcanzan este nivel de madurez no reparten presupuesto por regadera, sino por efectividad. Y pueden hacer transparente frente al Comité de Empresa cómo se usan los datos de evaluación - agregados, a nivel de programa, sin conclusiones sobre participantes individuales. El derecho de información del Comité sobre el concepto de evaluación se aplica según el artículo 64 del Estatuto de los Trabajadores.