Training Effectiveness Agent

Według badania IW Weiterbildungserhebung 2023 niemieckie firmy inwestowały średnio 1 347 euro na pracownika rocznie w doskonalenie zawodowe (46 miliardów euro w skali całej gospodarki). Jednocześnie tylko 10 do 20 procent wyuczonego faktycznie dociera do miejsca pracy. Między tymi dwoma liczbami nie leży problem jakości. Leży problem pomiaru. Kto nie wie, co dzieje się po szkoleniu, nie potrafi sterować, czy inwestycja działa.

Luka ewaluacyjna jest dobrze udokumentowana: 95 procent wszystkich organizacji L&D nie potrafi powiązać swoich danych uczenia się z wynikami biznesowymi. Pomiary ROI odbywają się tylko w 5 do 8 procent programów szkoleniowych. Między nimi leżą poziomy, które mają znaczenie - transfer wiedzy, zmiana zachowania, wpływ biznesowy - a właśnie tam prawie nikt nie mierzy.

Dlaczego zadowolenie nie mówi nic o skuteczności

Po każdym szkoleniu uczestnicy wypełniają arkusz feedbacku. Czy prowadzący był dobry? Czy catering był w porządku? Czy poleciliby szkolenie? Te tak zwane smiley sheets są niemal powszechnie rozpowszechnione i niemal powszechnie bezwartościowe dla pytania, na które L&D naprawdę musi odpowiedzieć: czy to szkolenie zmieniło zachowanie w miejscu pracy?

Model Kirkpatricka od 1959 opisuje cztery poziomy ewaluacji: zadowolenie, wiedza, zachowanie, wyniki biznesowe. Poziomy nie są teorią. To standard branżowy. A mimo to trzy z czterech poziomów w większości organizacji pozostają nieobsadzone.

Poziom         Co mierzone                    Kto typowo mierzy
────────────   ─────────────────────────────  ────────────────────────────
Zadowolenie    Arkusze feedbacku po szkol.    Prawie wszystkie organizacje
Wiedza         Testy, zadania praktyczne      Nieliczne, głównie compliance
Zachowanie     Zmiana zachowania w miejscu    Niemal nikt systematycznie
Wynik          Korelacja z KPI biznesowymi    5-8 procent wszystkich prog.

Powód to nie brak zainteresowania. Powód jest strukturalny. Każdy poziom wymaga innej metody, innego momentu i innego odpowiedzialnego. Zadowolenie można zbadać w dniu szkolenia. Transfer wiedzy wymaga zdefiniowanego odstępu - dwa do czterech tygodni - i formatu testu. Zmiana zachowania ujawnia się dopiero po 60 do 90 dniach i wymaga obserwacji menedżera. Wpływ biznesowy wymaga powiązania danych szkoleniowych ze wskaźnikami wydajności leżącymi w zupełnie innym systemie.

Żaden zespół L&D z trzema specjalistami rozwoju personalnego dla 1500 pracowników nie potrafi tego wykonać manualnie. Więc zostaje przy smiley sheet.

Problem transferu to problem timingu

Hermann Ebbinghaus w latach 1880 udokumentował to, co każde kierownictwo rozwoju personalnego instynktownie wie: w ciągu 24 godzin ludzie zapominają średnio 70 procent nowych informacji. Po tygodniu to 90 procent. Krzywa zapominania nie jest słabością poszczególnych uczestników. To neurologiczna stała.

Konsekwencje dla skuteczności szkoleń są radykalne. Jeśli pierwsza kontrola wiedzy odbywa się trzy miesiące po szkoleniu - bo wcześniej nikt o tym nie myśli lub brakuje zasobów - nie mierzy ona transferu wiedzy. Mierzy krzywą zapominania. A jeśli obserwacja zachowania nigdy się nie odbywa, bo menedżer nie ma ustrukturyzowanego formatu feedbacku, decydujące pytanie pozostaje otwarte: czy pracownik przełożył wyuczone na codzienną pracę, czy nie?

Problem transferu to nie problem pedagogiczny. To problem architektoniczny. Kto jaką metodą w jakim momencie mierzy - te odpowiedzialności w większości organizacji nie są zdefiniowane. Dlatego się nie dzieje.

Pomiar stopniowany jako architektura

Decision Layer rozwiązuje to nie lepszym narzędziem, lecz inną architekturą decyzyjną. Każdy poziom ewaluacji jest traktowany jako samodzielny krok procesu - ze zdefiniowanym momentem, metodą i odpowiedzialnym.

Dzień 0          Tydzień 2-4        Miesiąc 2-3        Kwartał+
Szkolenie        Check wiedzy       Feedback           Korelacja
kończy                              zachowania         z KPI
┌──────────┐   ┌──────────┐      ┌──────────┐      ┌──────────┐
│ Feedback │   │ Test lub │      │ Menedżer │      │ Udział   │
│ auto-    │──▶│ zadanie  │─────▶│ ocenia   │─────▶│ vs. wydaj│
│ matyczn. │   │ praktycz.│      │ zachow.  │      │ porówn.  │
│ zebrać   │   │ ocenić   │      │          │      │          │
└──────────┘   └──────────┘      └──────────┘      └──────────┘
     A                A                  H                 A

A = Agent/Automatyzacja     H = Człowiek decyduje

Zbieranie zadowolenia w dniu szkolenia działa w pełni automatycznie. Agent agreguje arkusze feedbacku, identyfikuje wartości odstające i generuje raport. Żaden człowiek nie musi czytać odpowiedzi tekstowych, by rozpoznać, że prowadzący jest systematycznie nisko oceniany.

Check wiedzy po dwóch do czterech tygodniach podąża za regułą: typ szkolenia określa format sprawdzianu. Szkolenie compliance ma test wielokrotnego wyboru. Rozwój kadry kierowniczej ma zadanie refleksyjne. Szkolenie techniczne ma ćwiczenie praktyczne. Agent uruchamia właściwy check we właściwym czasie i ocenia wyniki.

Obserwacja zachowania po 60 do 90 dniach pozostaje u człowieka. Tu wchodzi menedżer - nie z rozbudowanym assessmentem, lecz z trzema do pięciu ukierunkowanymi pytaniami: czy pracownik stosuje nowe metody? W jakich sytuacjach? Co się zmieniło? Agent zadaje pytania w odpowiednim czasie, zbiera odpowiedzi i przypisuje je do programu szkoleniowego.

Obliczenie ROI na poziomie programu to analiza korelacji, nie twierdzenie o przyczynowości. Agent łączy udział w szkoleniu ze wskaźnikami wydajności - poziomy błędów, zadowolenie klientów, rozwój produktywności - i pokazuje zależności. Czy zależność jest przyczynowa, interpretuje człowiek z wiedzą kontekstową. Bo jeśli poziom błędów w magazynie spada po szkoleniu BHP, może to być zasługa szkolenia - albo tego, że jednocześnie wprowadzono nowy system regałów.

Stopniowana ewaluacja zamienia obronę budżetu w decyzję inwestycyjną opartą na dowodach

Gdy kierownictwo L&D staje przed zarządem i musi bronić budżetu na przyszły rok, podstawa danych decyduje o pozycji negocjacyjnej. Ze smiley sheets rozmowa wygląda tak: uczestnicy byli zadowoleni. Sądzimy, że szkolenia były sensowne. Proszę nas nie ciąć.

Ze stopniowaną ewaluacją wygląda inaczej: program dla kadry kierowniczej pokazuje po 90 dniach mierzalną zmianę zachowania u 72 procent uczestników. Korelacja między udziałem a zadowoleniem klientów w sprzedaży wynosi 0,4. Szkolenie compliance ma retencję wiedzy na poziomie 85 procent po czterech tygodniach. Szkolenie podstawowe SAP nie pokazuje mierzalnego efektu na czasy obsługi - tu potrzebujemy innego formatu.

To już nie obrona budżetu. To decyzja inwestycyjna oparta na dowodach.

Różnica nie leży w dokładności liczb. Leży w zdolności do rozróżniania między szkoleniami, które działają, a szkoleniami, które zajmują. Organizacje osiągające ten stopień dojrzałości nie przesuwają budżetu konewką, lecz według skuteczności. I mogą wobec Rady Zakładowej transparentnie pokazać, jak wykorzystywane są dane ewaluacyjne - zagregowane, na poziomie programu, bez wniosków o poszczególnych uczestnikach.