Przed ostatnie kilka lat miałem okazję z bliska obserwować dwa systemy kształcenia prawnego: rynkowe szkolenia nieformalne, prowadzone przez ekspertów zajmujących się poszczególnymi tematami (np. prawo budowlane, prawo dla działów zakupów, szkolenia compliance czy AML) oraz zintegrowane szkolenie dla prawników, czyli np. aplikację radcowską prowadzoną przez Izby Radców Prawnych.

Przyglądając się tym dwóm całkowicie różnym systemom kształcenia chciałbym podzielić się swoimi doświadczeniami i podpowiedziami dotyczącymi pomiaru efektywności szkoleń prawnych.

Dlaczego uważam, że to jest ważne?

Szkolenia prawne nieformalne, czyli prowadzone poza systemem uniwersyteckim czy aplikacją zawodową, są jednym z największych fragmentów rynku edukacji B2B w Polsce. 

Prawo zmienia się nieustannie (czy to poprzez nowe akty prawne, czy to przez zmieniającą się interpretację, linię orzeczniczą lub wreszcie – jak np. w przypadku AI – przez zmieniające się warunki stosowania poszczególnych rozwiązań prawnych). Ponadto prawo jest taką dziedziną, którą warto co jakiś czas po prostu przypomnieć, choćby ze względu na rotację pracowników. I wreszcie – konsekwencje wynikające z braku zapewnienia compliance czyli zgodności działania z prawem, regulacjami wewnętrznymi czy etyką bywają po prostu bardzo kosztowne, narażając firmy na kary, nieefektywność działań lub szkody wizerunkowe.

Ze względu na wielopoziomowe skutki niskich kompetencji prawnych w firmach, pomiar efektywności tych szkoleń stanowi duże wyzwanie (oczywiście, jeżeli ktoś ma ochotę tę efektywność mierzyć). Ponadto pomiar skuteczności szkoleń prawnych ma, moim zdaniem, kluczowe znaczenie dla określenia kondycji i skuteczności programu compliance firmy.

Proponuję poniżej 5 wskaźników ilościowych oraz 5 wskaźników jakościowych, które można wziąć pod uwagę podczas pomiaru skuteczności programu zgodności. Zawsze warto zastosować przynajmniej po jednym z każdego typu wskaźników dla oceny jakości szkolenia. Pozwoli to na kompleksową ocenę skuteczności szkolenia prawnego. Połączenie to pozwala na identyfikację obszarów do poprawy a także mocnych stron programu szkoleniowego.

Wskaźniki ilościowe

Wskaźnik ukończenia

Wskaźnik ukończenia, czyli odsetek pracowników, którzy ukończyli szkolenie, to wbrew pozorom nie jest oczywisty wskaźnik. Szczególnie dobrze widać to w przypadku wieloetapowych szkoleń online (elearningowych lub mieszanych). Jest to wskaźnik pokazujący ile osób, spośród tych, które rozpoczęły szkolenie, je ukończyło. To samo zjawisko można zmierzyć stosując wskaźnik porzucenia (dropout rate), czyli badając jaka część uczestników porzuciła szkolenie w trakcie kursu.

Wysoki wskaźnik ukończenia (lud odpowiednio: niski wskaźnik porzucenia) wskazuje, że szkolenie jest subiektywnie postrzegane jako wartościowe lub/i ważne dla uczestników oraz że są oni zaangażowani / zmotywowani do podnoszenia kwalifikacji.

Z drugiej strony niski wskaźnik ukończenia szkolenia sugeruje, że szkolenie może nie odpowiadać potrzebom lub zainteresowaniom pracowników, może nie być prezentowane przystępnym językiem lub angażującej formie lub też szkolenie jest zbyt trudne merytoryczne.

Szczególnie w przypadku szkoleń dla nie-prawników prowadzonych przez prawników-procesualistów te problemy występują szczególnie często. Przyzwyczajenie do rozmowy wyłącznie „miedzy nami prawnikami”, prowadzonej bardzo specyficznym, często sformalizowanym językiem, powoduje, że często trudno jest im przekazać swoją olbrzymią wiedzę i  doświadczenie uczestnikom szkolenia.

Moim zadaniem jako L&D jest przejście z ekspertem przez szkolenie i podpowiedzenie mu w jaki sposób przedstawić trudne zagadnienie w taki sposób, aby było to jak najefektywniejsze. Takie działanie bardzo poprawia sytuację w przypadku, gdy wskaźnik ukończenia jest niski.

Warto przy tym zwrócić uwagę, że ze względów kulturowych wskaźnik ukończenia przy szkoleniach na żywo (stacjonarnych lub online) jest nieadekwatny: uczestnicy często czują się zobowiązani zostać na szkoleniu, nawet gdy niewiele z niego wynoszą. „Nie wypada” im z niego wyjść. Podejście to też zmienia się wraz z pokoleniem – „Z”tki mają mniejsze opory przed „głosowaniem nogami” gdy szkolenie im nie odpowiada.

Przy kursach e-learningowych lub blended-learningowych najłatwiej jest śledzić ten wskaźnik w systemie typu LMS.

Case study

Firma ubezpieczeniowa zdecydowała się przeprowadzić program szkolenia e-learningowego dotyczącego ochrony danych osobowych i zgodności z przepisami dotyczącymi prywatności dla swoich agentów. Program obejmujący wykłady e-learningowe, mikrotesty, handouty oraz case’y zajmował łącznie 9 godzin roboczych. Dostęp do szkolenia przydzielono na 30 dni 400 pracownikom i monitorowano wskaźnik ukończenia w czasie. Po zakończeniu programu szkoleniowego okazało się, że

• 18% pracowników ukończyło całe szkolenie w pierwszym tygodniu;
• dalsze 60% pracowników ukończyło szkolenie w drugim tygodniu, realizując je z mniejszą intensywnością niż pierwsza grupa;
• dalsze 10% pracowników ukończyło szkolenie dopiero w czwartym tygodniu, wyraźnie starając się zmieścić w czasie.

Szkolenia nie ukończyło 8% pracowników spośród tych, którzy je rozpoczęli (4% w ogóle nie rozpoczęło kursu).

Analiza wyników wykazała, że wysoki wskaźnik ukończenia był związany z krótkimi materiałami szkoleniowymi (tzw. pigułkami wiedzy), interaktywnymi ćwiczeniami i odpowiednim czasem przeznaczonym na szkolenie. Uczestnikom nie była w żadnym momencie podana informacja o negatywnych konsekwencjach nieukończenia szkolenia, jednak doświadczenia wskazują, że wizja egzekucji wpłynęłaby na te 4%, które w ogóle nie przystąpiło do procesu rozwojowego, w niewielkim zaś stopniu oddziaływałaby na 8% „uciekinierów”.

Wskaźnik utrzymania wiedzy

Wskaźnik utrzymania (retencji) wiedzy to odsetek pracowników, którzy są w stanie przypomnieć sobie i zastosować materiał szkoleniowy po pewnym czasie. Wskaźnik ten pomaga określić długoterminową skuteczność programu szkoleniowego.

Jeśli wskaźnik retencji jest wysoki, sugeruje to, że szkolenie skutecznie przekazuje i wzmacnia kluczowe koncepcje, natomiast szczegóły wciąż mogą „umykać”.

Jeśli wskaźnik retencji jest niski, może to wskazywać, że materiał szkoleniowy (nie koniecznie samo szkolenie) nie jest wystarczająco użyteczny lub że format wymaga zmiany w celu poprawy retencji.

Poprawa wskaźnika retencji jest możliwa na wiele sposobów, z czego jeden jest szczególnie skuteczny – wykorzystanie pracowników, którzy ukończyli szkolenie do dzielenia się wiedzą ze współpracownikami (poprowadzenie szkolenia wewnętrznego lub chociaż dłuższa prezentacja podczas spotkania wewnętrznego).

Konfucjusz powiedział „„Powiedz mi, a zapomnę, pokaż mi, a zapamiętam, pozwól mi zrobić, a zrozumiem.”  Owo „zrobić” to nie tylko zastosowanie wiedzy w praktyce, to także przekazanie wiedzy dalej. Każdy, kto kiedykolwiek udzielał korepetycji świetnie wie o co chodzi, prawda?

Jak mierzyć?

• Najprościej – udostępnij quiz z wymaganym poziomem zdawalności 70% w ramach kursu, choć nie koniecznie od razu po jego zakończeniu. Zadbaj o motywację do jego wypełnienia (np. uzależnij przekazanie certyfikatu od ukończenia quizu).

Moim zdaniem najlepiej jest udostępnić quiz tydzień lub dwa po szkoleniu: wówczas rzeczywiście zmierzymy jaka część kompetencji „została”, a jaka ulotniła się wraz z emocjami wywołanymi przez szkolenie. Stosunkowo wysoki wymagany próg zdawalności powoduje, że uczestnicy przed jego wykonaniem odświeżą i poukładają sobie wiedzę, co – przy drugim podejściu po samym szkoleniu – także wzmocni efekt uczenia się.

Case study

Firma logistyczna skierowała 5 swoich logistyków na szkolenie dotyczące przepisów Incoterms. Tydzień po zakończeniu szkolenia przeprowadzono quiz, który wymagał opanowania materiału na poziomie 80% lub lepszym – w jego wyniku 4 osoby od razu uzyskała certyfikat, zaś jedna musiała przystąpić do egzaminu ponownie. Na razie zatem retencja wiedzy – 100%. Po upływie kolejnych trzech miesięcy od szkolenia dział HR przeprowadził krótką ankietę wśród uczestników szkolenia, aby sprawdzić, jak dobrze pamiętają i stosują zdobytą wiedzę. Ankieta składała się z krótkiego opisu stanu faktycznego, do którego zadano 4 pytania typu „jak byś się zachował?”. Okazało się, że 3 pracowników osiągnęło wymagany poziom opanowania w teście (75% poprawnych odpowiedzi) będąc w stanie skutecznie przypomnieć sobie i zastosować materiał ze szkolenia w codziennej pracy. Ciekawostką było to, że osoba która musiała dwukrotnie podjeść do egzaminu po szkoleniu miała najlepsze wyniki z ankiecie po 3 miesiącach.

Takie wyniki wskazują, że szkolenie zapewniło zadowalający poziom retencji wiedzy, choć istniało pole do poprawy. Jak poprawić retencję wiedzy? – odsyłam do artykułu „Jaki jest cel zarządzania wiedzą w organizacji biznesowej?”

Poprawa wydajności

Poprawa wydajności mierzy, w jaki sposób szkolenie wpłynęło na codzienną pracę uczestników lub całego działu lub organizacji. To jest tak naprawdę ów „święty graal” szkolenia – próba odpowiedzi na pytanie czy szkolenia przyniosło pożądaną zmianę w firmie, nie tylko u pracownika.

Można to ustalić na podstawie ocen przed i po szkoleniu, a także na podstawie informacji zwrotnych od menedżerów lub innych pracowników. Jeśli szkolenie doprowadziło do wymiernej poprawy wydajności, takiej jak zwiększona efektywność, zmniejszenie liczby błędów lub poprawa zadowolenia klientów, jest to dobry znak, że szkolenie było skuteczne.

Problemem są oczywiście w zobiektywizowane wskaźniki. Niekiedy można je dość prosto ustalić (np. procent postępowań reklamacyjnych zgłoszonych przed klientów do organów kontrolnych lub do sądu, które się „ostały”, czyli których poprawność została potwierdzona przez niezależny organ). Czasem poziom kompetencji prawnych przekłada się na większy spokój i pewność tego, co się robi, co jest słabo mierzalne, ale bardzo wyraźnie wyczuwalne. Jest też jeszcze ważny, choć rzadko eksponowany czynnik – szkolenia prawne budują wewnętrzny wizerunek firmy wśród pracowników jako firmy dbającej o compliance, w tym zgodność z prawem, dobrymi obyczajami a także etyką, mimo, że szkolenia tego bezpośrednio nie dotyczą. Buduje się trwałe skojarzenie: firma dba o znajomość prawa – firma stara się działać zgodnie z prawem – firma stara się działać etycznie – pracuję w firmie działającej etycznie i zgodnie z prawem. A taki wizerunek jest nie do przecenienia.

Jak mierzyć

• Przeprowadź badanie wskaźników charakterystycznych dla zagadnienia, wynikających z Twojej oceny problemu, przed szkoleniem oraz 6 miesięcy po szkoleniu
• Przeprowadź ankietę wśród kierowników zespołów, HR i liderów działów prawnych

Case study

Pewna kancelaria prawna zdecydowała się przeprowadzić szkolenie z negocjacji dla swoich prawników. Przed szkoleniem zbadano 6ciomesięczną efektywność prowadzonych przez nich negocjacji i porównano je z wynikami negocjacji z okresu 6 miesięcy po szkoleniu, dbając o porównywalność spraw.

Dodatkowo, po zakończeniu szkolenia poproszono szefów praktyk o ocenę wydajności prawników po szkoleniu. Okazało się, że skuteczność prawników, którzy ukończyli szkolenie, była znacznie wyższa od umiejętności negocjacyjnych pozostałych pracowników, co było widoczne w takich wskaźnikach jak np. liczba sporów rozwiązanych na etapie przedsądowym.

Zwrot z inwestycji

Zwrot z inwestycji (ROI) to wskaźnik finansowy, który pomaga określić, czy koszt szkolenia jest uzasadniony korzyściami, jakie zapewnia. ROI można mierzyć na różne sposoby, w tym zwiększone przychody, zmniejszone koszty lub lepszą retencję pracowników. Dodatni ROI wskazuje, że szkolenie jest opłacalną inwestycją, podczas gdy ujemny ROI sugeruje, że szkolenie wymaga ponownej oceny lub modyfikacji.

Jak mierzyć

• Z góry określ cele szkolenia z zakresu prawa.
• Śledzenie kosztów programu szkoleniowego.
• Zmierz wpływ programu szkoleniowego poprzez ocenę, ankietę lub utratę przychodów na wydatki związane z nieprzestrzeganiem przepisów.
• Oblicz ROI za pomocą poniższego wzoru: ROI = (zysk z inwestycji – koszt inwestycji) / koszt inwestycji.

Case study

Firma prawnicza ABC zdecydowała się przeprowadzić szkolenie z obsługi klienta dla swoich prawników, aby poprawić jakość obsługi klienta i zwiększyć zadowolenie klientów. Przed szkoleniem firma określiła cele, takie jak zwiększenie liczby pozytywnych opinii klientów i zmniejszenie reklamacji. Po zakończeniu szkolenia firma zbierała dane dotyczące liczby pozytywnych opinii klientów, reklamacji i innych mierników satysfakcji klientów.

Następnie obliczono ROI, porównując uzyskane korzyści finansowe (np. wzrost przychodów, zmniejszenie kosztów reklamacji) do kosztów inwestycji w szkolenie. Dodatni ROI wskazywał na to, że szkolenie przyniosło firmie wymierne korzyści finansowe.

Zadowolenie pracowników

Zadowolenie pracowników mierzy, jak personel postrzega program szkoleniowy. Można to ustalić za pomocą ankiet, grup fokusowych lub wywiadów indywidualnych. Jeśli pracownicy uznają szkolenie za angażujące, pouczające i istotne, jest bardziej prawdopodobne, że docenią i zastosują zdobyte umiejętności i wiedzę. Jeśli pracownicy są niezadowoleni ze szkolenia, może być konieczne zrewidowanie treści, formatu lub metody dostarczania, aby lepiej zaspokoić ich potrzeby. Nasza zdolność do integracji formularzy i ankiet z naszymi usługami szkoleniowymi umożliwiła naszym klientom obsługę swoich pracowników i dostawców!

Jak mierzyć

• Tu narzędzi jest mnóstwo, jednak najczęściej stosuje się ankietę wśród wszystkich pracowników

Case study

Firma energetyczna przeprowadziła ankietę wśród swoich pracowników działów prawnych, biura zarządu, compliance i innych zajmujących się tematyką prawną (a w tego typu spółkach to niemal połowa firmy) dotyczącą programu szkoleń prawnych, które oferuje swoim pracownikom. Ankietę zaprojektowano w taki sposób, aby ocenić, jak pracownicy postrzegają jakość i użyteczność szkoleń. Zadano pytania dotyczące angażującego sposobu dostarczania materiałów, zrozumiałości treści szkoleniowych oraz przydatności zdobytej wiedzy w codziennej pracy. Wyniki ankiety wykazały, że 80% pracowników było zadowolonych z programu szkoleń, co sugeruje, że szkolenia były (subiektywnie) wartościowe, a zdobyte umiejętności były praktyczne i stosowalne w pracy.

Podejście jakościowe

Testy i egzaminy

Jednym z najbardziej tradycyjnych sposobów pomiaru skuteczności szkoleń jest przeprowadzenie testów kompetencyjnych in/out lub egzaminów. Można przygotować pytania, które sprawdzą wiedzę uczestników na temat zagadnień prawnych, procedur lub przepisów. Testy i egzaminy umożliwiają jednoznaczne ocenienie stopnia przyswojenia wiedzy i zrozumienia mechanizmów, które są kluczowe w danej dziedzinie prawa.

Niezależna certyfikacja, czyli potwierdzenie kwalifikacji przez zewnętrzny egzamin, ma pozytywny wpływ zarówno na obiektywną, jak i subiektywną ocenę wartości szkolenia. Dlaczego?

1. Obiektywna ocena wartości
   Niezależna certyfikacja może dostarczyć obiektywny sposób mierzenia i porównywania umiejętności i wiedzy uczestników szkolenia. Egzamin, który jest opracowany przez niezależne ciało certyfikujące lub instytucję, zapewnia standardy, których trzeba się trzymać. To daje pewność, że uczestnicy muszą wykazać się określonym poziomem kompetencji, aby uzyskać certyfikat. Obiektywna ocena wartości szkolenia opiera się na faktycznych wynikach uczestników na egzaminie, co może być istotnym wskaźnikiem dla pracodawców lub innych zainteresowanych stron.
2. Wiarygodność
   Certyfikat dodaje wiarygodności samemu szkoleniu. Potwierdzenie kwalifikacji przez zewnętrzną instytucję certyfikującą może świadczyć o wysokim standardzie szkolenia i potwierdzać, że uczestnicy posiadają określone umiejętności i wiedzę. To może przekonać pracodawców, klientów lub innych interesariuszy, że szkolenie było wartościowe i uczestnicy mają rzeczywiste umiejętności.
3. Porównywalność
   Dzięki niezależnej certyfikacji można porównywać umiejętności i kwalifikacje uczestników szkolenia. Jeśli różni uczestnicy zdobyli ten sam certyfikat, oznacza to, że musieli wykazać się podobnym poziomem wiedzy i umiejętności. To ułatwia pracodawcom lub innym zainteresowanym stronom dokonanie porównań między różnymi kandydatami lub pracownikami, a także ocenę, czy dany kandydat spełnia wymagania danej funkcji.
4. Motywacja uczestników
   Możliwość zdobycia niezależnego certyfikatu może stanowić motywację dla uczestników szkolenia. Wiedząc, że istnieje możliwość potwierdzenia swoich umiejętności poprzez zewnętrzny egzamin, uczestnicy mogą być bardziej zaangażowani i skoncentrowani na nauce. To może prowadzić do lepszych wyników i większego zaangażowania w proces szkoleniowy.

Niezależna certyfikacja ma zdecydowanie pozytywny wpływ na ocenę wartości szkolenia, zarówno obiektywnie, jak i subiektywnie. Dostarcza ona mierzalne wskaźniki kompetencji i wiarygodności, co może pomóc w ocenie wartości szkolenia przez różne zainteresowane strony. Jednak certyfikacja w skrajnych może rozleniwiać dostawców szkoleń. Przykładem może być tu właśnie aplikacja prawnicza kończąca się egzaminem zawodowym. Izby starają się dostarczać kursy jak najwyższej jakości, ale motywacja uczestników do samego udziału w aplikacji jak i do nauki wynika z wizji trudnego egzaminu państwowego, od którego zależy ich przyszłość zawodowa.

Analiza case study

Wykorzystanie case study to skuteczny sposób oceny praktycznego zastosowania wiedzy prawnej. Można poprosić uczestników szkolenia o rozwiązanie rzeczywistych przypadków lub sytuacji, w których muszą zastosować zdobytą wiedzę w praktyce. Analiza case study pozwala na mierzenie umiejętności praktycznego myślenia i rozwiązywania problemów, które są ważne w dziedzinie prawa.

Właśnie w formie case study (lub bardziej po polsku – kazusów) prowadzone są egzaminy prawnicze. W dużym uproszczeniu – na podstawie podanego stanu faktycznego należy zadziałać jak prawnik, angażując wszystkie swoje kwalifikacje – zarówno wiedzę, jak umiejętność jej zastosowania, kompetencje językowe, umiejętność opanowania emocji, zarządzanie czasem… Wadą takiego systemu weryfikacji wiedzy jest pracochłonność procesu walidacji (sprawdzenia kwalifikacji), jednak ta metoda jest moim zdaniem najdoskonalsza. Stosuje się ją zresztą w wielu innych wypadkach, jak np. przy egzaminach certyfikowanych przez Stowarzyszenie Compliance Polska z zakresu compliance i AML.

Oceny prowadzącego

Bezpośrednie opinie od uczestników szkoleń na temat prowadzącego są również ważne dla oceny jakości szkoleń. 
Po zakończeniu szkolenia najczęściej poprosi się uczestników o wypełnienie ankiety oceniającej prowadzącego. Pytania mogą dotyczyć kompetencji prowadzącego, jego zdolności do przekazania wiedzy, zrozumiałości prezentacji i interakcji z uczestnikami.

Warto taką ocenę zrobić po szkoleniu, a nie na jego zakończenie – wówczas ankieta staje się realnym narzędziem oceny, a nie plebiscytem popularności eksperta.

Obserwacja zastosowania w praktyce

Innym sposobem oceny skuteczności szkoleń z tematyki prawo jest obserwacja praktycznej aplikacji zdobytej wiedzy. Można poprosić uczestników o przedstawienie przykładów lub symulacje praktycznych sytuacji, w których muszą wykorzystać zdobytą wiedzę. Obserwacja praktycznej aplikacji wiedzy umożliwia ocenę umiejętności uczestników w realnym środowisku pracy.

Analiza wskaźników biznesowych

W przypadku szkoleń prawnych istnieją również wskaźniki biznesowe, które mogą być użyteczne do pomiaru skuteczności. Na przykład, można zbadać:

• czy zmniejszyła się liczba naruszeń prawnych w organizacji?
• czy poprawiła się efektywność działu reklamacji?
• czy ograniczyły się koszty związane z naruszeniami prawnymi?

Analiza takich wskaźników może wskazywać na skuteczność szkoleń i ich wpływ na organizację. Oczywiście dobór wskaźników oznacza, że wcześniej (przed szkoleniem) statystyki też były prowadzone, a nie jest to standard.

Podsumowanie

Mierzenie skuteczności programów szkoleń prawnych wymaga połączenia wskaźników jakościowych i ilościowych. Ilościowe robią wszyscy – jakościowe mało kto.

Przyczyny są przynajmniej dwie – jedna oczywista, druga mniej.

• Pierwszą jest koszt, a w zasadzie brak powszechnego przekonania, że badanie skuteczności szkolenia jest na tyle ważne, że warto za nie zapłacić. Skoro klienci szkoleń mają tu podejście „za darmo to uczciwa cena” to trudno się dziwić firmom szkoleniowym, że robią niezbędne minimum, czyli przede wszystkim badanie ankietowe zadowolenia uczestników.
• Druga – organizacje kierujące pracowników na szkolenia rzadko stosują jakościowe narzędzia badania efektywności pracy pracowników zajmujących się prawem. Uważa się, że to taka tajemna, nieuchwytna dziedzina, której nie godzi się badać nam, maluczkim (w sensie – nie prawnikom). Podobnie jak kiedyś było z medycyną, prawda?

Śledzenie wskaźników ukończenia, utrzymania wiedzy, poprawy wydajności, zwrotu z inwestycji i zadowolenia pracowników pozwala dostawcom szkoleń prawnych identyfikować obszary wymagające poprawy i upewnić się, że ich programy szkoleniowe spełniają potrzeby zarówno pracowników, jak i ich klientów (choćby wewnętrznych).