Kursevalueringen måler stemning, ikke om noen jobber annerledes

Det skjemaet ikke fanger opp

Opplæringen er gjennomført. Snittet på evalueringen er høyt, kommentarfeltet er vennlig, og noen skrev at det var den beste samlingen på lenge. Så spør økonomisjefen om det virket.

Da blir det stille.

Dere måler om opplæringen endret atferd og resultater ved å bestemme, før dere starter, hvilke to eller tre handlinger som skal se annerledes ut i jobben. Mål hvordan de ser ut i dag. Gjenta målingen fire til tolv uker etter opplæringen, og koble den til et fåtall driftstall dere allerede henter ut. Har dere ikke et bilde av utgangspunktet, har dere ingen måling, bare et inntrykk.

Et evalueringsskjema er en kvittering på at kurset ble holdt. Det bekrefter at samlingen fant sted og at folk trivdes underveis. Slike kvitteringer er greie å ha i permen, men de sier ingenting om hva som skjer i den første vanskelige kundesamtalen tre uker senere.

Fire nivåer, og de to enkleste blir målt oftest

Donald Kirkpatrick beskrev fire nivåer for evaluering av opplæring på 1950-tallet, og inndelingen holder fortsatt. Den er verdt å definere presist, fordi mange bruker ordet «effekt» om alle fire om hverandre.

Reaksjon er hva deltakerne synes om opplæringen. Var den relevant, var tempoet riktig, likte de kurslederen.

Læring er hva de kan gjengi eller utføre i en øvingssituasjon rett etterpå. En prøve, en rollespillsekvens, en praktisk oppgave.

Praksis er hva de gjør i eget arbeid når ingen står ved siden av og ser på. Dette nivået er kjernen i spørsmålet om opplæringen virket.

Resultat er hva som skjer med tallene virksomheten styrer etter. Løsningsgrad, salg per henvendelse, feilrate, sykefravær, gjennomstrømning.

De to første nivåene er billige å måle, og derfor måler de fleste dem. Problemet oppstår når svaret på nivå én brukes som bevis for nivå tre. Høy tilfredshet og endret praksis henger svakt sammen, og en engasjerende foredragsholder kan gi topp score uten at en eneste arbeidsvane rikker seg.

Vår vurdering: kursevalueringen bør ikke brukes som beslutningsgrunnlag for om et opplæringsløp skal fortsette. Bruk den til å justere gjennomføringen, altså lengde, eksempler, tempo og rammer. Beslutningen om å videreføre eller stanse hører hjemme på nivå tre og fire.

Målingen bestemmes før dere starter

Den vanligste feilen er ikke dårlig måleteknikk. Den er at ingen ble enige om hva som skulle bli annerledes.

Still spørsmålet før dere bestiller noe som helst: hva skal en leder kunne se om åtte uker som de ikke ser i dag? Klarer dere ikke å svare, har dere bestilt et kurs, ikke en endring. Da blir enhver måling etterpå en jakt på noe som støtter det dere håpet.

Beskrivelsen må være så presis at to ledere som ser på det samme arbeidet, ville krysset av likt. «Bedre kundedialog» går ikke. «Medarbeideren stiller minst ett avklarende spørsmål om behovet før løsningen presenteres» går. Vi har skrevet mer om selve oversettelsen fra kursinnhold til arbeidspraksis i artikkelen om hvordan du vet om opplæringen har endret arbeidsmåten.

Når beskrivelsen sitter, måler dere den én gang før opplæringen. Ti stikkprøver i saksystemet. En uke med observasjon i en-til-en. Ett tall dere allerede rapporterer månedlig. Det trenger ikke være mer omfattende enn som så, men det må finnes.

Slik ser en indikator som lar seg måle ut

En brukbar atferdsindikator fyller fire krav, og de er lette å sjekke mot hverandre.

• Den er observerbar. Noen kan se, høre eller lese at handlingen skjedde.
• Den skjer ofte nok. Skjer det fire ganger i året, får dere aldri nok data.
• Den ligger innenfor personens kontroll. Ingen skal måles på noe de ikke rår over.
• Den tolkes likt av to uavhengige personer. Er dere uenige om avkryssingen, er indikatoren for løs.

Ta et eksempel fra kundeservice. Målet er færre saker som sendes videre. Indikatoren blir «medarbeideren fullfører saken i første kontakt der fullmakten rekker». Den kan telles i systemet, den skjer titalls ganger i uka, og medarbeideren bestemmer selv om saken sendes videre.

Eller fra salg. Målet er bedre behovsavdekking. Indikatoren blir «selgeren skriver ned kundens motiv i CRM før tilbudet sendes». Litt grov, ganske lett å telle, og den peker rett på den handlingen dere trener på.

To eller tre slike holder. Ti indikatorer gir dere et regneark ingen ser på etter andre måling. Derfor legger vi korte målepunkter underveis i den digitale opplæringen vår, framfor å samle all vurdering i et skjema på slutten.

Hent data fra kilder dere allerede har

Nye målesystemer koster mer enn de smaker. Se først på hva som allerede ligger i huset.

Ledernes observasjon i faste en-til-en er den sterkeste kilden, forutsatt at lederen vet hva som skal ses etter. Systemene deres inneholder allerede spor av arbeidet: saker, samtaler, tilbud, avvik, tider. Kundetilbakemeldinger fanger opp den delen medarbeideren ikke ser selv. Selvrapportering er den svakeste kilden, siden folk overvurderer egen endring, men den er billig og kan brukes som supplement.

Legg merke til hvem som samler inn. Når HR eier tallet alene, blir målingen en rapport. Når lederen som følger opp arbeidet daglig eier det, blir den en samtale. Det siste endrer arbeid, det første fyller en perm. Dette er en av grunnene til at oppfølging etter opplæring hører hjemme i lederrollen, og en av tingene vi tar opp når vi skriver om hva god ledertrening er.

Koble til driften uten å love for mye

Nå kommer den delen mange overselger. Løsningsgraden stiger med noen prosentpoeng, kurset var i mars, og konklusjonen skriver seg selv.

Bortsett fra at dere samtidig fikk ny bemanningsplan, at kampanjen i april dro inn en annen type kunder, og at vinteren alltid gir flere enkle saker enn høsten. Opplæring er sjelden eneste årsak til at et tall beveger seg, og en måling som later som noe annet, mister troverdighet første gang tallet går feil vei. Dere kommer nærmere sannheten på tre måter. Sammenlign avdelinger som starter til ulik tid, slik at den som starter sist blir en naturlig sammenligning. Se på rekkefølgen, altså om handlingene endret seg før tallene beveget seg. Og skriv ned på forhånd hva dere forventer, slik at dere ikke leter etter et funn i etterkant.

Så sier dere hva målingen ikke kan vise. En rapport som skiller mellom det dokumenterte og det sannsynlige, står seg bedre i ledergruppen enn en som lover årsakssammenheng den ikke har grunnlag for.

Der målingen ryker

Fire feil går igjen når vi ser på måleoppsett hos kunder, oftest i virksomheter med mange ansatte i samme rolle.

Dere måler for mye. Femten indikatorer betyr at ingen av dem følges opp, og at alle diskusjoner ender i metodikk framfor arbeid.

Dere måler for tidlig. Rett etter samlingen har ingen møtt en sak som setter det nye på prøve. Vent minst fire uker.

Dere måler bare dem som allerede var med. De som meldte seg først, tok notater og stilte spørsmål, endrer seg uansett. Det er de lunkne som forteller om opplæringen fungerer i bredden.

Dere lar tallet være hjemløst. Ingen har ansvaret for å se på det, og dermed forsvinner det ut av ledermøtet etter andre gangs rapportering.

Ingen av disse feilene skyldes vond vilje. De oppstår fordi målingen settes opp etter at opplæringen er kjøpt, av noen som skal dokumentere en beslutning framfor å undersøke den.

Kort konklusjon

Kursevalueringen forteller hvordan deltakerne hadde det i rommet. Den kvitteringen er lett å forveksle med et svar på om noen jobber annerledes. Vil dere vite det, må dere beskrive to eller tre handlinger på forhånd, måle dem før dere starter, gjenta målingen noen uker senere og koble den til tall dere allerede henter ut. Vær ærlig om det målingen ikke kan vise, og la lederen som følger opp arbeidet ha ansvaret for tallet. Da får dere noe å styre etter, og ikke bare noe å arkivere.