H 25 Een test of evaluatie

AI bij dit onderdeel

Mogelijk uitbesteden aan AI Zeker zelf doen
Een evaluatieplan laten opstellen met criteria en meetmethoden De test of evaluatie zelf uitvoeren met echte gebruikers of betrokkenen
Testscenario's laten bedenken voor een product of interventie Eerlijk rapporteren over wat wel en niet werkt
Evaluatieresultaten laten samenvatten en interpreteren Op basis van de uitkomsten bijstellen en verantwoorden waarom

Voorbeeldprompt om uit te proberen:

"Ik wil [product/interventie/advies] evalueren. Maak een evaluatieplan met: de doelen van de evaluatie, drie tot vijf meetcriteria, welke methode ik gebruik per criterium, en hoe ik de uitkomsten interpreteer."

Voorbeeldcasus Zorginstelling De Korenbloem

Lena heeft in haar PvA afgesproken dat de realisatie en evaluatie van de interventies buiten de scope van haar opdracht vallen — 20 weken is onvoldoende om de implementatie uit te voeren én de effecten te meten. Toch levert ze als onderdeel van haar advies een volledig uitgewerkt evaluatieontwerp op. Dat geeft de opdrachtgever een concreet instrument om de effectiviteit van de interventies zelf te meten nadat Lena's opdracht is afgerond.

Ze baseert het evaluatieontwerp op de doelstelling uit het PvA: verzuim terugbrengen van 10,2% naar maximaal 7,0% binnen 12 maanden na implementatie. Dat is de norm waaraan de interventies worden afgemeten.

Wat wordt geëvalueerd?

Lena onderscheidt twee niveaus van evaluatie: de procesevaluatie (wordt het protocol nageleefd?) en de effectevaluatie (daalt het verzuim?). Beide zijn nodig: als het verzuim niet daalt maar het protocol ook niet wordt nageleefd, is de conclusie anders dan wanneer het protocol wél wordt nageleefd maar het verzuim toch niet daalt.

Type evaluatie Wat wordt gemeten? Norm / verwachting
Procesevaluatie Naleving H+R protocol: % ziekmeldingen met gedocumenteerd contactmoment dag 1 ≥ 90% na 3 maanden
Procesevaluatie Naleving herstelgesprek: % terugkeerders met gedocumenteerd herstelgesprek ≥ 85% na 3 maanden (was: 18%)
Procesevaluatie Naleving frequentiegesprek: % medewerkers met ≥3 meldingen waarbij gesprek plaatsvond 100% na 6 maanden
Procesevaluatie Bedrijfsartsverwijzing tijdigheid: gem. dag van verwijzing langdurig verzuim ≤ dag 42 (wettelijke norm)
Effectevaluatie Verzuimpercentage thuiszorgafdeling ≤ 7,0% na 12 maanden (was: 10,2%)
Effectevaluatie Verzuimfrequentie per medewerker per jaar < 2,5 meldingen/jaar (was: 3,1)
Effectevaluatie Gemiddelde verzuimduur per melding < 9,0 dagen (was: 11,4)
Effectevaluatie Medewerkerstevredenheid steun leidinggevende (enquête) ≥ 3,5/5 na 12 maanden (was: 2,6/5)

Wanneer en hoe wordt gemeten?

Meetplan — tijdlijn en methoden

T=0 (nulmeting, bij start implementatie):

  → Vastleggen van alle baselinecijfers uit HRM-systeem en enquête

  → Protocol-compliance: 0% (protocol bestaat nog niet)

 

T=3 maanden (procesevaluatie tussenmeting):

  → Steekproef HRM-registraties: worden contactmomenten en herstelgesprekken vastgelegd?

  → Kwalitatieve check bij 3-4 teamleiders: loopt het protocol in de praktijk?

  → Doel: vroegtijdig bijsturen als naleving achterblijft

 

T=6 maanden (kwartaalrapportage):

  → Kwartaalverzuimcijfers uit HRM-systeem vergelijken met baseline

  → Protocol-compliance volledig doorgemeten

  → Tussentijdse rapportage aan MT en OR (zie implementatieplan)

 

T=12 maanden (eindevaluatie):

  → Volledig verzuimcijfer over 12 maanden vergeleken met baseline

  → Herhaling enquête medewerkerstevredenheid (dezelfde vragen als nulmeting)

  → Kosten-batenanalyse: zijn de besparingen uit de businesscase gerealiseerd?

  → Besluit MT: doorrol naar andere locaties?

 

Nulmeting: wat meet je vóór de interventie?

Een evaluatie is alleen zinvol als er een goede nulmeting is. Lena beschrijft wat de organisatie moet vastleggen vóór de interventies starten, zodat vergelijking achteraf mogelijk is. Ze wijst erop dat de situatiebeschrijving in haar eigen rapport als nulmeting kan dienen voor de kwantitatieve indicatoren — die zijn al vastgelegd. Voor de kwalitatieve indicatoren (tevredenheid, beleving) is een korte herhalingsmeting van de enquête nodig.

Nulmeting — wat is al beschikbaar en wat moet nog worden gemeten

Al beschikbaar (uit Lena's onderzoek):

  ✓  Verzuimpercentage: 10,2%

  ✓  Verzuimfrequentie: 3,1 meldingen/fte/jaar

  ✓  Gemiddelde duur: 11,4 dagen

  ✓  Protocol-compliance: herstelgesprek 18% gedocumenteerd

  ✓  Bedrijfsarts: gemiddeld dag 52

  ✓  Enquêtescores JD-R dimensies (o.a. steun leidinggevende: 2,6/5)

Nog vast te leggen bij start implementatie:

  ○  Exact startmoment protocol (zodat de 12-maandstermijn meetbaar is)

  ○  Registratie welke teamleiders training hebben afgerond (voor compliance-analyse)

  ○  Naam en startdatum casemanager (voor tijdlijnanalyse re-integratie)

 

Wie voert de evaluatie uit?

Lena adviseert de evaluatie niet bij de teamleiders zelf neer te leggen — die beoordelen dan in feite hun eigen naleving, wat de betrouwbaarheid van de procesevaluatie ondermijnt. Ze stelt de volgende verdeling voor:

Evaluatieonderdeel Uitvoerder Frequentie
Protocol-compliance (HRM-registraties) HR-manager (Petra de Vries) Maandelijks; rapport aan MT
Bedrijfsarts tijdigheid Casemanager Per geval; kwartaalrapportage
Verzuimcijfers (kwantitatief) HR-manager via HRM-systeem Kwartaal + jaarrapport
Medewerkerstevredenheid (enquête) Externe partij of HR + OR T=12 maanden (herhaling)
Kwalitatieve check teamleiders Locatiemanager Kees Verboom T=3 maanden; korte interviews
Kosten-batenanalyse HR-manager + financiën T=12 maanden

Wat doet Lena wél en niet?

Lena levert het evaluatieontwerp op als onderdeel van haar advies — zij voert de evaluatie

niet zelf uit. Dat is een bewuste en expliciete keuze die aansluit bij de afbakening in het PvA.

Wat Lena wél doet:

  ✓  Nulmeting vastleggen in haar situatiebeschrijving (hoofdstuk 16)

  ✓  Evaluatieontwerp opstellen met normen, meetmomenten en verantwoordelijkheden

  ✓  Businesscase onderbouwen met meetbare verwachtingen (hoofdstuk 22)

  ✓  Evaluatieplan opnemen in het implementatieplan (hoofdstuk 23)

Wat buiten Lena's opdracht valt:

  ✗  Uitvoeren van de interventies

  ✗  Verzamelen van evaluatiedata na implementatie

  ✗  Rapporteren over de uiteindelijke effectiviteit