Wat is de kans op recidive door een tasjesrover? Waarin kunnen pensioenfondsen het best investeren? Vraag het niet aan experts, want de kans dat ze fout zitten, is groot. Ze houden vast aan hun vuistregels, zelfs als ze worden geconfronteerd met het falen ervan, ontdekte Bart van den Bogaard.

Experts weten veel, maar voorspellen slechter dan statistische programma’s. Dat is al eerder uit onderzoek gebleken. “Een belangrijke reden die vaak wordt aangevoerd, is dat experts weinig feedback krijgen op hun vuistregels”, vertelt Bart van den Bogaard, student Industrial Engineering & Innovation Sciences. “Daardoor leren ze dus nooit van hun eigen fouten.”

Om te onderzoeken of deze verklaring klopt, ging Van den Bogaard op zoek naar experts die wél regelmatig worden geconfronteerd met de kwaliteit van hun eigen voorspellingen. Hij vond ze met behulp van printerfabrikant Océ in Venlo. In de printindustrie bedienen printoperators enorme printers die honderdduizenden afdrukken per dag maken.

“Een printoperator begint ‘s ochtends vroeg met werken en schat in hoe lang een printer over de klus zal doen”, legt Van den Bogaard uit. “Hij maakt een grove rekensom, gebaseerd op een vuistregel die op ervaring stoelt. Aan het eind van elke dag merkt hij of de berekening klopt. Er is dus genoeg feedback waarmee de operator zijn vuistregel kan aanpassen.”

Of dit daadwerkelijk gebeurt, dat wilde de student graag onderzoeken. Van een bepaalde printer legde hij allerlei gegevens naast elkaar van veertig dagen afdrukken: het totale aantal gedrukte pagina's, het aantal dubbel- of enkelzijdig bedrukte vellen en de doorlooptijd. Op grond daarvan ontwikkelde hij een statistisch model dat de doorlooptijd van een printklus voorspelde.

“In tachtig procent van de gevallen zit het model er maximaal een uur naast”, zegt de student. “We dachten dat een operator het model wel zou verslaan.”

Het tegengestelde bleek waar. Van den Bogaard legde dezelfde gegevens voor aan 32 ervaren operators en vroeg ze de doorlooptijd te voorspellen. Hetzelfde vroeg hij aan een groep managers die de operators aansturen, en aan studenten. “De operators voorspelden slechter dan het model. De managers waren ongeveer even goed als de operators en de studenten voorspelden de doorlooptijd het slechtst.”

Operators zeiden veel gebruik te maken van een eenvoudige vuistregel: de printsnelheid, gedeeld door het aantal te bedrukken vellen. “Als iedereen deze vuistregel consequent zou toepassen, zou hun voorspelling adequater zijn geweest”, stelde Van den Bogaard vast. “De experts presteren dus minder goed dan hun eigen vuistregel mogelijk maakt.”

Conclusie: zelfs als experts dagelijks worden overspoeld met feedback over hun voorspelling, leidt dat niet automatisch tot betere prognoses dan die van een statistisch model. Hebben experts een plank voor hun hoofd? “Misschien heeft het aantal jaren ervaring ook invloed”, zegt Van den Bogaard. “Dergelijke gegevens wil ik nog meenemen in mijn verhaal.”

Tekst: Enith Vlooswijk
Fotomontage: Rien Meulman