“Huidige kwantitatieve methoden vragen ontwerpers af te gaan op 'gemiddelde' meningen”, vertelt Karapanos. “Ontwerpers hebben alle reden om de daaruit voortvloeiende statistiek te wantrouwen. Wat is de waarde van vragenlijsten waar gebruikers gevraagd wordt om producten te beoordelen op aspecten die ze zelf niet herkennen of belangrijk vinden?” 

Karapanos stelde daarom voor om gebruikers hun ervaringen in eigen woorden te laten vertellen en over een langere periode te observeren. Het is wel een zeer arbeids- en tijdverslindende onderzoeksmethode. En hoe ga je om met de enorme hoeveelheid informatie die je zo verzamelt? In zijn proefschrift bekijkt Karapanos onder meer hoe je achteraf gedetailleerde gebruikerservaringen op kunt roepen. 

Hij gebruikte hiervoor het programma iScale, waarin mensen kunnen tekenen hoe positief of negatief ze in een bepaalde periode over hun mobiele telefoon dachten. Tegelijkertijd kunnen ze hun ervaringen met het product aan die tijdlijn koppelen. Uit het onderzoek bleek dat mensen met iScale meer ervaringen vertelden in vergelijking met het vrij ophalen van herinneringen. Zij gaven ook meer contextuele informatie en waren nauwkeuriger in het herinneren van concrete details van een gebeurtenis. “Op deze manier kunnen we meer informatie van mensen in verschillende contexten verzamelen”, vertelt Karapanos. 

Karapanos keek ook naar technieken om deze grote hoeveelheden gebruikerservaringen op een betekenisvolle wijze te analyseren. Bijvoorbeeld door de overeenkomst tussen verhalen te visualiseren. “Dit idee komt uit de hoek van de 'information retrieval'”, legt Karapanos uit. Als je een aantal documenten hebt, kunt je de overeenkomst berekenen door dezelfde woorden in de verschillende documenten te tellen. Dit combineerde hij met het coderen van de verhalen, bijvoorbeeld door verschillende woorden met een zelfde functie in het verhaal een zelfde label te geven. De woorden 'vriend', 'broer' en 'collega' krijgen bijvoorbeeld de code 'relevante ander'. 

“Op deze manier krijg je een eenvoudige manier om door de uitgebreide data te navigeren. Bovendien kan deze 'similarity analysis' helpen de data op verschillende manieren te interpreteren”, legt Karapanos uit. In één van zijn onderzoeken liet hij mensen vier weken lang dagelijks drie ervaringen met een iPhone beschrijven. De verhalen werden gecodeerd met termen als 'leerbaarheid', 'bruikbaarheid', 'stimulatie' en 'gebruik op de lange termijn' en met functies van het product, zoals 'audio' en 'camera'. “De data liet zien dat ervaringen en hun invloed met de tijd veranderden. Eerst zijn zaken als 'leerbaarheid' en 'gebruiksgemak' belangrijk.  

Maar wat maakt een product na een paar weken nog cool? En wat bevordert op lange termijn het gebruik van producten als iPhone? “Dit hangt af van hoe het product in het persoonlijke en sociale leven wordt ingebed”, vertelt Karapanos. Bijvoorbeeld of een product onderdeel wordt van je dagelijkse gewoontes. Karapanos: “Binnen ons vakgebied behandelen we interactieve producten zoals mobiele telefoons als hulpmiddelen met voorgedefinieerde gebruiksdoelen. Maar dat is niet echt zo! Mensen leven met die producten, en die producten kunnen deel uit gaan maken van allerlei aspecten van hun leven. Dat vraagt om onderzoekmethoden die rijkgeschakeerde informatie oplevert, die op een betekenisvolle manier aan ontwerpers getoond kan worden.” 
 
Het onderzoek van ir. Evangelos Karapanos is uitgevoerd onder de vlag van de J.F. Schouten Graduate School of User-System Interaction Research met financiële ondersteuning van het ministerie van Economische Zaken binnen het IOP-IPCR programma en het ’Soft Reliability’ project samen met Philips en Océ. Karapanos promoveerde dinsdag 23 maart op zijn proefschrift `Quantifying Diversity in User Experience'.