spacer.png, 0 kB
Volg Cursor via Twitter Volg Cursor via Facebook Cursor RSS feed
spacer.png, 0 kB

spacer.png, 0 kB


Of hij eens mee wilde denken over interactief straatmeubilair.
Cursor in PDF formaatCursor als PDF
PrintE-mail Tweet dit artikel Deel dit artikel op Facebook
Op zoek naar de juiste timing
22 mei 2008 - In de vakgroep Human-Technology Interaction doen ze onderzoek naar de perceptie van gelijktijdigheid van beeld en geluid. Promovendus Rob van Eijk, die volgende week zijn proefschrift verdedigt, deed experimenten met tientallen proefpersonen om uit te vinden waarom zijn vakbroeders het op dit vlak zo vaak oneens zijn.

Rob van Eijk neemt me mee naar een bedompte ruimte, waarvan de vloeren en wanden bekleed zijn met geluiddempende materialen. De computer die voor de experimenten wordt gebruikt, is gescheiden van de proefruimte door een glazen wand. Binnen is het stil. We nemen plaats achter een monitor die verraadt dat de computer nog onder Windows98 draait. Van Eijk lacht: “We gebruiken die verouderde software omdat we op dit besturingssysteem eenvoudig de prioriteit van processen kunnen bepalen.“ En dat is van cruciaal belang bij de experimenten die hij heeft uitgevoerd.

De laatste jaren zijn in deze ruimte tientallen proefpersonen onderworpen aan in totaal tienduizenden tests, die allemaal draaiden om de perceptie van gelijk-tijdigheid van geluid en visuele signalen. Ik word achter de monitor gezet en krijg een hoofdtelefoon op. Vervolgens krijg ik een balletje te zien dat neervalt op een horizontale balk. Als het balletje de balk raakt, hoor je het geluid van de botsing. Maar de timing klopt niet altijd precies. Soms hoor je het geluid net iets te laat, soms net iets te vroeg. Ik moet aangeven of het geluid te vroeg komt, precies op het juiste moment - synchroon met het beeld -, of juist te laat.

Van Eijk vertelt: “Als je de literatuur bestudeert over de perceptie van gelijk-tijdigheid van visuele en audiosignalen, dan blijkt dat de onderzoekers elkaar nogal vaak tegenspreken. Ik heb onderzocht hoe dat mogelijk is.“

Botsing
Een gebeurtenis, bijvoorbeeld het op elkaar botsen van twee raceauto’s, kan door op verschillende manieren worden waargenomen: je kunt het zien gebeuren en je kunt de auto’s op elkaar horen botsen. Omdat hier sprake is van slechts één gebeurtenis, moet je het ontstaan van het beeld en het geluid wel op hetzelfde punt in de tijd plaatsen. Als dat niet lukt, is dat erg verwarrend.

Toch is het niet vanzelfsprekend dat het beeld en geluid van de op elkaar botsende auto’s tegelijk bij je binnenkomen: geluid verplaatst zich minder snel dan licht. Vandaar dat bij onweer altijd eerst de flits komt en daarna pas de donder. Daar staat tegenover dat onze ogen en het visuele deel van de hersenen iets trager werken dan ons gehoor. Of we ons eerst het beeld gewaar worden, of het geluid, is daardoor afhankelijk van de afstand tot het auto-ongeluk. Als die afstand groter is dan zo’n vijftien meter, wint het beeld de race naar ons bewustzijn.

Er is dus vrijwel altijd enige discrepantie tussen beeld en geluid in onze waarneming. Toch stoort ons dat in het algemeen niet. Blijkbaar hebben we er een bepaalde tolerantie voor. Die is echter niet oneindig: we kunnen heel onrustig worden als we eerst een knal horen, en daarna pas auto’s zien botsen. Of als het geluid op televisie niet synchroon loopt met het beeld.

Op tv worden soms beelden gecombi-neerd met geluid dat op een ander plek is opgenomen. Het kan dan lastig zijn om beeld en geluid zo te combineren dat het geheel realistisch overkomt. Hetzelfde geldt voor makers van videospelletjes.

Synchronie
Volgens Van Eijk is er een aanzienlijk verschil tussen situaties waarbij je eerst de botsing hoort en dan pas ziet, en gevallen waarbij het geluid na het beeld komt. “We hebben onderzocht hoe groot het tijdsverschil tussen de visuele en auditieve component mag zijn zodat we beide signalen nog als gelijktijdig waarnemen. Het blijkt dat mensen het niet erg vinden als het geluid iets achter-loopt bij het beeld, beide signalen worden dan toch nog als gelijktijdig ervaren. Maar als het geluid eerder komt, dan hebben we dat veel sneller door. We weten niet precies hoe dat werkt.“ De verklaring is mogelijk dat we gewend zijn aan de trage snelheid van geluid. In sommige studies wordt echter een tegengesteld effect gevonden: dan lijken de proefpersonen juist gevoeliger voor vertraagd geluid.

In het onderzoek van Van Eijk draait alles om het punt van subjectieve synchronie (PSS): de relatieve vertraging van het audiosignaal ten opzichte van de visuele prikkel. Die wordt gemeten voor tal van situaties en kan worden gebruikt om de optimale vertraging te vinden voor een audiosignaal in bijvoorbeeld een video-spel. Daarvoor zijn drie verschillende methoden bekend: beoordeling van de tijdsvolgorde (‘geluid eerst’ of ‘beeld eerst’), beoordeling van de synchronie (‘synchroon’ of ‘asynchroon’), een uitgebreide versie van de laatste methode, waarbij men de keuze heeft tussen ‘geluid eerst’, ‘synchroon’, of ‘beeld eerst’.

Uit de literatuur rees het vermoeden dat het punt van subjectieve synchronie dat werd gevonden, afhing van welke van bovenstaande methodes werd gebruikt. Van Eijk heeft dat nu uitgebreid onderzocht. “Het blijkt dat de eerste methode, waarbij je moet kiezen welk signaal eerst komt, zonder dat je de optie ‘synchroon’ kunt kiezen, geen consistente resultaten oplevert. Die methode is dus niet geschikt voor het bepalen van het punt van subjectieve synchronie“.

Newton
De volgende test waaraan ik word onderworpen, is een simulatie van ‘Newton’s Cradle’: de bekende rij metalen bollen die de wetten van behoud van energie en impuls demonstreren. Als de linker bol in zijn slingerbaan tegen zijn buurman aanbotst, schiet op hetzelfde moment de bol aan de rechterkant van de rij met dezelfde snelheid weg (zie foto).

Opnieuw vraagt Van Eijk me om aan te geven of het geluid van de botsing te vroeg, synchroon, of te laat is. “Bij dit experiment blijkt het resultaat te veranderen als we de linkerkant van de simulatie afdekken. Je kunt dan niet meer voorspellen wanneer de rechterbol de rij zal verlaten.“ In die situatie is de over-gevoeligheid voor te vroege audiosignalen veel zwakker. Hetzelfde zag Van Eijk in situaties waarbij de proefpersonen slechts een klik en een flits zien. “Ook in die gevallen is het verschil in tolerantie voor late en vroege audiosignalen veel kleiner dan wanneer er een causaal verband lijkt te zijn tussen beeld en geluid.“

Het onderzoek van Van Eijk is naar eigen zeggen behoorlijk fundamenteel. Hij heeft zich niet beziggehouden met toepassingen van zijn bevindingen in bijvoorbeeld videospellen. Na zijn promotie blijft hij echter werkzaam in de vakgroep Human-Technology Interaction. De komende twee jaar gaat hij zich bezighouden met 3D teleconferencing. “Dan zal de kennis die ik de afgelopen jaren heb opgedaan vast nog van pas komen.“/.

Beeld en geluid/Tom Jeltess
Foto/Bart van Overbeeke