Perception of Facial Emotional Expressions and Touch in Virtual Face-to-Face Interaction

Show full item record

Permalink

http://urn.fi/URN:ISBN:ISBN 978-951-51-5572-6
Title: Perception of Facial Emotional Expressions and Touch in Virtual Face-to-Face Interaction
Author: Harjunen, Ville Johannes
Contributor: University of Helsinki, Faculty of Medicine, Psykologian ja logopedian osasto
Doctoral Program in Population Health
Publisher: Helsingin yliopisto
Date: 2019-11-11
URI: http://urn.fi/URN:ISBN:ISBN 978-951-51-5572-6
http://hdl.handle.net/10138/306062
Thesis level: Doctoral dissertation (article-based)
Abstract: Emotional expressions as manifested in facial movements, voice, and touch are a crucial part of face-to-face interaction. The majority of existing neuroscientific research on emotional expressions concerns the perception of unimodal emotional cues, such as facial emotional expressions. In natural face-to-face interaction, however, emotions are often expressed as compounds of facial, tactile, prosodic, and postural cues. How the brain processes such multimodal emotional information remains poorly understood. The aim of the current dissertation is to investigate how emotional expressions conveyed consecutively via face and touch are integrated in perceptual processing and decision-making. Four studies were conducted to measure event-related brain potentials (ERPs) and autonomic nervous system responses to simulated touches and facial emotional expression stimuli. The first two studies used virtual reality to investigate how a virtual agent’s facial emotional expressions influenced the way the agent’s subsequent touch was perceived (Study I) and whether the receiver’s individual characteristics influenced this visuo-tactile affective modulation (Study II). Touch perception was measured using self-reports, somatosensory-evoked potentials (SEPs), and cardiac orienting responses (ORs), and the individual characteristics were indexed by behavioural inhibition system sensitivity (BIS) and gender. Study III investigated whether receiving a touch influenced the processing of a subsequent emotional face picture presented on the computer screen. Here, face-evoked ERPs, ORs, and facial electromyography were measured. Finally, the Study IV examined whether a virtual agent’s touch and emotional facial expressions influence receivers’ decision-making and offer-related ORs in an economic decision-making game. Additionally, the study examined whether the receivers’ behavioural inhibition/approach system (BAS/BIS) sensitivities and sensitivity to unfair treatment moderated persuasiveness of nonverbal cues. Study I revealed that happy, angry, and sad facial expressions resulted in amplified SEPs around 20–50 ms after touch onset, whereas in later latencies (250–650 ms), the angry facial expression amplified and the happy expression decreased the SEP amplitudes. In Study II, men with high BIS were found to perceive touch from male agents as especially intense if accompanied by happy, angry, of fearful facial expressions, and they showed pronounced cardiac OR to all the touches. Study III demonstrated that receiving a computer-generated touch did not modulate emotional face processing in any of the measured indices. Finally, in Study IV, people were found to accept unfair offers more often if the agent smiled or touched them before making the offer. The touch had a stronger persuasive influence in people with low sensitivity to unfairness and low approach tendency, whereas the effect of facial expressions was moderated by BIS. Altogether, the findings of the dissertation reveal that a sender’s facial emotional expressions modulate subsequent touch perception at a very early stage and that the modulation is based on different emotional information in different temporal stages. In addition, the findings suggest that motivational tendencies and gender influence the manner in which people perceive a sender’s multimodal emotional expressions and make decisions thereafter. These findings are valuable for basic research, but their implications extend also to the development of novel clinical interventions and social virtual reality applications.Kasvonilmeiden, asentojen, äänenpainojen ja kosketuksen kautta välittyvät tunneilmaisut ovat keskeinen osa sosiaalista vuorovaikutusta. Suuri osa olemassa olevasta tunneilmaisujen neurotieteellisestä tutkimuksesta koskee unimodaalisten tunneilmaisuärsykkeiden, kuten kasvonilmeiden prosessointia. Kasvokkaisessa vuorovaikutuksessa tunneilmaisut esiintyvät kuitenkin usein kasvonilmeiden, äänenpainojen, asentojen ja kosketuksen sarjamaisina yhdistelminä. Aivojen tavasta prosessoida tällaisia moniaistisia tunneilmaisuja tiedetään vielä vähän. Tässä väitöskirjatutkimuksessa tutkittiin, miten peräkkäin esitetyt kasvonilmeet ja kosketus integroituvat toisiinsa aistiprosessoinnin tasolla ja vaikuttavat vastaanottajan sosiaaliseen päätöksentekoon. Väitöskirja koostuu neljästä tutkimuksesta, joissa mitattiin aivosähkökäyrän herätevasteita ja autonomisen hermoston reaktioita kosketukseen ja kasvonilmeisiin. Kahdessa ensimmäisessä tutkimuksessa selvitettiin, kuinka virtuaalitodellisuuteen heijastetun ihmishahmon kasvonilmeet (iloinen, suuttunut, pelokas, surullinen ja neutraali) vaikuttavat hahmon lähettämän koneellisesti tuotetun kosketuksen havaitsemiseen (tutkimus I) ja kuinka vastaanottajan välttämistaipumus ja sukupuoli säätelevät kasvonilmeiden vaikutuksia kosketuksen havaitsemiseen (tutkimus II). Kosketuksen havaitsemista mitattiin itseraportoinnin, somatosensoristen herätevasteiden ja sydämen orientaatiorefleksin avulla. Tutkimuksessa III selvitettiin, vaikuttaako koneellisesti tuotettu kosketus sitä seuraavan emotionaalisen kasvokuvan prosessointiin. Kasvonilmeiden prosessointia mitattiin kasvoärsykkeiden aikaansaamien näköherätevasteiden, kasvolihasaktivaation ja sydämen orientaatiorefleksin avulla. Tutkimuksessa IV tarkasteltiin virtuaalihahmon kasvonilmeiden ja kosketuksen yhteisvaikutuksia hahmon taloudellisiin tarjouksiin suostumiseen ja tarjousten aiheuttamaan sydämen orientaatiorefleksiin. Samalla tarkasteltiin, mikäli vastaanottajan lähestymis- ja välttämistaipumus sekä herkkyys epäreilulle kohtelulle säätelevät tunneilmaisuiden suostuttelevaa vaikutusta. Tutkimuksen I tulokset osoittivat, että kosketukset, joita edelsi iloinen, suuttunut tai surullinen ilme johtivat voimakkaampiin varhaisiin herätevasteisiin 20 - 50 millisekuntia kosketuksen esittämisestä. Vastaavasti myöhemmät vasteet (250-650 ms) olivat korostuneempia, jos hahmolla oli suuttunut ilme, ja latistuneita jos hahmo hymyili. Tutkimuksessa II havaittiin, että erityisesti miehillä, joilla oli korkea välttämistaipumus, hahmon kosketus sai aikaan voimakkaan sydämen orientaatiorefleksin. He myös kokivat kosketuksen voimakkaana, kun hahmo ilmaisi kasvoillaan suuttumusta, pelkoa tai iloa koskettaessaan. Vastoin oletuksia, tutkimuksessa III koneellisesti tuotettu kosketus ei vaikuttanut kasvonilmeärsykkeen prosessointiin millään mitatuista vasteista. Tutkimuksessa IV havaittiin, että virtuaalihahmon kosketus ja iloinen/neutraali kasvonilme lisäsivät suostuvaisuutta hahmon esittämiin epäreiluihin taloudellisiin tarjouksiin. Kosketus johti suurempaan suostuvaisuuteen henkilöillä, joilla oli alhainen herkkyys epäreiluudelle ja alhainen lähestymistaipumus. Kasvonilmeiden vaikutusta suostuvaisuuteen sääteli vastaanottajan välttämistaipumus. Yhteenvetona tulokset osoittavat, että vuorovaikutuksessa ilmaistut kasvonilmeet ja kosketus integroituvat toisiinsa hyvin varhain ja että integraatioprosessi on monivaiheinen. Myös persoonallisuuspiirteillä ja sukupuolella näyttää olevan merkittävä rooli multimodaalisten tunneilmaisuiden havaitsemisessa ja vaikutuksessa päätöksentekoon.
Subject: Psykologia
Rights: This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.


Files in this item

Total number of downloads: Loading...

Files Size Format View
Percepti.pdf 4.052Mb PDF View/Open

This item appears in the following Collection(s)

Show full item record