Perception of Facial Emotional Expressions and Touch in Virtual Face-to-Face Interaction

Show simple item record

dc.contributor Helsingin yliopisto, lääketieteellinen tiedekunta fi
dc.contributor Helsingfors universitet, medicinska fakulteten sv
dc.contributor University of Helsinki, Faculty of Medicine, Psykologian ja logopedian osasto en
dc.contributor Väestön terveyden tohtoriohjelma fi
dc.contributor Doktorandprogrammet i befolkningshälsan sv
dc.contributor Doctoral Program in Population Health en
dc.contributor.author Harjunen, Ville Johannes
dc.date.accessioned 2019-10-16T11:03:07Z
dc.date.available 2019-11-01
dc.date.available 2019-10-16T11:03:07Z
dc.date.issued 2019-11-11
dc.identifier.uri URN:ISBN:ISBN 978-951-51-5572-6
dc.identifier.uri http://hdl.handle.net/10138/306062
dc.description.abstract Emotional expressions as manifested in facial movements, voice, and touch are a crucial part of face-to-face interaction. The majority of existing neuroscientific research on emotional expressions concerns the perception of unimodal emotional cues, such as facial emotional expressions. In natural face-to-face interaction, however, emotions are often expressed as compounds of facial, tactile, prosodic, and postural cues. How the brain processes such multimodal emotional information remains poorly understood. The aim of the current dissertation is to investigate how emotional expressions conveyed consecutively via face and touch are integrated in perceptual processing and decision-making. Four studies were conducted to measure event-related brain potentials (ERPs) and autonomic nervous system responses to simulated touches and facial emotional expression stimuli. The first two studies used virtual reality to investigate how a virtual agent’s facial emotional expressions influenced the way the agent’s subsequent touch was perceived (Study I) and whether the receiver’s individual characteristics influenced this visuo-tactile affective modulation (Study II). Touch perception was measured using self-reports, somatosensory-evoked potentials (SEPs), and cardiac orienting responses (ORs), and the individual characteristics were indexed by behavioural inhibition system sensitivity (BIS) and gender. Study III investigated whether receiving a touch influenced the processing of a subsequent emotional face picture presented on the computer screen. Here, face-evoked ERPs, ORs, and facial electromyography were measured. Finally, the Study IV examined whether a virtual agent’s touch and emotional facial expressions influence receivers’ decision-making and offer-related ORs in an economic decision-making game. Additionally, the study examined whether the receivers’ behavioural inhibition/approach system (BAS/BIS) sensitivities and sensitivity to unfair treatment moderated persuasiveness of nonverbal cues. Study I revealed that happy, angry, and sad facial expressions resulted in amplified SEPs around 20–50 ms after touch onset, whereas in later latencies (250–650 ms), the angry facial expression amplified and the happy expression decreased the SEP amplitudes. In Study II, men with high BIS were found to perceive touch from male agents as especially intense if accompanied by happy, angry, of fearful facial expressions, and they showed pronounced cardiac OR to all the touches. Study III demonstrated that receiving a computer-generated touch did not modulate emotional face processing in any of the measured indices. Finally, in Study IV, people were found to accept unfair offers more often if the agent smiled or touched them before making the offer. The touch had a stronger persuasive influence in people with low sensitivity to unfairness and low approach tendency, whereas the effect of facial expressions was moderated by BIS. Altogether, the findings of the dissertation reveal that a sender’s facial emotional expressions modulate subsequent touch perception at a very early stage and that the modulation is based on different emotional information in different temporal stages. In addition, the findings suggest that motivational tendencies and gender influence the manner in which people perceive a sender’s multimodal emotional expressions and make decisions thereafter. These findings are valuable for basic research, but their implications extend also to the development of novel clinical interventions and social virtual reality applications. en
dc.description.abstract Kasvonilmeiden, asentojen, äänenpainojen ja kosketuksen kautta välittyvät tunneilmaisut ovat keskeinen osa sosiaalista vuorovaikutusta. Suuri osa olemassa olevasta tunneilmaisujen neurotieteellisestä tutkimuksesta koskee unimodaalisten tunneilmaisuärsykkeiden, kuten kasvonilmeiden prosessointia. Kasvokkaisessa vuorovaikutuksessa tunneilmaisut esiintyvät kuitenkin usein kasvonilmeiden, äänenpainojen, asentojen ja kosketuksen sarjamaisina yhdistelminä. Aivojen tavasta prosessoida tällaisia moniaistisia tunneilmaisuja tiedetään vielä vähän. Tässä väitöskirjatutkimuksessa tutkittiin, miten peräkkäin esitetyt kasvonilmeet ja kosketus integroituvat toisiinsa aistiprosessoinnin tasolla ja vaikuttavat vastaanottajan sosiaaliseen päätöksentekoon. Väitöskirja koostuu neljästä tutkimuksesta, joissa mitattiin aivosähkökäyrän herätevasteita ja autonomisen hermoston reaktioita kosketukseen ja kasvonilmeisiin. Kahdessa ensimmäisessä tutkimuksessa selvitettiin, kuinka virtuaalitodellisuuteen heijastetun ihmishahmon kasvonilmeet (iloinen, suuttunut, pelokas, surullinen ja neutraali) vaikuttavat hahmon lähettämän koneellisesti tuotetun kosketuksen havaitsemiseen (tutkimus I) ja kuinka vastaanottajan välttämistaipumus ja sukupuoli säätelevät kasvonilmeiden vaikutuksia kosketuksen havaitsemiseen (tutkimus II). Kosketuksen havaitsemista mitattiin itseraportoinnin, somatosensoristen herätevasteiden ja sydämen orientaatiorefleksin avulla. Tutkimuksessa III selvitettiin, vaikuttaako koneellisesti tuotettu kosketus sitä seuraavan emotionaalisen kasvokuvan prosessointiin. Kasvonilmeiden prosessointia mitattiin kasvoärsykkeiden aikaansaamien näköherätevasteiden, kasvolihasaktivaation ja sydämen orientaatiorefleksin avulla. Tutkimuksessa IV tarkasteltiin virtuaalihahmon kasvonilmeiden ja kosketuksen yhteisvaikutuksia hahmon taloudellisiin tarjouksiin suostumiseen ja tarjousten aiheuttamaan sydämen orientaatiorefleksiin. Samalla tarkasteltiin, mikäli vastaanottajan lähestymis- ja välttämistaipumus sekä herkkyys epäreilulle kohtelulle säätelevät tunneilmaisuiden suostuttelevaa vaikutusta. Tutkimuksen I tulokset osoittivat, että kosketukset, joita edelsi iloinen, suuttunut tai surullinen ilme johtivat voimakkaampiin varhaisiin herätevasteisiin 20 - 50 millisekuntia kosketuksen esittämisestä. Vastaavasti myöhemmät vasteet (250-650 ms) olivat korostuneempia, jos hahmolla oli suuttunut ilme, ja latistuneita jos hahmo hymyili. Tutkimuksessa II havaittiin, että erityisesti miehillä, joilla oli korkea välttämistaipumus, hahmon kosketus sai aikaan voimakkaan sydämen orientaatiorefleksin. He myös kokivat kosketuksen voimakkaana, kun hahmo ilmaisi kasvoillaan suuttumusta, pelkoa tai iloa koskettaessaan. Vastoin oletuksia, tutkimuksessa III koneellisesti tuotettu kosketus ei vaikuttanut kasvonilmeärsykkeen prosessointiin millään mitatuista vasteista. Tutkimuksessa IV havaittiin, että virtuaalihahmon kosketus ja iloinen/neutraali kasvonilme lisäsivät suostuvaisuutta hahmon esittämiin epäreiluihin taloudellisiin tarjouksiin. Kosketus johti suurempaan suostuvaisuuteen henkilöillä, joilla oli alhainen herkkyys epäreiluudelle ja alhainen lähestymistaipumus. Kasvonilmeiden vaikutusta suostuvaisuuteen sääteli vastaanottajan välttämistaipumus. Yhteenvetona tulokset osoittavat, että vuorovaikutuksessa ilmaistut kasvonilmeet ja kosketus integroituvat toisiinsa hyvin varhain ja että integraatioprosessi on monivaiheinen. Myös persoonallisuuspiirteillä ja sukupuolella näyttää olevan merkittävä rooli multimodaalisten tunneilmaisuiden havaitsemisessa ja vaikutuksessa päätöksentekoon. fi
dc.format.mimetype application/pdf
dc.language.iso en
dc.publisher Helsingin yliopisto fi
dc.publisher Helsingfors universitet sv
dc.publisher University of Helsinki en
dc.relation.isformatof URN:ISBN:ISBN 978-951-51-5571-9
dc.relation.isformatof Helsinki: Helsingin yliopisto, 2019
dc.rights Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty. fi
dc.rights This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited. en
dc.rights Publikationen är skyddad av upphovsrätten. Den får läsas och skrivas ut för personligt bruk. Användning i kommersiellt syfte är förbjuden. sv
dc.subject Psykologia
dc.title Perception of Facial Emotional Expressions and Touch in Virtual Face-to-Face Interaction en
dc.type.ontasot Väitöskirja (artikkeli) fi
dc.type.ontasot Doctoral dissertation (article-based) en
dc.type.ontasot Doktorsavhandling (sammanläggning) sv
dc.ths Ravaja, Niklas
dc.ths Spapé, Michiel
dc.opn Forster, Bettina
dc.type.dcmitype Text

Files in this item

Total number of downloads: Loading...

Files Size Format View
Percepti.pdf 4.052Mb PDF View/Open

This item appears in the following Collection(s)

Show simple item record