Modelling the structure of a multimodal artefact

Abstract

This dissertation studied the structure of multimodal artefacts, or how language, image and other semiotic modes combine and interact in documents. This places the study within the emerging field of multimodal research, which uses linguistic methods to study the interaction of multiple semiotic modes.

Despite the growing amount of multimodal research, the structure of multimodal artefacts has not received the attention it warrants. Previous studies have been either very detailed or exceedingly abstract, leaving a significant gap between data and theory, which this dissertation attempted to bridge. To do so, the dissertation adopted a data-driven approach to multimodal analysis, addressing the structure of multimodal artefacts, the factors that shape the artefact structure, and the role of structure in the recognition and interpretation of the artefacts.

The data consisted of tourist brochures produced by the city of Helsinki between 1967 and 2008, which allowed a longitudinal perspective to their multimodal structure. A total of 58 double-pages were annotated for their content, visual appearance, layout and rhetorical organisation, and compiled into an XML-based multimodal corpus. To study the corpus, the dissertation developed visualisation methods that combined information from multiple analytical layers of the corpus to represent the multimodal structures in the data.

The study revealed the functional motivation behind the structure of the tourist brochures, identifying patterns in their hierarchical and rhetorical organisation, which were used to fulfil specific communicative tasks. The configuration of these patterns, in turn, signalled how the brochure was to be interpreted. The results also showed that after the year 1985, which marked the introduction of desktop publishing software, the organising principles of the tourist brochures have shifted towards a more fragmented and non-linear structure.

Väitöskirja osoittaa, että kielitieteen menetelmiä voidaan soveltaa menestyksekkäästi myös visuaalisen viestinnän tutkimukseen. Vaikka kieltä ja kuvaa yhdistelevät tekstit ovat jo pitkään olleet osa arkipäiväistä elämää, kielen ja kuvan vuorovaikutuksesta tiedetään edelleen melko vähän, joka asettaa haasteen esimerkiksi keskustelulle medialukutaidon vaatimuksista. Kielitiede auttaa vastaamaan haasteeseen, sillä tieteenalalla on pitkä perinne viestinnän rakenteiden järjestelmällisessä tutkimuksessa. Tärkeintä on löytää sopiva teoria: tekstin rakennetta kuvaavat teoriat soveltuvat paremmin visuaalisen viestinnän tutkimukseen kuin esimerkiksi kieliopin teoria. Väitöskirjatutkimus avaa näin uusia mahdollisuuksia visuaalisen viestinnän empiiriseen tutkimukseen, jonka tuottamaa tietoa voidaan soveltaa tulevaisuudessa esimerkiksi opetusmateriaalien ja julkisen viestinnän kehittämisessä.

Tutkimuksen aineisto koostuu Helsingin kaupungin vuosina 1967-2008 julkaisemista englanninkielisistä matkailuesitteistä. Laajasta aineistosta valittiin yhteensä 58 aukeamaa, jotka analysoitiin sisältöä, ulkoasua, sommittelua sekä sisällön välisiä suhteita kuvaavan mallin avulla. Analyysin pohjalta luotiin tietokoneen avulla useita kielen ja kuvan vuorovaikutusta sekä esitteen rakennetta kuvaavia malleja, sekä kehitettiin uusia työkaluja tutkittujen rakenteiden visualisoimiseksi.

Havaintojen perusteella matkailuesitteiden rakenne muuttuu 1980-luvulla pirstaleiseksi, samaan aikaan kun tietokoneet otetaan käyttöön graafisessa suunnittelussa. Siinä missä vanhat esitteet käyttävät ilmaisuun valtaosin kirjoitettua kieltä, uudet pilkkovat sisällön pieniin yksiköihin, jotka yhdistelevät kieltä ja kuvaa. Muutos havaittiin kehitettyjen mallien avulla, sillä sitä on vaikea todentaa silmämääräisesti. Havainto on merkittävä, koska visuaalisen viestinnän kasvava merkitys liitetään usein visuaalisen sisällön määrään, ei sen yhteistoimintaan ja vuorovaikutukseen kielen kanssa. Visuaalisen sisällön määrä pysyy kuitenkin ennallaan tutkitulla aikavälillä - keskimäärin 50 % esitteiden pinta-alasta on valokuvia, kuvitusta ja muita graafisia elementtejä - vaikka sisällön esittämiseen käytetyt rakenteet muuttuvat samaan aikaan perusteellisesti.