Browsing by Subject "evaluation"

Sort by: Order: Results:

Now showing items 1-20 of 31
  • Dara, Dahat (Helsingin yliopisto, 2021)
    COVID-19-pandemian myötä vuotta 2020 on varjostanut epävarmuus ja pelko, mikä on havaittavissa sekä perinteisessä että sosiaalisessa mediassa käytävässä keskustelussa. Sosiaalisen median käytössä korostuu eri kanavien rooli sekä tiedon lähteenä että käyttäjien omien näkemysten ilmaisemisen välineenä. Lisäksi sosiaalisessa mediassa korostuu käyttäjien välinen vuorovaikutus. Sosiaalisen median käyttäminen terveyteen liittyvän tiedon lähteenä voi kuitenkin olla ongelmallista, erityisesti jos tieto erkaantuu tieteellisesti todistetusta faktasta. Sosiaalisessa mediassa esiintyvän diskurssin tarkasteleminen voi kuitenkin laajentaa ymmärrystämme käyttäjien suhtautumisesta ja asenteista uhkaavien infektiosairauksien vaaroihin sekä leviämisen estämiseen liittyviin toimenpiteisiin. Tämän tutkimuksen osalta COVID-19-pandemiaa lähestytään kasvomaskien käyttöön liittyvän diskurssin tarkastelulla suhtautumisen näkökulmasta. Analyysissa sovelletaan Martinin ja Whiten suhtautumisen teoriaa (Appraisal theory), jonka avulla voidaan havainnoida puhujien asennoitumista kasvomaskien käyttöön tarkastelemalla kielessä ilmenevää evaluaatiota. Teorian viitekehys koostuu kolmesta järjestelmästä: asennoituminen (attitude), sitoutuminen (engagement) ja asteittaisuus (graduation). Tämä tutkimus on rajattu asennoitumisen järjestelmään, joka jakautuu edelleen kolmeen alajärjestelmään: tunteiden ilmaisuun (affect), toiminnan arvosteluun (judgement) sekä esineiden ja asioiden arvottamiseen (appreciation). Suhtautumisen teoriassa kieli mielletään systeemis-funktionaalisesta kieliteoriasta lainaten merkitysten viestittämisen järjestelmänä, jossa evaluaatio toteutuu puhujan valitessa lukuisien mahdollisten merkitysten välillä. Tutkimuksen aineistona käytetään yhdysvaltalaisessa Washington Post -lehdessä julkaistua kasvomaskien oikeaoppiseen käyttöön ohjeistavan uutisartikkelin kommenttiosiota. Kommenttiosio koostuu yhteensä 137 kommentista, joista 114 sisältää kasvomaskien käyttöön liittyvää asennoitumista. Näissä 114 kommentissa ilmenee asennoitumista yhteensä 147 kertaa. Kommenttien analysoinnissa sovelletaan kvalitatiivista analyysia, jonka avulla kommenteista ensin täsmennetään asennoitumisen esiintymät. Tämän jälkeen analyysissa määritellään tarkemmin mitä kasvomaskeihin liittyvää aspektia arvioidaan, mikä on asennoitumisen polariteetti ja mihin arviointi sijoittuu asennoitumisen alajärjestelmissä. Tulokset osoittavat, että kasvomaskeihin liittyvässä diskurssissa korostuu ihmistoiminnan arvostelu, mikä ilmenee kasvomaskien käyttämättä jättämisen kielteisenä arvosteluna. Myös kasvomaskien sääntöihin sekä sääntöjen toteutumiseen ja valvontaan liittyvät epäjohdonmukaisuudet saavat osakseen kielteistä arvottamista. Tuloksissa ilmenee myös negatiivista asennoitumista poliittisia johtajia ja instituutioita kohtaan sekä näkyvää poliittista vastakkainasettelua, jossa kasvomaskien käyttämättömyys mielletään oikeistolaisen ideologian seuraukseksi. Tulokset viittaavat siihen, että kasvomaskeihin suhtaudutaan myönteisesti ja niiden tärkeys sairauden leviämisen estämiseksi tiedostetaan.
  • Hellén, Katarina (Svenska handelshögskolan, 2010)
    Economics and Society
    A Continuation of the Happiness Success Story: Does Happiness Impact Service Quality? The effects of long-term happiness on various outcomes for the individual and society have been studied extensively in psychology but the concept has so far received limited research attention in marketing. Happiness is defined as a summary judgment of one’s life. Previous research has shown that happiness is a relatively stable perception of happiness in one’s life. Thus, happiness in this thesis is long-term and more global as a phenomenon than in the marketing literature, where happiness is commonly conceptualized as an emotion, feeling or momentary state of happiness. Although there is plenty of research on consumer affect and its impact on service responses, there are no studies on the effect of long-term happiness on service evaluation. As empirical evidence suggests that happy people perceive smaller and bigger events in life more positively than less happy people and that happy people are more prone to experience positive feelings and less of negative feelings it was hypothesized that happiness affects service quality directly but also indirectly through mood. Therefore, in this thesis, it was set out to explore if happiness affects customer-perceived service quality. A survey method was adopted to study the relationship between happiness, mood and service quality. Two studies were conducted with a total of 17 investigated services. Out of the 17 different investigated cases, happiness was found to positively affect service quality in only four cases. The results from the two studies also provide weak support for a positive relationship between mood and service quality. Out of the 17 cases, mood was found to positively affect service quality in only three cases and the results provide additional evidence for the stream of literature arguing that affect plays no or only a minimal role in service quality. Based on the collective results in this study, it can be concluded that the evidence for a positive relationship between happiness, mood and service quality is weak. However, in this thesis, it was recognized that the happiness concept is relevant for marketers and serve potential to explain marketing related phenomena. Marketing researchers who are interested in studying happiness are advised to focus research attention on consumer well-being.
  • Gonçalves, Paula; Vierikko, Kati; Elands, Birgit; Haase, Dagmar; Catarina Luz, Ana; Santos-Reis, Margarida (Elsevier BV, 2021)
    Environmental and Sustainability Indicators 11: 100131
    Cities face growing challenges and urban greenspaces (UGS) play a key role in improving cities liveability. UGS are complex socio-ecological systems and evidence-based and context-sensitive tools are needed to assist planning and manage environmentally sound and socially inclusive UGS. In this paper, we propose an innovative indicator-based tool to operationalize the biocultural diversity (BCD) framework in urban contexts, deriving from its three conceptual layers – materialized, lived and stewardship. Indicators proposed are bundled in themes representing essential components when assessing and analyzing urban BCD from a contextual and sensitizing perspective. The set of indicators highlight key features of socio-cultural and ecological systems, theirs links and interactions, both material and non-material, to capture the essence of biocultural diversity at site-level. By offering a uniform scoring system with the possibility to set site-specific benchmarks, these can be used in any type of greenspace of any city, while allowing different communities/neighborhoods/city councils to embrace different approaches to meet their objectives towards larger scale goals. Twelve urban parks in Lisbon were used as a test-bed for the indicator-based tool and proved its feasibility to gather an overall snapshot of all parks and to demonstrate the possibility to deepen the study to only two parks uncovering self-exclusion processes that otherwise would have remained hidden. The BCD tool brings together essential information scattered over several quality and good practices assessment tools and protocols and, by including indicators specifically addressing governance and stewardship, offers a policy-driven instrument able to capture trade-offs and/or synergies between ecological, social and political domains.
  • Voorsluis, Nina (Helsingin yliopisto, 2020)
    Tiivistelmä – Referat – Abstract In this Master’s thesis I investigate Non-Governmental Organization (NGO) involvement, experiences and outcomes in Madagascar, including the limiting and enabling factors for impact of conservation interventions driven by NGOs. The focal point of the research is the lived experiences from the field, including identification of processes and forces shaping the preconditions for NGO interventions. As part of the research I explore experiences of NGOs from their interventions and from engaging with local communities, government, policy makers and other NGOs in Madagascar. Many NGOs are active in biodiversity hotspots like Madagascar, but evaluation outcomes and lessons learned tend not to be extensively shared across organizations and thematic focus areas. This in turn affects preconditions to influence outcome determinants not only in isolated interventions but also across organizational borders. This study aims to define the situation and the issues faced by NGOs in Madagascar to suggest how the landscape could be navigated to improve the preconditions for long term intervention impact. The purpose is not to evaluate specific projects, but to assess the mechanisms through which the NGO sector can make a significant contribution to conservation, as well as the challenges in doing so. As the analysis seeks to broaden and contextualize the discussion of NGO involvement in conservation interventions, the theoretical framework for the research is based on theory on Non-Governmental Organizations and grounded theory. The theoretical framework facilitates the analysis of the findings, understanding of the results, as well as structuring and highlighting new insights. The theory is complemented with a background assessment of the environmental context in Madagascar, reviewing other research on conservation and its challenges in the country. This helps to understand the dimensions of the challenges, as well as the avenues open for exploration. Insights are gathered from representatives of long-term in situ NGOs to better understand the wider playing field in which they operate. The empirical research is based on semi-structured interviews conducted with 21 representatives from 12 international and local NGOs working with biodiversity conservation in Madagascar. The data was transcribed and analyzed through thematic network analysis and constructivist grounded theory analysis. The interviews were combined with a literature review, a group interview, a field visit to a project site, and more informal conversations with academic researchers and experts in the field. As part of the study, a two-week field trip to Madagascar was undertaken. To present the findings from this research, thematic categorizations were used to illustrate factors that affect outcomes of conservation interventions driven by NGOs. The categories are related to internal organization specific factors, cooperation with other actors (including other NGOs, government and actors in the local communities), as well as the Malagasy environment and politics (including government, laws and policies). The findings reveal challenges especially with systematic coordination of NGO interventions, NGO evaluation practices, resources, as well as issues with implementing sustainable community involvement in project design and decision making. Local community involvement is considered important, but in practice is not fully scaled up and inclusive in terms of decision making and consistent involvement. Findings indicate that the cooperation between NGOs and their key stakeholders works reasonably well from the NGO perspective, but still has potential to be better utilized in order to improve long-term sustainability. Consideration of external constraints is important to assess the potential of different types of interventions and approaches, allowing NGOs to focus their efforts according to the context and their capacities. While acknowledging and navigating the diversity of viewpoints, it is essential to be aware of the impact of structural challenges, the political complexity and the often-conflicting interests between conservation, the commercial and extractive sector, as well as local livelihoods and practices. Findings indicate issues with policy implementation and harmonization, and with conservation prioritization and law enforcement by the government. Local and national ownership and leadership backing is seen as essential for biodiversity conservation, pushing for stronger leadership from within the society. My research provides insights, recommendations and conclusions from which NGOs and conservation actors can gain better understanding of factors impacting interventions, as well as on the Malagasy playing field and its dynamics. This can be helpful in order to capitalize on opportunities and counter challenges, focusing actions on areas that make a difference. The findings can also be of value to other biodiversity conservation researchers, funding agencies, associations, communities and government stakeholders specifically focused on Madagascar. The research may also benefit NGOs and conservation actors involved in other countries, which confront similar challenges concerning conservation, governance, NGO involvement and interventions.
  • Hyvärinen, Heini; Skyttä, Annaliina; Jernberg, Susanna; Meissner, Kristian; Kuosa, Harri; Uusitalo, Laura (Springer, 2021)
    Environmental Monitoring and Assessment 193: 400
    Global deterioration of marine ecosystems, together with increasing pressure to use them, has created a demand for new, more efficient and cost-efficient monitoring tools that enable assessing changes in the status of marine ecosystems. However, demonstrating the cost-efficiency of a monitoring method is not straightforward as there are no generally applicable guidelines. Our study provides a systematic literature mapping of methods and criteria that have been proposed or used since the year 2000 to evaluate the cost-efficiency of marine monitoring methods. We aimed to investigate these methods but discovered that examples of actual cost-efficiency assessments in literature were rare, contradicting the prevalent use of the term “cost-efficiency.” We identified five different ways to compare the cost-efficiency of a marine monitoring method: (1) the cost–benefit ratio, (2) comparative studies based on an experiment, (3) comparative studies based on a literature review, (4) comparisons with other methods based on literature, and (5) subjective comparisons with other methods based on experience or intuition. Because of the observed high frequency of insufficient cost–benefit assessments, we strongly advise that more attention is paid to the coverage of both cost and efficiency parameters when evaluating the actual cost-efficiency of novel methods. Our results emphasize the need to improve the reliability and comparability of cost-efficiency assessments. We provide guidelines for future initiatives to develop a cost-efficiency assessment framework and suggestions for more unified cost-efficiency criteria.
  • Vehkamäki, Seppo (Suomen metsätieteellinen seura, 1986)
  • Tyllinen, Mari; Kaipio, Johanna; Lääveri, Tinja; Nieminen, Marko (IOS PRESS, 2017)
    Studies in Health Technology and Informatics
    This paper describes the development of a questionnaire for evaluating usability during EHR system procurement (DPUQ). Established usability questionnaires can be used to gather user feedback after using the systems. However, during procurement, experimenting with real system use is practical only with a limited number of system candidates. There is a need for less resource-demanding usability evaluation in the early stages of procurement in cases with several vendors. DPUQ has been designed for usability evaluation by end-users during special scenario-based vendor demonstrations. The questionnaire includes three sets of questions to be used during and after the vendor demonstration. DPUQ delivers specific usability scores and can be used to compare system candidates in procurement complementing other evaluation methods.
  • Snellman, Oliver (Helsingin yliopisto, 2019)
    It has lately become a common practice among national authorities with macroeconomic mandates to build large Dynamic Stochastic General Equilibrium (DSGE) models to assist in forecasting and policy analysis. The Finnish Ministry of Finance has also developed a small open economy New Keynesian DSGE model, “KOOMA”. As DSGE models try to emulate the key features and dynamics of the economy, the crucial question is, how well do they function in accordance with reality? An answer to this question can be searched by using Structural Vector Autoregression (SVAR) models, which are natural econometric counterparts to DSGE models and are better suited for analyzing data. The aim of this study is to evaluate the calibration of KOOMA with a SVAR model, which is identified with sign restrictions. I compare impulse response functions from the SVAR model, which are found both statistically significant and robust to changes in model specifications, to the equivalent impulse response functions from KOOMA. The findings suggest, that KOOMA generally produce impulse responses with same signs as the SVAR model, but there are some differences in the magnitudes and persistence of the responses.
  • Nyholm, Sabine (Helsingin yliopisto, 2020)
    Universella meningsrepresentationer och flerspråkig språkmodellering är heta ämnen inom språkteknologi, specifikt området som berör förståelse för naturligt språk (natural language understanding). En meningsinbäddning (sentence embedding) är en numerisk skildring av en följd ord som motsvaras av en hel fras eller mening, speficikt som ett resultat av en omkodare (encoder) inom maskininlärning. Dessa representationer behövs för automatiska uppgifter inom språkteknologi som kräver förståelse för betydelsen av en hel mening, till skillnad från kombinationer av enskilda ords betydelser. Till sådana uppgifter kan räknas till exempel inferens (huruvida ett par satser är logiskt anknutna, natural language inference) samt åsiktsanalys (sentiment analysis). Med universalitet avses kodad betydelse som är tillräckligt allmän för att gynna andra relaterade uppgifter, som till exempel klassificering. Det efterfrågas tydligare samförstånd kring strategier som används för att bedöma kvaliteten på dessa inbäddningar, antingen genom att direkt undersöka deras lingvistiska egenskaper eller genom att använda dem som oberoende variabler (features) i relaterade modeller. På grund av att det är kostsamt att skapa resurser av hög kvalitet och upprätthålla sofistikerade system på alla språk som används i världen finns det även ett stort intresse för uppskalering av moderna system till språk med knappa resurser. Tanken med detta är så kallad överföring (transfer) av kunskap inte bara mellan olika uppgifter, utan även mellan olika språk. Trots att behovet av tvärspråkiga överföringsmetoder erkänns i forskningssamhället är utvärderingsverktyg och riktmärken fortfarande i ett tidigt skede. SentEval är ett existerande verktyg för utvärdering av meningsinbäddningar med speciell betoning på deras universalitet. Syftet med detta avhandlingsprojekt är ett försök att utvidga detta verktyg att stödja samtidig bedömning på nya uppgifter som omfattar flera olika språk. Bedömningssättet bygger på strategin att låta kodade meningar fungera som variabler i så kallade downstream-uppgifter och observera huruvida resultaten förbättras. En modern mångspråkig modell baserad på så kallad transformers-arkitektur utvärderas på en etablerad inferensuppgift såväl som en ny känsloanalyssuppgift (emotion detection), av vilka båda omfattar data på en mängd olika språk. Även om det praktiska genomförandet i stor utsträckning förblev experimentellt rapporteras vissa tentativa resultat i denna avhandling.
  • Rask, Mikko; Ertiö, Titiana-Petra; Ahonen, Veronica Lucia; Vase, Susanna; Tuominen, Pekka (Helsingin yliopisto, 2019)
    Kansalaisuuden kuilut ja kuplat - tutkimushanke BIBU
    Helsingin kaupungin osallistuva budjetointi (OmaStadi) on kunnianhimoinen ja uskalias hanke, jossa kaupunkilaiset saavat ehdottaa ideoita ja äänestää miten 4,4 miljoonaa euroa jaetaan kaupungin kehittämiseksi. Arviomme mukaan hankkeen alkutaival on toteutunut varsin onnistuneesti mutta tulevaisuudessa on hyvä kiinnittää huomiota seuraaviin toteutuksen osa-alueisiin: toimeenpanon riittävä läpinäkyvyys ja dialogisuus, syrjään jäävien ryhmien nykyistä parempi osallisuus, prosessin virtaviivaisuus, viestinnän sujuvuus ja ehdotusten pelisääntöjen selkeys kaupunkilaisille. Jotta mainittuihin seikkoihin tartuttaisiin, esitämme tutkimuksemme perusteella seuraavat seitsemän suositusta: 1. Toimeenpanon läpinäkyvyyttä ja dialogisuutta voisi kehittää vuosisuunnitelmalla sekä parantamalla OmaStadi-alustaa. Vuosisuunnitelmaan tulisi selkeästi merkitä avoimen kehittämisen vaiheet. OmaStadi-alustan toimivuutta olisi mahdollista parantaa käyttäjätestauksella sekä käyttäjien kanssa tehtävällä yhteiskehittämisellä. Kerätyn datan tulisi olla kaikille avoimesti saatavilla. Parhaiten toimivia osia voisi edelleen hioa osallisuuden “hittituotteiksi”. OmaStadi Raksojen saama, pääosin positiivinen, palaute tarjoaa hyvän lähtökohdan yhteiskehittämistilaisuuksien jatkojalostamiselle. 2. Syrjään jäävien ryhmien osallisuuden tukemisesta kannattaisi tehdä erillinen selvitys. Selvitykseen voisi koota parhaita käytäntöjä syrjään jäävien ryhmien aktivoinnista kotimaisissa ja ulkomaisissa osallistuvan budjetoinnin ja osallistuvan demokratian hankkeissa. 3. OmaStadi-prosessia tulisi parantaa ja virtaviivaistaa mahdollisimman monen idean etenemiseksi äänestykseen. Virkamiesten tekemän karsintavaiheen tilalle voitaisiin etsiä muita ratkaisuja, kuten avoimet asukasfoorumit, joissa kaupunkilaiset ja virkamiehet yhdessä työstävät ja arvioivat ehdotuksia, tai ehdotus- ja suunnitteluvaiheen yhdistäminen ja varsinaisen karsinnan tekeminen myöhemmin prosessissa. 4. Osallisuuden ekosysteemiä tulisi kehittää dynaamisesti ja vuorovaikutteisesti niin kaupunkiorganisaation sisällä kuin sen ulkopuolellakin. Kaupungin sisäisessä yhteistyössä kehitettävää on kaupunginkanslian ja toimialojen välisessä viestinnässä. Samalla tulisi selventää OmaStadin roolia suhteessa muuhun asukasosallisuuteen, esimerkiksi aluesuunnitelmiin. Yritysnäkökulma olisi syytä ottaa nykyistä paremmin huomioon, samoin selventää järjestöjen ja yhdistysten roolia budjetointiprosessissa. 5. Ehdotusten pelisäännöt tulisi kommunikoida selvemmin ja budjetoinnin kohdistamista vuosittain vaihtuviin teemoihin tulisi harkita. Karttapohjaisen havainnollistamisen ja esimerkkien avulla voitaisiin selkeyttää, minkälaiset ehdotukset ovat mahdollisia ja mitä on jo tekeillä kaupungin toimesta. Kohdentamalla budjetointi jatkossa osittain tai kokonaisuudessaan teemoihin, kuten ekologisiin innovaatioihin tai erityisryhmien tarpeisiin, voitaisiin tehostaa uusien ratkaisujen löytämistä strategisesti tärkeisiin kysymyksiin. 6. Arvioinnista kannattaisi tehdä pysyvä osa OmaStadin toteuttamista ja kehittämistä. Sisäisen evaluoinnin lisäksi voisi harkita hankkeen kokonaiskuluista 1–5 % suuruisen määrärahan osoittamista ulkopuolisen arvioinnin toteuttamiseen vuosittain. Arviointia kannattaa toteuttaa eri kanavia pitkin hyödyntäen ja koordinoiden esimerkiksi opinnäytetöitä. 7. Kaupunkilaisilta kerättyjä ideoita tulisi hyödyntää monipuolisesti ja innovatiivisesti. Olisi syytä varmistaa, että kerätyt ehdotukset ja suunnitelmat arkistoidaan ja tehdään avoimesti saataviksi. Myös toteuttamatta jääneet ideat tulisi nähdä arvokkaana tietoresurssina ja ideapankkina, josta voidaan etsiä uusia ratkaisuja tai kehittää kestävää kaupunkikehitystä tukevia indikaattoreita. Läpinäkyvyyden, dialogisuuden ja syrjään jäävien ryhmien aseman parantamiseksi sekä käyttäjätestausta ja selvitystyötä varten tulisi varata lisäresursseja. Mikäli nykyinen ehdotusten karsintavaihe korvataan avoimella asukasfoorumilla, riskinä on, että foorumeiden kokoonpano politisoituu ja osaltaan raskauttaa budjetointiprosessia. Vaarana on myös, että eri alueilla jo valmiiksi aktiiviset kaupunkilaiset alkavat ohjailla prosessia, koska heillä on enemmän kokemusta tämänkaltaisista toimintamalleista. Erilaisten osallisuusmallien toimivuutta kannattaisi kokeilla riskit mielessä pitäen. OmaStadin suhteessa kaupungin muihin osallisuus- ja suunnitteluprosesseihin on jännite, jonka purkaminen vaatii keskusteluja ja prosessointia kaupunginkanslian ja toimialojen välillä. Teemoihin kohdistetuista budjetoinneista on maailmalta myönteisiä kokemuksia, mutta hintana on, että kaupunkilaisilla ei tämän jälkeen ole mahdollisuutta esittää mitä tahansa tärkeäksi kokemaansa ideaa. Ratkaisuna voisi olla rajatun budjettiosuuden jakaminen temaattisesti. Mikäli osallistuvaan budjetointiin liitetään pysyvänä osana arviointi, tutkimus ja kehitystyö, tämä lisää kustannuksia ja pahimmillaan monimutkaistaa budjetointiprosessin toteuttamista. Arvioinnin tavoitteista ja lähtökohdista tulisikin sopia yhdessä järjestävän osapuolen kanssa siten, että tarkasteluun nostetaan kaikkein haasteellisimmat kysymykset. Tutkimusta voidaan tukea pienin kustannuksin avaamalla hankkeen data laajasti kaikkien käyttöön. Tutkimukseen ja kehitystyöhön kannattaa investoida myös ratkaisujen kehittämiseksi edessä oleviin haasteisiin, kuten suuren ehdotusaineiston analyysiin ja hallintaan.
  • Heinonen, Hanna (2007)
    The study explores the role of research and evaluation practices in the everyday work practices of social workers. The aim of the study is to analyse different meanings that social workers give to the research and evaluation practices in their everyday work. One way to get social workers more involved in development of social work is to help them apply research and evaluation in their own work. Research and evaluation in social work help social workers improve the availability and quality of services in close connection with the clients. Research and evaluation help social workers to improve client-orientation and also provide new ideas and information for the theory of social work. Research in social work focuses on the processes of social works and analysis of the interaction relationship between social worker and the client. Evaluation in social work focuses on analysing the outcome of the processes of the social work and effectiveness of the social work. The research material consists of five focus-group interviews. These five interviews were made in different social work units. Three of these units worked with child protection services or adult services and two in the special sectors of social work. Altogether 33 social workers were interviewed. The analysis methods were similar to the contents analysis. According to social workers' opinions research and evaluation in their work consists of: research, evaluation, reflection, communality, influencing and development work. Social workers also explained why they were motivated to apply research and evaluation in their own work. The research on the interactional relationship between social worker and the client helps to improve client orientation of social work. This orientation is one way to get a deeper understanding of the clients' needs and the phenomena that may only be possible to notice in social work practices. Community oriented way to develop social work is considered very important especially in the work with adult services and the special social work sector. The use of evaluation is a new practice in social work. Social workers are not interested in evaluating the effectiveness of the social work. They see application of evaluation as a tool of process evaluation or development evaluation. After these processes it is more motivating to think about the effectiveness issues. Influencing in the social work is not very common, although social workers think it should be. It is challenging to try to find the ways how to support social workers in this influencing task. It is important to report the conclusions that rise from the field of social work and to get the social workers involved in the development work. With the help of the research and evaluation practices it is possible to cross borders of traditional research. It also strengthens the knowledge construction that arises from practice.
  • Pihlainen, Kaisa; Reunamo, Jyrki; Kärnä, Eija (2019)
    In Finland early childhood education (ECE) is mainly provided in day care centres and family day care. The purpose of ECE is to support children´s growth, development and learning with high-quality services. Various methods and tools have been developed for evaluating quality in ECE but children have participated in evaluation only a little. In this article we present how ECE in Finland appears when children (1−8 year-old-children, 49,3 % girls) in family day care (N = 371) and day care centres (N = 371) are included in evaluation by telling about their pleasant things in ECE. Children´s interviews were implemented by their parents. Data was analysed using qualitative and quantitative methods. According to the results, children mentioned several positive aspects in ECE settings. Children in day care centres emphasized children´s own and organized activities in ECE. Children in family day care, in turn, mentioned more topics concerning human relations and everyday life situations. The youngest children in day care centres stated persons more in their names and six-year-old children special days and trips. Results indicate that children’s evaluations are a valuable part of the multi-method quality evaluation of early education. Results can be used to develop ECE practices by paying attention to children´s participation and positive aspects that children mention about ECE.
  • Antoniades, Athos; Nicolaidou, Iolie; Spachos, Dimitris; Mylläri, Jarkko; Giordano, Daniela; Dafli, Eleni; Mitsopoulou, Evangelia; Schizas, Christos N.; Pattichis, Constantinos; Nikolaidou, Maria; Bamidis, Panagiotis (2015)
    Background: The mEducator Best Practice Network (BPN) implemented and extended standards and reference models in e-learning to develop innovative frameworks as well as solutions that enable specialized state-of-the-art medical educational content to be discovered, retrieved, shared, and re-purposed across European Institutions, targeting medical students, doctors, educators and health care professionals. Scenario-based evaluation for usability testing, complemented with data from online questionnaires and field notes of users' performance, was designed and utilized for the evaluation of these solutions. Objective: The objective of this work is twofold: (1) to describe one instantiation of the mEducator BPN solutions (mEducator3.0 - "MEdical Education LINnked Arena" MELINA+) with a focus on the metadata schema used, as well as on other aspects of the system that pertain to usability and acceptance, and (2) to present evaluation results on the suitability of the proposed metadata schema for searching, retrieving, and sharing of medical content and with respect to the overall usability and acceptance of the system from the target users. Methods: A comprehensive evaluation methodology framework was developed and applied to four case studies, which were conducted in four different countries (ie, Greece, Cyprus, Bulgaria and Romania), with a total of 126 participants. In these case studies, scenarios referring to creating, sharing, and retrieving medical educational content using mEducator3.0 were used. The data were collected through two online questionnaires, consisting of 36 closed-ended questions and two open-ended questions that referred to mEducator 3.0 and through the use of field notes during scenario-based evaluations. Results: The main findings of the study showed that even though the informational needs of the mEducator target groups were addressed to a satisfactory extent and the metadata schema supported content creation, sharing, and retrieval from an end-user perspective, users faced difficulties in achieving a shared understanding of the meaning of some metadata fields and in correctly managing the intellectual property rights of repurposed content. Conclusions: The results of this evaluation impact researchers, medical professionals, and designers interested in using similar systems for educational content sharing in medical and other domains. Recommendations on how to improve the search, retrieval, identification, and obtaining of medical resources are provided, by addressing issues of content description metadata, content description procedures, and intellectual property rights for re-purposed content.
  • Mäki, Olli (Helsingfors universitet, 2009)
    Sustainable forestry has been the primary principle of Finnish forest policy for decades. However the concept has extended to areas of ecological and socio-cultural sustainability alongside with the more usual economic sustainability. Goals for the use of forests have multiplied and made an impact on forest legislation and policy programmes. Timber production remains as the main objective of forest policy but other objectives, such as carbon sequestration and preservation of forest biodiversity, have also reached the policy agenda. The co-production of material and immaterial goods in forests is not straightforward and the conflicts can prevent a consistent implementation of sustainable forestry. The purpose of the study is to develop a comprehensive evaluation matrix (or table) in order to determine the logic and structure of forest policy instruments. The matrix comprises the evaluation of goals, motivation, effects and effectiveness of instruments. Theories considering process and impact evaluations are used in the analysis. Furthermore, the table is tested in practice by examining the following three policy instruments: 10§ of the Forest Act, public funding for tending of young stands and public forest planning. Content analysis was used in examining the data set of policy documents. The evaluation matrix enables a systematic assessment of policy instruments. It provides information on the consistency of the aim and effects of the instrument. Certain points in the table were sometimes difficult to fill in, but the reason can be in the structure of the instrument that public documents provide rather than in the structure of the matrix. In general, more detailed information on policy goals and motivation of the instruments would make public forest policy more transparent. In addition, the use of indicators that measure effectiveness should be further increased for easier evaluation of policy effectiveness.
  • Nieminen, Tommi (Helsingin yliopisto, 2018)
    Konekäännösten laadun arviointiin on kehitetty erilaisia menetelmiä 1950-luvulta lähtien. Aluksi laadunarviointimenetelmät olivat lähes yksinomaan manuaalisia, eli ne perustuivat kohdekielen osaajien subjektiivisiin arvioihin konekäännöksen laadusta. 1990-luvulla otettiin käyttöön ensimmäiset automaattiset arviointimenetelmät. Pitkäkestoisesta ja laajasta tutkimuksesta huolimatta sekä manuaaliset että automaattiset arviointimenetelmät ovat edelleen epäluotettavia. Manuaalisten menetelmien ongelmana on se, että eri arvioijien tekemät arviot eivät ole johdonmukaisia. Automaattiset menetelmät taas perustuvat yleensä konekäännöksen vertaamiseen ihmiskääntäjän tekemään yksittäiseen vertailukäännökseen. Lähes jokaiselle lähdelauseelle on olemassa suuri määrä mahdollisia käännöksiä, joten automaattiset menetelmät arvioivat hyvin usein käännökset väärin. Tässä tutkielmassa kuvataan uudenlainen automaattinen menetelmä konekäännösten laadun arviointia varten. Menetelmän testiaineisto koostuu englanninkielisistä lähdelauseista, joista jokaiselle on käytettävissä erittäin laaja joukko suomenkielisiä vertailukäännöksiä. Testiaineisto perustuu manuaalisesti laadittuihin monikielisiin kielioppeihin, jotka ovat eräänlaisia semanttisia malleja, joilla on erilaisia ilmentymiä lähde- ja kohdekielessä. Lähdekielen ilmentymät muodostavat lähdelauseiden joukon ja kohdekielen ilmentymät vertailulauseiden joukon. Semanttiset mallit sisältävät semanttisia muuttujia, jotka lisäävät vaihtelevuutta testiaineistoon. Lähdelauseiden konekäännöksiä verrataan vertailukäännöksiin käyttämällä äärellistilaisia menetelmiä, jotka mahdollistavat konekäännöstä eniten muistuttavan vertailukäännöksen tehokkaan etsimisen. Äärellistilaisten siirtymien avulla voidaan myös seurata, millaisia muutoksia konekäännökseen on tehtävä, jotta sen voi muuttaa sitä eniten muistuttavaksi vertailulauseeksi. Tämä mahdollistaa yksityiskohtaisten virheanalyysien laatimisen, joiden avulla voidaan analysoida konekäännösjärjestelmien vahvuuksia ja heikkouksia. Tutkielman menetelmää arvioidaan kääntämällä testiaineisto kahdeksalla erilaisella konekäännösjärjestelmällä, jotka perustuvat erilaisiin konekäännösmenetelmiin. Konekäännökset käsitellään sen jälkeen menetelmällä. Menetelmän toimivuutta arvioidaan vertaamalla sen tuottamaa virheanalyysia kahden arvioijan tekemiin manuaalisiin virheannotaatioihin sekä testaamalla, pystyykö menetelmä erottamaan ihmiskääntäjien käännökset konekäännöksistä luotettavasti. Menetelmän arviointi osoittaa, että se on riittävän luotettava antamaan yksityiskohtaisia tietoja konekäännösjärjestelmien ominaisuuksista. Menetelmän tulokset ovat myös yhdenmukaisia julkaistujen konekäännöksen virheanalyysia käsittelevien artikkelien tulosten kanssa. Menetelmä siis soveltuu ongelmien automaattiseen havaitsemiseen konekäännösjärjestelmien kehittämisen aikana, mikä on sen pääasiallinen käyttötarkoitus.
  • Karjalainen, Pekka (1999)
    The aim of this evaluation study is to produce a comprehensive view of a recently started workshop project of young people. It is based on local partnership and new practices. The workshop started its operation in August 1997 in Korso, in the city of Vantaa. Moreover, in a workshop of citizens, there have been concerted efforts to generate potential for development by local organisations, inhabitants and authorities. There is a common conception that the formation of social networks and co-operation also further possibilities of a single young working in the workshop. The most essential aims for young people working in the workshop are: 1) to support the planning of their own lives and, 2) to train them to work on a project basis. Different clubs for children, the managing of an adventure track and the editing of a regional newspaper are the major forms of workshop activity. The workshop organises in co-operation with other agents also several local events and projects. In evaluating the workshop of citizens, the related processes of progress and innovative traits have been located. Furthermore, monitoring and follow-up methods have been created. The workshop is evaluated in the following dimensions: implementation, outcomes and effectiveness. User-based orientation is involved in the managing of the project and in the development of learning processes. The point of view of utility comprises both the field of workshops as a whole and local project-oriented activities. It is assumed that this evaluation benefits the work of leaders operating in workshops. In the same way, positive effects might be seen in the directedness of young people, in the plans made by those in charge of workshops and, in the local partnership network. There must also be the assumption that a study increases theoretical knowledge of its object. The evaluation is realised as a qualitative evaluation research. Methodically this study can be characterised as an amalgamation of program evaluation, case-study tradition and action research. By developing ethnographic evaluation, it is striven for producing thick description of the domain under study. As to the outcomes of the workshop project, it can be said that the ideas concerning of a workshop of citizens have been obtained quite well. During its first year of operation the workshop has been able to create a well-functioning network. This network has increased possibilities for action of the workshop and the young people of Korso. The workshop has assumed the role of a resource center, an organiser of different plans and a general meeting place. It has been possible to meet youngsters in the workshop all-inclusively and to tailor them convenient possibilities for future. In this sense, action has followed the so-called path-wise thinking. In relation to effectiveness, there is evidence that during the workshop period, the youngsters were more capable of controlling and planning their lives. In addition. they were more goal oriented as well. When considering the future of a workshop of citizens as one form of organising work, it can be recommended to be applied everywhere in Finland.
  • Ylönen, Lyydia (Helsingin yliopisto, 2020)
    The Forest Academy for Decision-makers is a well-known concept. It is necessary to evaluate the concept occasionally as it was created already in 1995. The goal of the Forest Academy is to increase dialogue between forest sector and rest of society by providing a forum to arouse interest towards forest issues and the possibilities that the field can provide for society, create new networks and provide stimulations for forest professionals from other sectors. Interaction, high-class presentations and attractions and the unique course spirit are in the core of the concept. I have evaluated the impact and effectiveness of the Forest Academy forums in this quality study. I have studied weather the concept has been able to affect in decision making or has something been achieved in the forest sector or wider in the society by utilizing networks or substance from the courses. I have interviewed course participants in 2016. Additionally, I have analyzed the course themes and how those have been changed during the past 20 years. I have used the previous evaluation study of the Forest Academy forums for planning this study and it is also valuable to compare results between these studies. The Forest Academy has improved the understanding of the Finnish forest sector among decision-makers. The acceptability of the forest sector and forest utilization and the national consensus in forest issues have strengthened by the Forest Academy. It has offered a memorable four-day-course experience for over thousand decision-makers. The concept has worked effectively as it has created new networks, added knowledge of the forest sector, and introduced how pervasive the forest and natural resource sector is. The results support the future demand for this kind of forum. At the same time, it is important to reach appropriate, effective, and committed participants for the upcoming courses. However, the concept needs developing as society and operational environment has become more hectic and global, forest sector is nowadays part of the bioeconomy and the whole natural resources and bioeconomy field faces strong expectations how to tackle the climate change and maintain biodiversity. The Forest Academy would need to answer more and more complex and wider topics. It demands development of the concept structure, encourage for interdisciplinary collaboration with various interest groups, even more interactive working during the courses, and bolder visions of the future role of forests. However, the basic knowledge of the forest related issues cannot be neglect. Forest Academy would need to consider, how to coordinate continuous and more determined developing, which takes into account the different operational environment than 20 years ago. The Forest Academy should still regard that the two-way communication really works in practice.
  • Thomas, Suzie; Wessman, Anna; Heikkilä, Eino (2018)
    The University of Helsinki has made significant changes to its educational frameworks and degree programmes. For museum studies the changes have been particularly far-reaching. From autumn 2017 onwards there has been a reduction in the total number of study credits available, but also a move from bachelors- to masters-level teaching. This upheaval presented an opportunity to redesign the course in an inclusive way, consulting both with museum professionals and museum studies graduates in Finland and further afield. The resulting courses aim to implement collaboratively the preferences of these consultees, while staying true to the university's own requirements. In this article, we reflect upon the evaluation process and offer insights that we hope are useful both to museum professionals that have (or wish to have) a relationship with a university museum studies programme, and also for the teachers and researchers involved in devising and delivering these programmes.
  • Kaaronen, Jukke (Helsingin yliopisto, 2018)
    Pro gradu -tutkielman tavoite on kehittää metodologia, joka yhdistää tilannekomedioissa esiintyvää sosiolingvististä epäkohteliaisuutta ja sen tilanteellista kontekstia ohjelmissa representoitujen käytänteiden pohjalta. Tavoitetta lähestytään soveltamalla toisiaan täydentävien alojen teoriamalleja 1970-luvun amerikkalaisessa tilannekomediassa Perhe on pahin (All in the Family) esiintyviin puheakteihin, joissa tuotetaan negatiivisia arviointeja perheenjäsenien kesken. Tärkeimmiksi teoriamalleiksi muodostuvat epäkohteliaisuuden käsitteellistämistä koskevat mallit (impoliteness), diskurssianalyysistä sovelletut ihmisten arviointiin liittyvät mallit (negative judgements) sekä käytäntöyhteisöjen rakennetta ja toimintaa soveltavat mallit (community of practice). Nämä yhdistetään tutkielmassa laajempaan kulttuuristen affordanssien (cultural affordances), televisiodiskurssin sekä sosiaalisen merkityksellisyyden rakentumisen ja indeksikaalisuuden kontekstiin. Tutkielman premissiksi muodostuu oletus, että henkilöhahmojen väliset negatiiviset arvioinnit sekä niissä ilmenevät kvalitatiiviset ja kvantitatiiviset eroavaisuudet sisältävät representaatioita yhteiskunnan makro-sosiaalisista diskursseista. Täten ne tarjoavat myös mahdollisuuden tutkia ajallista sosiaalista muutosta televisio-ohjelmien representaatioissa. Tutkimus perustuu Perhe on pahin -sarjan ensimmäiseen tuotantokauteen. Tutkimusmateriaali on kerätty sarjan jaksoja katsomalla ja litteroimalla. Se koostuu kahdesta erillisestä aineistosta: Ensimmäinen aineisto koostuu havainnoista, joissa hahmojen toisiinsa kohdistuneet negatiiviset arvioinnit aiheuttavat negatiivisia reaktioita arvioinnin kohteesssa. Toinen aineisto koostuu havainnoista, jotka perustuvat henkilöhahmojen representoituihin toimintoihin. Edellä mainitut aineistot yhdistetään tutkimuksessa synteesiksi, jossa henkilöhahmojen representoitu toiminta käsitteellistetään negatiivisten arviointien tilanteelliseksi kontekstiksi. Tutkimuksen analyysissä tuodaan esille tuloksissa esiintyviä mielenkiintoisia eroavaisuuksia, jotka yhdistetään 1970-luvun Yhdysvaltojen makro-sosiaalisiin diskursseihin, kuten rotu- ja sukupuolitasa-arvoon sekä seksuaaliseen vapauteen. Tuloksia tarkastellaan sekä negatiivisten arviointien kvalitatiivis-kvantitaativisella analyysillä että esimerkkianalyysillä. Tutkimuksen merkittävimmät tulokset nousevat esille henkilöhahmodyadeissa esiintyvien negatiivisten arviointien eroavaisuuksien laadullisessa sekä määrällisessä distribuutiossa. Tarkastelemalla näitä representoitujen toimintojen yhteydessä saadaan empiiristen havaintojen tukema kuvaus makro-sosiaalisten diskurssien, kuten sukupuolittuneen työnjaon, representaatiosta negativiisissa arvioinneissa. Tutkimuksessa kehitetty metodologia osoittautuu toimivaksi ja luo pohjan mahdolliselle jatkotutkimukselle.