2026-09-22T03:30:54Zhttps://helda.helsinki.fi/server/oai/request

oai:helda.helsinki.fi:10138/5987612026-04-16T10:40:01Zcom_10138_18060com_10138_17738col_10138_18070

Liu, Yang Helsingin yliopisto, matemaattis-luonnontieteellinen tiedekunta Helsingfors universitet, matematisk-naturvetenskapliga fakulteten University of Helsinki, Faculty of Science Konstan, Joseph Glowacka, Dorota Medlar, Alan 2025-07-04T06:37:27Z 2025-07-04T06:37:27Z 2025-08-11 978-952-84-1350-9 http://hdl.handle.net/10138/598761 URN:ISBN:978-952-84-1350-9 Recent studies in recommender systems have shown that performance improvements achieved by state-of-the-art methods could be attributed to the misapplication of offline evaluation protocols. These results highlight the potential for both methodological and extrinsic aspects of evaluation to impact results. Furthermore, specialised recommendation tasks, such as sequential and cross-domain recommendation, additionally pose unique and underexplored challenges for evaluation. In this thesis, we present a series of studies examining different aspects of evaluation in top-n recommendation, sequential recommendation, and cross-domain recommendation. The first study examined sampled evaluation metrics in top-n recommendation. Our results demonstrate greater consistency between sampled and traditional (non-sampled) metrics compared to prior studies, as well as additional advantages, such as the potential for higher discriminative power and robustness against popularity bias in sampled metrics. The second study looked at how the most widely-used data splitting strategy in offline evaluation of sequential recommenders is deeply flawed due to data leakage, which results in performance being significantly overestimated. Our third study investigates user perceptions of cross-domain recommendations. The results show that simply telling users recommendations were based on information from a different domain significantly altered their perceptions of recommendations, lowering both trust and interest. In the final study, we propose a novel meta-evaluation framework based on techniques from psychometric assessment that can be used to investigate various aspects of offline evaluation, including evaluation metrics, the information content of data sets and the role of item popularity and user engagement in recommendation. This thesis contributes to our understanding of a diverse range of evaluation challenges in recommender systems. The findings raise critical concerns regarding the evaluation of recommender systems, showing that standard evaluation methods can result in questionable research findings. Additionally, this thesis contains insights into how evaluation can be improved for several recommendation tasks. Viimeaikaiset suosittelujärjestelmiin liittyvät tutkimukset ovat osoittaneet, että uusimmilla menetelmillä saavutetut suorituskyvyn parannukset voivat aiheutua offline-tilassa toimivien-arviointiprotokollien virheellisestä soveltamisesta. Nämä tulokset korostavat arvioinnin sekä metodologisten että ulkoisten näkökohtien mahdollisuutta vaikuttaa saatuihin tuloksiin. Lisäksi tietyt suosittelutehtävät, kuten peräkkäinen suosittelu ja monialainen suosittelu, aiheuttavat arvioinnille ainutlaatuisia ja vähän tutkittuja haasteita. Tässä väitöskirjassa esittelemme sarjan tutkimuksia, joissa tarkastellaan arvioinnin eri näkökohtia top-n-suosittelussa, peräkkäisessä suosittelussa ja monialaisessa suosittelussa. Ensimmäisessä tutkimuksessa tarkasteltiin top-n-suosittelussa käytettyjä otantapohjaisia arviointimittareita. Tuloksemme osoittavat, että otantapohjaiset mittarit ovat samankaltaisempia perinteisten (otantaa sisältämättömiin) mittareiden kanssa kuin, mitä aiemmissa tutkimuksissa on havaittu. Lisäksi otantapohjaiset mittarit tarjoavat lisäetuja, kuten paremman suositusten erottelukyvyn sekä suuremman virheensietokyvyn suosituimmuusharhaa vastaan. Toisessa tutkimuksessa tarkasteltiin, kuinka peräkkäisten suosittelijoiden offline-arvioinnissa yleisesti käytetty datan jakamistapa aiheuttaa tietovuotoa, mikä tekee strategiasta vakavasti virheellisen ja johtaa suosittelun suorituskyvyn merkittävään yliarviointiin. Kolmannessa tutkimuksessamme tarkastellaan käyttäjien käsityksiä monialaisista suosituksista. Tulokset osoittavat, että pelkkä maininta siitä, että suositukset perustuvat toisen alan tietoihin, muutti merkittävästi käyttäjien käsityksiä suosituksista, mikä heikensi sekä luottamusta että kiinnostusta niihin. Viimeisessä tutkimuksessamme ehdotamme uutta meta-arviointikehystä, joka pohjautuu psykometrisiin arviointitekniikoihin ja jota voidaan käyttää offline-arvioinnin eri näkökohtien tutkimiseen. Näitä ovat muun muassa arviointimittarit, datajoukkojen tietosisältö sekä kohteiden suosion ja käyttäjien sitoutumisen rooli suosituksissa. Tämä väitöskirja edistää ymmärrystä suosittelujärjestelmien moninaisista arviointihaasteista. Tulokset herättävät kriittistä huolta arviointikäytäntöjen luotettavuudesta ja osoittavat, että tavanomaiset arviointimenetelmät voivat johtaa kyseenalaisiin tai harhaanjohtaviin tutkimustuloksiin. Lisäksi väitöskirja tarjoaa näkemyksiä siitä, miten arviointia voidaan kehittää useissa eri suosittelutehtävissä. unknown accessibility ei tietoa saavutettavuudesta okänd tillgänglighet application/pdf fulltext eng Helsingin yliopisto Helsingfors universitet University of Helsinki Series of publications A / Department of Computer Science, University of Helsinki 978-952-84-1349-3 1238-8645 A-2025-8 This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited. Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty. Publikationen är skyddad av upphovsrätten. Den får läsas och skrivas ut för personligt bruk. Användning i kommersiellt syfte är förbjuden. computer Science Doctoral Programme in Computer Science Tietojenkäsittelytieteen tohtoriohjelma Doktorandprogrammet i datavetenskap 113 Tietojenkäsittely- ja informaatiotieteet 113 Data- och informationsvetenskap 113 Computer and information sciences Methodological and extrinsic challenges in offline evaluation of recommender systems Metodologiset ja ulkoiset haasteet suosittelujärjestelmien offline-tilassa tapahtuvassa arvioinnissa Artikkeliväitöskirja Doctoral dissertation (article-based) Artikelavhandling G5 Artikkeliväitöskirja doctoralThesis open.access