From Approximations to Decisions

Show simple item record

dc.contributor Helsingin yliopisto, matemaattis-luonnontieteellinen tiedekunta fi
dc.contributor Helsingfors universitet, matematisk-naturvetenskapliga fakulteten sv
dc.contributor University of Helsinki, Faculty of Science en
dc.contributor Tietojenkäsittelytieteen tohtoriohjelma fi
dc.contributor Doktorandprogrammet i datavetenskap sv
dc.contributor Doctoral Programme in Computer Science en
dc.contributor.author Sakaya, Joseph Hosanna
dc.date.accessioned 2021-01-25T08:51:05Z
dc.date.available 2021-02-07
dc.date.available 2021-01-25T08:51:05Z
dc.date.issued 2021-02-17
dc.identifier.uri URN:ISBN:978-951-51-7000-2
dc.identifier.uri http://hdl.handle.net/10138/325149
dc.description.abstract Bayesian models capture the intrinsic variability of a data-generating process as a posterior distribution over the parameters of the model for the process. Decisions that are optimal for a user-defined loss are obtained by minimizing expectation of the loss over the posterior. Because posterior inference is often intractable approximations of the posterior are obtained either via sampling with Monte Carlo Markov chain methods or through variational methods which minimize a discrepancy measure between an approximation and the true posterior. Probabilistic programming offers practitioners tools that combine easy model specification with automatic approximate inference techniques. However, these techniques do not yet accommodate posterior calibrations that yield decisions that are optimal for the expected posterior loss. This thesis develops efficient and flexible variational approximations as well as density function transformations for flexible modeling of skewed data for use in probabilistic programs. It also proposes extensions to the Bayesian decision framework and a suite of automatic loss-sensitive inference techniques for decision-making under posterior approximations. Briefly, we make four concrete contributions: First, we exploit importance sampling to approximate the objective gradient and show how to speed up convergence in stochastic gradient and stochastic average gradient descent for variational inference. Next, we propose a new way to model skewed data in probabilistic programs by prescribing an improved version of the Lambert W distribution amenable to gradient-based inference. Lastly, we propose two new techniques to better integrate decision-making into probabilistic programs - a gradient-based optimization routine for the loss-calibrated variational objective, specifically for the challenging case of continuous losses, and an amalgamation of learning theory and Bayesian decision theory that utilizes a separate decision-making module to map the posterior to decisions minimizing the empirical risk. en
dc.description.abstract Tilastollisia koneoppimismalleja käytetään nykyisin laajalti eri sovelluksissa tietoaineistojen analysointiin, ennustustehtäviin ja päätöksenteon tukena. Eräs keskeinen haaste näille malleille on kohinaisiin havaintoihin liittyvän epävarmuuden huomioiminen. Bayesilainen päättely tarjoaa siihen perustellun tavan. Bayesilaiseen päättelyyn perustuvien koneoppimismallien avulla voidaan luotettavammin tehdä perusteltuja päätöksiä jotka huomioivat mallin epävarmuudet ja eri vaihtoehtoihin liittyvät hyödyt ja kustannukset. Bayesilaisten mallien toteuttamiseen voidaan käyttää todennäköisyysohjelmointia, jossa erityisellä kuvauskielellä kirjoitetun mallin päättelyyn käytetään malliriippumattomia ja laskennallisesti tehokkaita mutta likiarvoisia päättelyalgoritmeja. Tässä väitöskirjassa kehitetään todennäköisyysohjelmoinnin tarpeisiin aiempaa tehokkaampia päättelyalgoritmeja sekä työkaluja vinojen todennäköisyysjakaumien käsittelyyn. Lisäksi työssä keskitytään Bayesilaisten mallien käyttöön päätösongelmissa. Työssä osoitetaan kuinka likiarvoisen päättelyn pohjalta tehdyt päätökset eivät välttämättä ole optimaalisia ja esitetään tälle ongelmalle kaksi ratkaisua. Ensimmäisessä muokataan itse päättelyalgoritmia siten että mallin avulla lopulta tehtävät päätökset huomioidaan jo päättelyvaiheessa ja osoitetaan, että näin pystytään parantamaan ennusteiden ja päätösten luotettavuutta. Toinen ratkaisu puolestaan korjaa päätöksentekovaiheessa likiarvoisesta päättelystä johtuvia virheitä ja soveltuu käytettäväksi kaikkien päättelyalgoritmien kanssa. fi
dc.format.mimetype application/pdf
dc.language.iso en
dc.publisher Helsingin yliopisto fi
dc.publisher Helsingfors universitet sv
dc.publisher University of Helsinki en
dc.relation.isformatof URN:ISBN:978-951-51-6999-0
dc.relation.isformatof Helsinki: Unigrafia, 2021, Series of publications A / Department of Computer Science, University of Helsinki. 1238-8645
dc.rights Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty. fi
dc.rights This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited. en
dc.rights Publikationen är skyddad av upphovsrätten. Den får läsas och skrivas ut för personligt bruk. Användning i kommersiellt syfte är förbjuden. sv
dc.subject computer Science
dc.title From Approximations to Decisions en
dc.type.ontasot Väitöskirja (artikkeli) fi
dc.type.ontasot Doctoral dissertation (article-based) en
dc.type.ontasot Doktorsavhandling (sammanläggning) sv
dc.ths Klami, Arto
dc.opn Hernández-Lobato, José Miguel
dc.type.dcmitype Text

Files in this item

Total number of downloads: Loading...

Files Size Format View
sakaya_joseph_dissertation_2021.pdf 1.351Mb PDF View/Open

This item appears in the following Collection(s)

Show simple item record