From Approximations to Decisions

Show full item record



Permalink

http://urn.fi/URN:ISBN:978-951-51-7000-2
Title: From Approximations to Decisions
Author: Sakaya, Joseph Hosanna
Contributor: University of Helsinki, Faculty of Science
Doctoral Programme in Computer Science
Publisher: Helsingin yliopisto
Date: 2021-02-17
URI: http://urn.fi/URN:ISBN:978-951-51-7000-2
http://hdl.handle.net/10138/325149
Thesis level: Doctoral dissertation (article-based)
Abstract: Bayesian models capture the intrinsic variability of a data-generating process as a posterior distribution over the parameters of the model for the process. Decisions that are optimal for a user-defined loss are obtained by minimizing expectation of the loss over the posterior. Because posterior inference is often intractable approximations of the posterior are obtained either via sampling with Monte Carlo Markov chain methods or through variational methods which minimize a discrepancy measure between an approximation and the true posterior. Probabilistic programming offers practitioners tools that combine easy model specification with automatic approximate inference techniques. However, these techniques do not yet accommodate posterior calibrations that yield decisions that are optimal for the expected posterior loss. This thesis develops efficient and flexible variational approximations as well as density function transformations for flexible modeling of skewed data for use in probabilistic programs. It also proposes extensions to the Bayesian decision framework and a suite of automatic loss-sensitive inference techniques for decision-making under posterior approximations. Briefly, we make four concrete contributions: First, we exploit importance sampling to approximate the objective gradient and show how to speed up convergence in stochastic gradient and stochastic average gradient descent for variational inference. Next, we propose a new way to model skewed data in probabilistic programs by prescribing an improved version of the Lambert W distribution amenable to gradient-based inference. Lastly, we propose two new techniques to better integrate decision-making into probabilistic programs - a gradient-based optimization routine for the loss-calibrated variational objective, specifically for the challenging case of continuous losses, and an amalgamation of learning theory and Bayesian decision theory that utilizes a separate decision-making module to map the posterior to decisions minimizing the empirical risk.Tilastollisia koneoppimismalleja käytetään nykyisin laajalti eri sovelluksissa tietoaineistojen analysointiin, ennustustehtäviin ja päätöksenteon tukena. Eräs keskeinen haaste näille malleille on kohinaisiin havaintoihin liittyvän epävarmuuden huomioiminen. Bayesilainen päättely tarjoaa siihen perustellun tavan. Bayesilaiseen päättelyyn perustuvien koneoppimismallien avulla voidaan luotettavammin tehdä perusteltuja päätöksiä jotka huomioivat mallin epävarmuudet ja eri vaihtoehtoihin liittyvät hyödyt ja kustannukset. Bayesilaisten mallien toteuttamiseen voidaan käyttää todennäköisyysohjelmointia, jossa erityisellä kuvauskielellä kirjoitetun mallin päättelyyn käytetään malliriippumattomia ja laskennallisesti tehokkaita mutta likiarvoisia päättelyalgoritmeja. Tässä väitöskirjassa kehitetään todennäköisyysohjelmoinnin tarpeisiin aiempaa tehokkaampia päättelyalgoritmeja sekä työkaluja vinojen todennäköisyysjakaumien käsittelyyn. Lisäksi työssä keskitytään Bayesilaisten mallien käyttöön päätösongelmissa. Työssä osoitetaan kuinka likiarvoisen päättelyn pohjalta tehdyt päätökset eivät välttämättä ole optimaalisia ja esitetään tälle ongelmalle kaksi ratkaisua. Ensimmäisessä muokataan itse päättelyalgoritmia siten että mallin avulla lopulta tehtävät päätökset huomioidaan jo päättelyvaiheessa ja osoitetaan, että näin pystytään parantamaan ennusteiden ja päätösten luotettavuutta. Toinen ratkaisu puolestaan korjaa päätöksentekovaiheessa likiarvoisesta päättelystä johtuvia virheitä ja soveltuu käytettäväksi kaikkien päättelyalgoritmien kanssa.
Subject: computer Science
Rights: This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.


Files in this item

Total number of downloads: Loading...

Files Size Format View
sakaya_joseph_dissertation_2021.pdf 1.351Mb PDF View/Open

This item appears in the following Collection(s)

Show full item record