Initiating the Transition towards Continuous Experimentation : Empirical Studies with Software Development Teams and Practitioners

Show full item record



Permalink

http://urn.fi/URN:ISBN:978-951-51-5543-6
Title: Initiating the Transition towards Continuous Experimentation : Empirical Studies with Software Development Teams and Practitioners
Author: Yaman, Sezin Gizem
Contributor: University of Helsinki, Faculty of Science, Faculty of Science of the University of Helsinki
Doctoral Programme in Computer Science
Publisher: Helsingin yliopisto
Date: 2019-10-25
Belongs to series: Series of Publications A - URN:ISSN:1238-8645
URI: http://urn.fi/URN:ISBN:978-951-51-5543-6
http://hdl.handle.net/10138/305855
Thesis level: Doctoral dissertation (article-based)
Abstract: Software experiments are presently often used by big technology pioneers, such as Microsoft, Facebook and Google, in order to learn about their users and to guide their research and development activities. Continuous experimentation (CE) is reported to be an integral part of software development in these organisations, however, how they transitioned to the approach is not publicly shared. Therefore, there is a lack of guidance for other organisations that are willing to adopt CE. In the current competitive markets, investing time and money in a new approach might be risky for these organisations, especially if they do not know how to initiate this transition process. This dissertation focuses on how organisations can initiate the transition towards CE, i.e., an approach to enhance development decisions by running experiments in an iterative and sustainable fashion. The dissertation was designed to acquire descriptive and observational knowledge through empirical studies and was con- ducted in three main phases. First, we designed and ran multiple-case studies to investigate how CE can be introduced to existing software company development teams, who want to run their first systematic experiments. We extracted descriptive knowledge from the introduction process and composed lessons learned to act as guidelines. In the second phase, we conducted a survey study with practitioners from four Nordic software companies, in order to better understand their attitudes and perception towards experiment-driven development, user involvement and ethics. Examining the results at role-to-role levels gave us an understanding of commonalities and distinctions stemming from different job functions. Furthermore, we identified patterns from the data that describe what trends exist across the dataset with respect to experiment-driven software development. Finally, in the last phase of the study, we conducted a single-case study with a mobile gaming company to investigate how CE functions as an organisational mechanism throughout the development life-cycle. The findings show that transitioning towards CE is a learning process that can be facilitated well by guidance, utilising existing resources and starting with small experiments with potentially enormous impact. Furthermore, by investigating the point of view of practitioners, we observed that software experiments represent different concepts, for instance, A/B tests and user interviews. We also observed that the role of the practitioner has a big impact not only on how experiments are understood, but also how individuals perceive the ethics involved in the experiments. For example, while managers are more cautious about company-customer relationships, UX designers were found to allow exceptions to user notification during experiments. In addition, we discovered that companies might understand and adopt experiment-driven development differently, for in- stance, influenced by their business contexts. Lastly, by examining a company’s CE practices, we found that experiments can take different forms given the development stage, and the organisational mechanism can be established to fit both the needs of the business domain and organisational goals. One of the biggest challenges of adopting CE, inaccessible real users, can be overcome with alter- native methods, such as proxy users, especially early in the development, when experiments are important in determining product value. Highly competitive markets can put pressure on organisations to avoid risks and costs when adopting a new approach. In this dissertation, we learned that by and large, software organisations and development teams can initiate their transition towards CE in an efficient and economical way. Furthermore, we conclude that the transition is a learning process that improves with practice and has to adapt to the organisational goals and contexts. The influence of human factors, such as the finding that individual perception of experiments and ethics is correlated with job functions indicates that CE is a multi-disciplinary research field, where individuals should be studied as well as experimentation processes. Software engineering research needs further studies to validate the findings in different contexts.Suuret teknologiayritykset, kuten Microsoft, Facebook tai Google, tekevät jatkuvasti ohjelmistokokeiluja oppiakseen enemmän järjestelmiensä käyttäjistä ja ohjatakseen niiden perusteella yrityksen liiketoimintaa. Vuonna 2009 Google teki laajan kokeilun, jossa tutkittiin, mitkä käytetyistä 41 erilaisesta sinisen sävystä mainoslinkkien väreissä saivat käyttäjät useimmin seuraamaan heille esitettyjä linkkejä. Tutkimuksen seurauksena Google raportoi liikevaihtonsa kasvaneen liki 200 miljoonaa dollaria. Ohjelmistokokeilujen tiedetään olevan olennainen osa näiden yritysten ohjelmistokehitystyötä. Koska näissä kokeiluissa kerätään lisäksi paljon dataa sekä tuotteiden että palvelujen käyttäjistä, liittyy niihin monia huomioonotettavia asioita, kuten etiikkaan ja tietosuojaan liittyviä kysymyksiä. Esimerkiksi vuonna 2014 Facebook teki kokeilun, jossa oli mukana tuhansia käyttäjiä ja jossa testattiin sitä, kuinka muutokset käyttäjien uutisvirran sisällössä vaikuttavat heidän tunteisiinsa. Kokeilun tuloksena oli, että tällaisen muuntelun avulla voidaan tehdä käyttäjät joko iloisemmiksi tai surullisemmiksi. Facebookiin ja Cambridge Analyticaan liittyvä skandaali alkuvuonna 2018 koski yli 50 miljoonaa Facebookin käyttäjää ja heihin liittyvän datan käyttöä poliittisessa mainonnassa. Nämä edellä mainitut esimerkkitapaukset herättävät sekä vakavia eettisiä kysymyksiä että myös kysymyksiä liittyen käyttäjien yksityisyyteen: Kuinka tällaisia käyttäjäkokeiluja voidaan tehdä ilman käyttäjien nimenomaista suostumusta? Tutkimusta siitä, kuinka ohjelmistoyhtiöt päätyvät tekemään tällaisia kokeilututkimuksia tai millaisia eettisiä vaikutuksia tämänkaltaisilla ohjelmistokokeiluilla on, on hyvin vähän. Tämä väitöskirjatyö tarkastelee sitä, kuinka yrityksissä siirrytään käyttämään edellä kuvatun tyyppisiä ohjelmistokokeiluja tarkastelemalla sekä itse siirtymäprosessia että siihen liittyviä toiminnallisia tarpeita ja inhimillisiä tekijöitä, kuten eettisiä kysymyksiä. Väitöskirjatyössä tehdyt havainnot osoittavat, että siirtymä on oppimisprosessi, jota voidaan tehokkaasti ohjailla sopivalla ohjeistuksella, hyödyntämällä olemassa olevia resursseja sekä tekemällä ensin pienempiä kokeiluja, joilla voi olla mahdollisesti suuret vaikutukset, mutta joiden kustannukset ovat alhaisia. Edelleen ohjelmistoalan ammattilaisten käsityksistä tehty tutkimus osoittaa, että ammattilaisten roolilla on suuri vaikutus siihen, millaisina he kokevat tällaiset kokeilut ja kuinka he ymmärtävät niihin liittyvät eettiset ongelmat. Erityisesti yritysten työntekijät tarkastelevat kysymystä siitä, mitkä asiat ovat eettisesti hyväksyttäviä, nimenomaan omien työtehtäviensä näkökulmasta. Esimerkiksi johtajat ovat huolissaan yrityksen ja sen asiakkaiden välisistä suhteista ja he ovat sitä mieltä, että käyttäjille pitäisi aina tiedottaa etukäteen käynnissä olevista kokeiluista, kun taas käyttäjäkokemusta kehittävät suunnittelijat pitävät myös hyväksyttävänä sitä, että käyttäjiä informoidaan kokeiluista vasta jälkikäteen. Jos yrityksellä ei ole näihin edellä kuvattuihin kysymyksiin liittyen olemassa mitään selkeitä ja pysyviä sääntöjä, jää eettisten kysymysten arviointi yrityksen työntekijöiden oman tulkinnan varaan. Yritysten täytyykin työstää omat säännöt ja ohjeistukset datan keräämisestä, jotta voidaan varmistaa se, että ohjelmistoalan ammattilaisilla on käytössään selkeät eettiset ohjeistukset, jotka tukevat heidän työtään ja varmistavat sen, että toiminta on asiaan liittyvän lainsäädännön mukaista. Ohjelmistoalalla tarvitaankin lisää tutkimusta, jotta nyt tehdyn tutkimusten löydökset voidaan todentaa myös muissa ympäristöissä.
Subject: Computer Science
Rights: This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.


Files in this item

Total number of downloads: Loading...

Files Size Format View
Initiati.pdf 1.023Mb PDF View/Open

This item appears in the following Collection(s)

Show full item record