Understanding and Improving Continuous Experimentation : From A/B Testing to Continuous Software Optimization
Förstå och Förbättra Kontinuerlig Experimentering : Från A/B Testning till Kontinuerlig Mjukvaru Optimering
Författare
Summary, in Swedish
Kontrollerade experiment (t.ex. A/B test) används av många företag med användarintensiva produkter för att förbättra mjukvara med hjälp av användardata. Några företag anammar ett experimentdrivet tillvägagångssätt för mjukvaruutveckling med kontinuerliga experiment (KE). Med KE så utvärderas alla förändringar som påverkar användare med ett experiment och det finns specialiserade roller som aktivt letar efter möjligheter för att experimentera med funktionalitet.
Målet med avhandlingen är att beskriva och stödja utövandet av KE i industri. Det ingår tre huvudsakliga bidrag. För det första, en recension av publikationer inom KE om: infrastruktur och processer, problem-lösnings par som applicerats i praktiken, och fördelar och nackdelar med KE. För det andra, en multipel fallstudie med 12 företag för att analysera hur experimentering används och varför vissa företag inte till fullo drar nytta av fördelarna med KE. En teori om vilka faktorer som påverkar KE (FACE) konstrueras för att verkställa målet. Slutligen, ett verktyg för bandit optimering med villkor kallat COMBO tas fram för att stödja automatiserade experiment med många variabler samtidigt, i realtid i en produktionsmiljö.
Forskningen i avhandling är utförd inom paradigmen av designvetenskap och med empiriska forskningsmetoder: simuleringsexperiment av verktygsförslag och fallstudier. Andra forskningsmetoder inkluderar systematisk recension och teoribyggnad.
Från FACE tas tre faktorer fram som förklarar nyttan med KE: (1) investeringar i datainfrastruktur, (2) komplexiteten i problemområdet, och (3) incitamentsstrukturer för experimentering. Riktlinjer förses om hur företag kan sträva mot att nå bättre KE baserat på dess faktorer. Alla tre faktorer är relevanta för företag som vill tillämpa KE, speciellt för de företag som vill tillämpa algoritmer så som de i COMBO för att stödja personalisering av mjukvara till användares kontext i en process av kontinuerlig optimering.
Målet med avhandlingen är att beskriva och stödja utövandet av KE i industri. Det ingår tre huvudsakliga bidrag. För det första, en recension av publikationer inom KE om: infrastruktur och processer, problem-lösnings par som applicerats i praktiken, och fördelar och nackdelar med KE. För det andra, en multipel fallstudie med 12 företag för att analysera hur experimentering används och varför vissa företag inte till fullo drar nytta av fördelarna med KE. En teori om vilka faktorer som påverkar KE (FACE) konstrueras för att verkställa målet. Slutligen, ett verktyg för bandit optimering med villkor kallat COMBO tas fram för att stödja automatiserade experiment med många variabler samtidigt, i realtid i en produktionsmiljö.
Forskningen i avhandling är utförd inom paradigmen av designvetenskap och med empiriska forskningsmetoder: simuleringsexperiment av verktygsförslag och fallstudier. Andra forskningsmetoder inkluderar systematisk recension och teoribyggnad.
Från FACE tas tre faktorer fram som förklarar nyttan med KE: (1) investeringar i datainfrastruktur, (2) komplexiteten i problemområdet, och (3) incitamentsstrukturer för experimentering. Riktlinjer förses om hur företag kan sträva mot att nå bättre KE baserat på dess faktorer. Alla tre faktorer är relevanta för företag som vill tillämpa KE, speciellt för de företag som vill tillämpa algoritmer så som de i COMBO för att stödja personalisering av mjukvara till användares kontext i en process av kontinuerlig optimering.
Avdelning/ar
Publiceringsår
2022
Språk
Engelska
Publikation/Tidskrift/Serie
LU-CS-DISS 2022-22
Volym
Dissertation 68, 2022
Fulltext
Dokumenttyp
Doktorsavhandling
Förlag
Department of Computer Science, Lund University
Ämne
- Software Engineering
Status
Published
Handledare
ISBN/ISSN/Övrigt
- ISSN: 1404-1219
- ISBN: 978-91-8039-178-8
- ISBN: 978-91-8039-177-1
Försvarsdatum
4 mars 2022
Försvarstid
13:15
Försvarsplats
Lecture hall E:A, building E, Ole Römers väg 3, Faculty of Engineering LTH, Lund University, Lund.
Opponent
- Klaas-Jan Stol (Dr.)