Event Detection in Eye-Tracking Data for Use in Applications with Dynamic Stimuli
Författare
Summary, in Swedish
Popular Abstract in Swedish
Det sägs att ögonen är själens spegel och att man genom att titta på någons ögon kan säga något om personens sinnesstämning och hur personen mår. Forskning kring ögonrörelser har visat att man genom att mäta ögats rörelser kan tolka hur den visuella informationen som vi tar in genom ögonen har behandlats. Eftersom det är hjärnan som styr muskulaturen runt ögat som i sin tur kontrollerar ögats rörelser, så kan man genom att studera ögonrörelser dra slutsatser om hjärnans funktion i de delar som styr ögats muskler. Ögonrörelser mäts idag genom att en videokamera filmar ögat och med hjälp av bildbehandling skattas blickens position. En sådan utrustning kallas för en eye-tracker eller ögonrörelsemätare. Idag används ögonrörelsemätare bland annat för att analysera relationen mellan våra ögonrörelser och motsvarande kognitiva processer i hjärnan, till exempel då vi läser en text. För att kunna analysera och förstå denna relation behöver den inspelade ögonrörelsesignalen delas in i olika typer av ögonrörelser. De vanligaste typerna av ögonrörelser är fixeringar, sackader, och mjuka följerörelser. Problemet med nuvarande metoder för klassificering av ögonrörelser är att de oftast är utvecklade för att användas till signaler som är inspelade när en person tittar på statiska bilder, vilket medför att metoderna inte kan hantera mjuka följerörelser. Dessutom saknas standardiserade metoder för att jämföra och utvärdera existerande metoder.
Denna avhandling handlar om att utveckla metoder för att dela upp och klassificera segment av den inspelade ögonrörelsesignalen i de vanligaste typerna av ögonrörelser oberoende av vilken typ av stimuli som har använts vid inspelningen. Avhandlingen behandlar även olika sätt att utvärdera metoder för klassificering av ögonrörelser. I det första arbetet har en metod utvecklats för att klassificera sackader i signaler som är inspelade när personer tittar både på bilder och rörliga videoklipp. Förutom sackader, så klassificeras även så kallade post-sackadiska oscillationer (PSO), som är snabba oscillerande rörelser som följer direkt efter vissa sackader. PSO ses ofta som en störning och om de är ögonrörelser eller inte är fortfarande inte helt klarlagt. Denna nya metod gör det möjligt att studera sackader i signaler som är inspelade under rörliga videoklipp, där tidigare metoder haft problem att hitta och avgränsa sackader.
I det andra arbetet har en metod utvecklats som delar upp intervallen mellan de detekterade sackaderna och möjliga PSO i fixeringar och mjuka följerörelser. För att separera de två typerna av rörelser beräknas signalens spatiala utbredning och riktning i både långa och korta tidsskalor. Metodens prestanda utvärderas med fem olika mått som beskriver både generell och detaljerad prestanda för klassificeringen.
Ofta vid inspelning av ögonrörelser spelas signaler från båda ögonen in, men det finns få algoritmer som drar nytta av informationen från båda ögonen. I det tredje arbetet har en metod utvecklats som använder signaler från båda ögonen för att bättre kunna separera mjuka följerörelser från fixeringar. Genom att använda signalerna från båda ögonen kan synkroniseringen mellan ögonen studeras och motverka att drift under fixeringar blir felaktigt klassificerade som mjuka följerörelser. Utöver en ny metod för klassificering av ögonrörelser föreslås i det tredje arbetet även en ny utvärderingsmetod. Utvärderingsmetoden baseras på automatiskt detekterade rörliga objekt i de videoklipp som används vid inspelningen av ögonrörelserna. Genom att jämföra tidpunkter då ögat rör sig samstämmigt med något rörligt objektet kan mjuk följerörelse utvärderas utan att tidskrävande manuella annoteringar behöver användas.
I de tre första arbetena används en stationär ögonrörelsemätare med hög samplingsfrekvens. I det fjärde arbetet används istället en mobil ögonrörelsemätare i form av ett par glasögon. När en mobil ögonrörelsemätare används kan personen fritt röra huvudet. I det fjärde arbetet har därför en metod utvecklats för att kompensera för huvudrörelser i den inspelade ögonrörelsesignalen. Huvudrörelserna mäts med hjälpa av en sensor (IMU) som placeras på personens huvud och skattar dess orientering. Den kompenserade ögonrörelsesignalen används sedan tillsammans med automatiskt detekterade objekt från scenvideon för att detektera sackader, fixeringar, och mjuka följerörelser.
Totalt utgör de fyra delarna i avhandlingen en metodplattform för robust detektering av olika typer av ögonrörelser vid dynamisk stimulus, dvs. när man tittar på rörliga bilder eller en rörlig scen. I plattformen ingår även metoder för utvärdering av algoritmerna som är oberoende av om en stationär eller en mobil ögonrörelsemätare har använts.
Det sägs att ögonen är själens spegel och att man genom att titta på någons ögon kan säga något om personens sinnesstämning och hur personen mår. Forskning kring ögonrörelser har visat att man genom att mäta ögats rörelser kan tolka hur den visuella informationen som vi tar in genom ögonen har behandlats. Eftersom det är hjärnan som styr muskulaturen runt ögat som i sin tur kontrollerar ögats rörelser, så kan man genom att studera ögonrörelser dra slutsatser om hjärnans funktion i de delar som styr ögats muskler. Ögonrörelser mäts idag genom att en videokamera filmar ögat och med hjälp av bildbehandling skattas blickens position. En sådan utrustning kallas för en eye-tracker eller ögonrörelsemätare. Idag används ögonrörelsemätare bland annat för att analysera relationen mellan våra ögonrörelser och motsvarande kognitiva processer i hjärnan, till exempel då vi läser en text. För att kunna analysera och förstå denna relation behöver den inspelade ögonrörelsesignalen delas in i olika typer av ögonrörelser. De vanligaste typerna av ögonrörelser är fixeringar, sackader, och mjuka följerörelser. Problemet med nuvarande metoder för klassificering av ögonrörelser är att de oftast är utvecklade för att användas till signaler som är inspelade när en person tittar på statiska bilder, vilket medför att metoderna inte kan hantera mjuka följerörelser. Dessutom saknas standardiserade metoder för att jämföra och utvärdera existerande metoder.
Denna avhandling handlar om att utveckla metoder för att dela upp och klassificera segment av den inspelade ögonrörelsesignalen i de vanligaste typerna av ögonrörelser oberoende av vilken typ av stimuli som har använts vid inspelningen. Avhandlingen behandlar även olika sätt att utvärdera metoder för klassificering av ögonrörelser. I det första arbetet har en metod utvecklats för att klassificera sackader i signaler som är inspelade när personer tittar både på bilder och rörliga videoklipp. Förutom sackader, så klassificeras även så kallade post-sackadiska oscillationer (PSO), som är snabba oscillerande rörelser som följer direkt efter vissa sackader. PSO ses ofta som en störning och om de är ögonrörelser eller inte är fortfarande inte helt klarlagt. Denna nya metod gör det möjligt att studera sackader i signaler som är inspelade under rörliga videoklipp, där tidigare metoder haft problem att hitta och avgränsa sackader.
I det andra arbetet har en metod utvecklats som delar upp intervallen mellan de detekterade sackaderna och möjliga PSO i fixeringar och mjuka följerörelser. För att separera de två typerna av rörelser beräknas signalens spatiala utbredning och riktning i både långa och korta tidsskalor. Metodens prestanda utvärderas med fem olika mått som beskriver både generell och detaljerad prestanda för klassificeringen.
Ofta vid inspelning av ögonrörelser spelas signaler från båda ögonen in, men det finns få algoritmer som drar nytta av informationen från båda ögonen. I det tredje arbetet har en metod utvecklats som använder signaler från båda ögonen för att bättre kunna separera mjuka följerörelser från fixeringar. Genom att använda signalerna från båda ögonen kan synkroniseringen mellan ögonen studeras och motverka att drift under fixeringar blir felaktigt klassificerade som mjuka följerörelser. Utöver en ny metod för klassificering av ögonrörelser föreslås i det tredje arbetet även en ny utvärderingsmetod. Utvärderingsmetoden baseras på automatiskt detekterade rörliga objekt i de videoklipp som används vid inspelningen av ögonrörelserna. Genom att jämföra tidpunkter då ögat rör sig samstämmigt med något rörligt objektet kan mjuk följerörelse utvärderas utan att tidskrävande manuella annoteringar behöver användas.
I de tre första arbetena används en stationär ögonrörelsemätare med hög samplingsfrekvens. I det fjärde arbetet används istället en mobil ögonrörelsemätare i form av ett par glasögon. När en mobil ögonrörelsemätare används kan personen fritt röra huvudet. I det fjärde arbetet har därför en metod utvecklats för att kompensera för huvudrörelser i den inspelade ögonrörelsesignalen. Huvudrörelserna mäts med hjälpa av en sensor (IMU) som placeras på personens huvud och skattar dess orientering. Den kompenserade ögonrörelsesignalen används sedan tillsammans med automatiskt detekterade objekt från scenvideon för att detektera sackader, fixeringar, och mjuka följerörelser.
Totalt utgör de fyra delarna i avhandlingen en metodplattform för robust detektering av olika typer av ögonrörelser vid dynamisk stimulus, dvs. när man tittar på rörliga bilder eller en rörlig scen. I plattformen ingår även metoder för utvärdering av algoritmerna som är oberoende av om en stationär eller en mobil ögonrörelsemätare har använts.
Publiceringsår
2016
Språk
Engelska
Fulltext
- Available as PDF - 23 MB
- Download statistics
Dokumenttyp
Doktorsavhandling
Ämne
- Signal Processing
Status
Published
Handledare
Försvarsdatum
4 mars 2016
Försvarstid
10:15
Försvarsplats
Lecture hall E:1406, building E, Ole Römers väg 3, Lund University, Faculty of Engineering LTH, Lund
Opponent
- Jeff Pelz (Prof.)