Nástroje na pozorovanie emócií

V dnešnej dobe sa dennodenne stretávame s audiovizuálnym obsahom a prácou s počítačom v rôznych formách. Či už ide o stolný počítač, mobilný telefón alebo tablet, najdôležitejší je vždy kvalitný a najmä pozitívny používateľský zážitok. Jeho pozorovanie sa pritom stáva predmetom mnohých výskumov. Môžeme sa naň pozerať z viacerých uhlov. Tým najčastejším je skúmanie smeru pohľadu (angl. gaze tracking). Zaujímavým problémom však môže byť aj skúmanie emócií, ktoré pri interakcii s počítačom vznikajú. Negatívna emócia totiž môže ľahko spôsobiť, že potenciálny zákazník vypne reklamu alebo prestane používať nami vyvíjaný softvér. Naopak pozitívna môže zvýšiť šance na úspech.

Emóciám a ich skúmaniu sa venujú mnohé vedecké práce. V kontexte emócií rozlišujeme tri základné polarity: pozitívnu, negatívnu a neutrálnu. Plutchik prichádza v s myšlienkou tzv. kolesa emócií (angl. wheel of emotions), ktoré pozostáva zo štyroch párov základných protichodných emócií:

• radosť - smútok (angl. joy - sadness),
• hnev - strach (angl. anger - fear),
• dôvera - znechutenie (angl. trust - disgust),
• očakávanie - prekvapenie (angl. anticipation - surprise).

Jednotlivé emócie sú (ako aj z názvu konceptu vyplýva) usporiadané v tvare kolesa, pričom ich autor navyše farebne rozlišuje. Navzájom protichodné emócie sa pritom nachádzajú oproti sebe a vyfarbujeme ich komplementárnymi farbami. Naopak, súvisiace emócie sa nachádzajú v kolese blízko seba.

Dôležitým pojmom z oblasti psychológie je tiež valencia – miera atraktívnosti k objektu. V kontexte emócií môžeme hovoriť, že o pozitívnej valencii, ktorá vyplýva najmä z pozitívnych emócií (napr. šťastie) a o negatívnej valencii, ktorá vypláva z negatívnych emócií (napr. hnev alebo smútok).

Priame získanie emócie od ľudí - či už anketami alebo dotazníkmi - spravidla nie je jednoduché a presné a navyše ide často o pracné riešenie. Existujú dva základné prístupy, ktorým sme sa venovali aj v našej práci. Bradley et. al. skúmali vo svojej práci ( a ) vplyv citovo zafarbených obrázkov na srdcovú frekvenciu, diletáciu zreničky a tiež zmenu vodivosti kože človeka. Ekman et. al. prichádzajú so systémom aktívnych jednotiek (angl. Action Units), ktorý deteguje emócie na základe špecifických čŕt tváre, ktoré sa prejavujú v prípade, že človek prežíva určitú emóciu.

Na získanie emócie pomocou týchto prístupov však spravidla potrebujeme aj softvérové nástroje alebo knižnice. V našej práci sme sa venovali skúmaniu rôznych existujúcich a dostupných nástrojov. Snažili sme sa odhaliť ich silné ale aj a slabé stránky, možnosti použitia a v neposlednom rade ich preveriť na sérií experimentov. Veríme, že výsledky našej práce pomôžu budúcim výskumníkom pri výbere toho správneho nástroja a podarí sa im zistiť tú pravú a skutočnú emóciu používateľa.

Dokument je členený nasledovne. Najskôr sa v samostatných kapitolách venujeme nástrojom Noldus FaceReader, Fraunhofer SHORE™ / IIS, UX Lab/Class, Captiv a Tobii Studio. V každej z nich charakterizujeme nástroj uvedením jeho najdôležitejších vlastností, výhod a tiež nevýhod. Všetky uvedené nástroje boli pritom súčasťou našich experimentov. V kapitole Ďalšie nástroje a možnosti uvádzame ďalšie dostupné komerčné knižnice. V kapitolách Experimenty a Experiment 1 - 3 sa nachádzajú informácie o organizácii, priebehu a vyhodnotení vykonaných experimentov. V kapitole Zhrnutie sme zhrnuli celú našu prácu a zosumarizovali tie najdôležitejšie poznatky. Na záver, v kapitole Literatúra sa nachádza zoznam citovanej a použitej literatúry.

FaceReader od spoločnosti Noldus je rozsiahly nástroj určený na pokročilú analýzu tváre pozorovaného subjektu. Základom je rozpoznanie šiestich emocionálnych stavov - radosti, smútku, hnevu, prekvapenia, strachu, znechutenia - a neutrálneho stavu. Medzi ďalšie možnosti nástroja patrí najmä:

• rozpoznávanie tváre a základných čŕt subjektu (vek, pohlavie, etnická príslušnosť),
• rozpoznávanie podrobných čŕt tváre (či má subjekt otvorené alebo zatvorené oči a ústa, či má na tvári bradu (fúzy) a okuliare),
• rozpoznávanie polohy tváre (resp. hlavy) a smerovania pohľadu.

Pozorovanie pomocou nástroja FaceReader sa realizuje formou projektov. Každý projekt združuje informácie o parametroch pozorovania, pozorovaných subjektoch a výsledky samotných pozorovaní. Subjekt (tiež nazývaný participant alebo účastník) je osoba, ktorá sa zúčastňuje pozorovania a na ktorú aplikujeme samotný FaceReader. Bližšie ho charakterizujeme takzvanými nezávislými premennými (napr. vek, pohlavie, …). Základné nezávislé premenné vyhodnotí nástroj FaceReader automaticky, avšak môžeme ich nastaviť aj manuálne.

Analýza

Nástroj FaceReader podporuje základné tri typy analýzy:

1. Živá analýza priamo z kamery
2. Analýza z existujúceho videa
3. Analýza z existujúceho obrázku

Samotnému vyhodnoteniu emócií z vložených obrázkov alebo video súborov predchádza nastavenie a vykonanie analýzy. V prípade existujúceho videa si môžeme zvoliť, či chceme analyzovať celé video alebo iba jeho časť.

Rýchlosť analýzy ovplyvňujú viaceré faktory:

• dĺžka a rozlíšenie videa,
• zapnutie/vypnutie kontinuálnej kalibrácie (vysvetlené nižšie),
• miera vzorkovania (analýza každého snímku, každého druhého alebo každého tretieho snímku).

Modely tváre

Nástroj FaceReader poskytuje štyri základné modely tváre, z ktorých si môžeme zvoliť na základe analyzovaných subjektov:

1. Všeobecný - model natrénovaný na väčšom množstve obrázkov, čím sa stáva využiteľným pri väčšine analýz.
2. Deti - model určený pre deti vo veku 3 - 10 rokov. Súčasná verzia FaceReadera dostatočne nepodporuje deti z východnej Ázie.
3. Východo-ázijskí ľudia - model určený pre analýzu východo-ázijských tvárí (napr. Čína alebo Japonsko).
4. Starší ľudia - model určený pre ľudí starších ako 60 rokov.

Kalibrácia

V niektorých prípadoch je potrebné prispôsobiť analýzu existujúcim podmienkam. Rozlišujeme dva základné druhy kalibrácie: kalibrácia participantov a kontinuálna kalibrácia.

Kalibrácia participantov je potrebná v prípade, že sa participant (napr.) často tvári nahnevane alebo smutne. Zakladá sa na manuálnej identifikácii neutrálneho výrazu tváre. Takýto výraz musí byť prítomný medzi zaznamenanými obrázkami alebo videami, a teda problematického participanta musíme požiadať, aby sa zatváril neutrálne. Algoritmus pri kalibrácii vyhľadáva obrázky s najnižšou chybou voči modelu.

Kontinuálna kalibrácia sa hodí v prípade, že nemáme možnosť manuálne identifikovať neutrálny výraz tváre subjektu. FaceReader sa o to pokúsi automaticky a kontinuálne počas celého procesu analýzy. Riziko tohto typu kalibrácie je strata presnosti analýzy. Pri použití kontinuálnej kalibrácie tiež dochádza k miernemu spomaleniu rýchlosti analýzy.

Kalibráciu je možné vykonávať opakovane, až kým nebudeme spokojní s jej výsledkom. V našich experimentoch (experiment č. 1 a experiment č. 2) sme preukázali, že kontinuálna kalibrácia môže dopomôcť k výrazne presnejším výsledkom analýzy.

Voliteľné klasifikácie

Nástroj podporuje analýzu aj ďalších voliteľných výrazov tváre:

• Pohŕdanie - Za pohŕdanie považujeme výraz, pri ktorom je časť pier napnutá a mierne zdvihnutá. Tento výraz nástroj poskytuje iba ako experimentálnu funkcionalitu.
• Stavy tváre - otvorenie/zatvorenie oka a úst a tiež poloha obočia.
• Smer pohľadu - smer, akým sa pozerá subjekt.
• Identifikácia osoby - rozpoznanie osoby, ktorá sa predtým nachádzala v databáze.

Vizualizácia analýzy

Výsledkom merania sú spravidla záznamy nameraných hodnôt, ktoré pre bežného používateľa nemajú dostatočnú výpovednú hodnotu. Nástroj FaceReader preto podporuje viaceré možnosti pre vizualizáciu hodnôt.

Súčasťou vizualizácie analýzy sú okrem rôznych grafov aj vykreslenia priamo na videozázname jednotlivých účastníkov experimentov. Ukážku vizuálnej analýzy tváre môžeme vidieť na obrázku č. #.

Medzi základné možnosti vizualizácie patria:

• Orámovanie - vykreslí čierny rámec okolo miesta, v ktorom bola rozpoznaná tvár subjektu. Ak bolo modelovanie úspešné, zobrazí sa čierny a aj biely rámec okolo tohto miesta.
• Sieť - zobrazí pozície identifikovaných 500 bodov tváre a na nos umiestni trojdimenzionálne osi znázorňujúce orientáciu tváre.
• Textúra - model zostrojený algoritmom pre modelovanie tváre.
• Všeobecný smer pohľadu - na obrázku vykreslí smer, ktorým sa obe oči pozerali v danom okamihu.
• Stavy tváre - pre jednotlivé časti tváre (oči, obočie, ústa) zobrazí ich stav v danom okamihu.
• Graf intenzity vyjadrení (angl. Expression intensity chart) - prostredníctvom grafu možno pozorovať stav a zmenu zmenu emócií v čase (v prípade videa).
• Sumárny graf vyjadrení - pomocou koláčového grafu vyjadruje zastúpenie jednotlivých prejavov v určitej analýze.
• Časová os - poskytuje celkový grafický prehľad zmeny stavov tváre a vyjadrení (emócií) v čase (obrázok č. #).

Ďalšie dostupné vizualizácie zahŕňajú:

• čiarový graf vyjadrení,
• graf orientácie tváre.

Circumplexový model pôsobenia

Circumplexový model pôsobenia popisuje emócie v kruhovom priestore s dvoma dimenziami:

• vertikálna os znázorňuje prebudenosť/aktívnosť (angl. arousal),
• horizontálna os znázorňuje sympatiu/antipatiu (valenciu, angl. valence).

Stred kruhu reprezentuje neutrálnu hodnotu sympatie a strednú úroveň prebudenosti. Obe dimenzie je možné navyše zobraziť do samostatných čiarových grafov.

Valencia sa vypočíta ako rozdiel intenzity emócie „Šťastný“ a negatívnej emócie s najvyššou intenzitou (teda jednej z emócií: „Smutný“, „Nahnevaný“, „Vystrašený“ a „Znechutený“).

Aktívnosť indikuje, či je participant aktívny (+1) alebo nie je aktívny (0). Toto tvrdenie sa pritom opiera o aktiváciu 20 aktívnych jednotiek (angl. Active Units, AU).

Reporting Client

Reporting Client slúži na vyjadrenie emocionálneho stavu subjektu z viacerých hľadísk.

Monitorovanie valencie

Grafickou formou je možné zobraziť aktuálny stav emócií. Na obrázku č. # môžeme vidieť panel, na ktorom sa formou farebného svetla zobrazuje aktuálna emócia nasledovne:

• zelená, ak je hodnota valencie viac ako 0.33,
• oranžová, ak je hodnota valencie medzi -0.33 a 0.33,
• červená, ak je hodnota valencie pod hranicou -0.33.

Smajlík

Formou smajlíka sa zobrazuje emócia:

• Šťastný - usmiata tvár,
• Smutný - zvesené kútiky úst a slzy v očiach,
• Nahnevaný - červená tvár, zníženie obočie,
• Prekvapený - veľké oči, nadvihnuté obočie,
• Znechutený - vyplazený jazyk.

Koláčový graf valencie

Zobrazuje distribúciu valencie (pozitívna, negatívna, neutrálna) naprieč stanovenou dĺžkou analýzy.

Pokročilá analýza

Modul analýzy projektu (Projekt Analysis Module) poskytuje pokročilé možnosti na analýzu výsledkov pozorovania tváre na základe video súborov. To zahŕňa najmä štatistické výpočty s nameranými hodnotami, ktoré by inak bolo potrebné vykonať v externom programe.

Medzi základné možnosti, ktoré môžeme počas analýzy využiť, zaraďujeme nastavenie nezávislých premenných a označovania epizód.

Nezávislé premenné slúžia na definovanie parametrov, ktorými bližšie charakterizujeme pozorovaného účastníka. Tieto premenné sa počas pozorovania nemenia, ale spravidla ovplyvňujú namerané výsledky. Nezávislé premenné je možné usporiadať do skupín účastníkov (určitá skupina účastníkov bude zdieľať rovnaké nezávislé premenné). Príkladom nezávislých premenných je vek, výška alebo pohlavie.

Označovanie epizód umožňuje vybrať pasáže z pozorovania, ktoré nás zaujímajú (napr. ako sa tváril subjekt v čase sledovania reklamy). Rozlišujeme:

• Stimuly - časové pasáže pevnej stanovenej dĺžky (iba pre videá),
• Značky (angl. event markers) - časové pasáže bez obmedzenia dĺžky (nie sú viazané pre video).

Stimuly sa nesmú prelínať a ich koniec nesmie presiahnuť koniec videa (pozorovania).

Numerická analýza skupiny

Na základe hodnôt nezávislých premenných môžeme vytvoriť skupiny účastníkov. Tie sa využívajú najmä pri numerickej analýze skupiny (obrázok #), pri ktorej sa môžeme rozhodnúť, či chceme skúmať jedného participanta, vybranú skupinu (príp. skupiny) alebo všetkých participantov.

Nástroj Relatívna analýza sa zameriava na analýzu nameraných intenzít (hodnôt) v určitej epizóde. Do porovnania môžeme zahrnúť všetky ostatné meranie, ostatné stimuly alebo iba jeden zvolený stimul. Príkladom je porovnanie nameraných intenzít v čase, kedy účastník sledoval reklamu a kedy dochádzalo iba k neutrálnemu správaniu.

Nástroj taktiež podporuje vykreslenie výsledkov a štatistík numerickej analýzy skupiny do grafov, a to pre všetkých účastníkov alebo jednotlivé skupiny.

Časová analýza skupiny

Ak je súčasťou stimulu video, nástroj časovej analýzy skupiny (angl. temporal group analysis) umožňuje toto video prehrať spoločne s videozáznamom skupiny účastníkov a príslušnou analýzou. Počas prehrávania máme k dispozícii nasledujúce grafy:

• Výrazy - graf priemernej intenzity prejavov tváre skupiny účastníkov počas stimulu,
• Valencia - graf priemernej valencie skupiny účastníkov,
• Aktívnosť - graf priemernej aktívnosti skupiny účastníkov,
• Sumarizácia absolútnych výrazov - koláčový graf s percentuálne vyjadreným priemerom pre každé vyjadrenie.

Nástroj umožňuje počas prehrávania meniť video práve skúmaného účastníka a taktiež meniť skúmanú analýzu.

Zhodnotenie

Nástroj Noldus Observer poskytuje rýchlu a spoľahlivú analýzu emócií z ľudskej tváre. Okrem získania základných informácií - akými sú valencia, aktívnosť či miera vyjadrenia emócie, umožňuje vykonávať ďalšie analytické a štatistické výpočty. Taktiež poskytuje jednoduchú a užitočnú správu účastníkov a ich usporiadanie do rôznych skupín, nad ktorými je možné vykonávať ďalšie analýzy. Nástroj tiež poskytuje možnosť zaznamenať a zhodnocovať získané výsledky na základe rôznych udalostí alebo stimulov, ktoré nastali počas experimentu. Obmedzenie môžu predstavovať ľudia nosiaci okuliare, kedy rozpoznávanie tváre nefunguje vždy spoľahlivo. Hoci autori nástroja upozorňujú na nutnosť dodržať kvalitné svetelné podmienky, v našich experimentoch sa preukázalo, že si nástroj poradí aj so zhoršeným osvetlením. Problémy sme zaznamenali iba v prípade kombinácie nosenia okuliarov a umiestnenia účastníka do protisvetla.

Poznámka: Nástroj Fraunhofer IIS bol používaný pre výskumné účely a účely testovania v demo verzii. Plná verzia poskytuje viaceré možnosti (uvedené na záver kapitoly), ktoré sú určené aj pre ďalšie komerčné použitie. Týmito možnosťami sme sa v našej práci nezaoberali.

Nástroj Fraunhofer Shore (obrázok #) poskytuje možnosti na detekciu tváre, jej základných čŕt a tiež základných emócií. Podobne, ako pri nástroji Noldus FaceReader, aj v tomto prípade je možná analýza statických obrázkov, živého pozorovania/videa alebo už zaznamenaného videa.

Už v základe môžeme prostredníctvom nástroja detegovať viacero tvárí (Face Detection). V prípade menších tvárí môžeme použiť detekciu malej tváre (Tiny Face Detection), ktorá rozpoznáva všetky tváre, ktoré majú rozmery aspoň 8 x 8 pixelov. K dispozícii je taktiež možnosť detekcie otočenia tváre. Maximálne možné detekovateľné otočenie tváre môže byť pritom pre in-plane otočenie ± 60° a pre out-of-plane otočenie ± 90°.

Ku každej tvári nástroj pridáva informáciu o pozíciách očí, nosa, úst, a to vrátane analýzy ich stavu - teda či sú ústa otvorené alebo zatvorené. Spoločne s detekciou tváre môžeme získať informáciu o jej otočení - a to nielen do strán (in-plane, Rotated Face Detection), ale aj otočenie profilu (out-of-plane, Profile Face Detection). Z osobnostných charakteristík sa môžeme dozvedieť pohlavie účastníka a tiež jeho odhadovaný vek (spoločne s možnou odchýlkou). V prípade emócií nástroj deteguje šťastie, smútok, prekvapenie a hnev, avšak ich neumožňuje vyjadriť percentuálne (iba vizuálne formou grafu).

Analýza sa realizuje a vykresľuje v reálnom čase, pričom sa do krátkodobej pamäte zároveň ukladá anonymné rozpoznávanie tváre, čím možno zbierať informácie aj o účastníkoch pozorovania, ktorí sa napríklad na chvíľu vzdialili z dosahu kamery. Podľa autorov môžu byť dáta neskôr navyše sumarizované a ďalej vyhodnotené.

Medzi ďalšie možnosti nástroja (nedostupné v demo verzii) patria:

• kvalitatívne a kvantitatívne analýzy,
• protokoly a dokumentácia,
• možnosť dodania ako samostatný softvér alebo ako komponent pre existujúci nástroj,
• podporu aj pre mobilné zariadenia,
• rozhranie pre jazyk C++, protokol TCP/IP,
• export formou textových súborov.

Zhodnotenie

Hlavnou výhodou skúmaného nástroja bola jeho rýchlosť v kombinácii so spoľahlivosťou. Informácie o pozícii tváre a ďalších jej parametroch sme mohli v reálnom čase sledovať na obrazovke.

Nevýhodou dostupnej demo verzie bolo skrývanie informácií o detegovaných emóciách v prípade, že sa tvár nachádzala v spodnej časti videozáznamu (obrázok č. #). Predpokladáme však, že sa jedná iba o detskú chorobu demo verzie a v komerčnej verzii sú informácie dostupné aj inou, prehľadnejšou formou.

Popri zahraničných riešeniach existujú aj lokálne. Príkladom je aplikácia UX Lab/Class vyvíjaná na Fakulte informatiky a informačných technológií STU V Bratislave. Zakladá sa na spolupráci serverového a klientskeho riešenia. V rámci nášho výskumu sme sa zamerali na skúmanie využitia klientskej časti.

Lokálny klient/server

Klientská aplikácia pozostáva z jednoduchého a intuitívneho nástroja, ktorý umožňuje zachytávať a zbierať údaje z rôznych senzorov umiestnených resp. prepojených s klientským počítačom. Využívajú sa pritom senzory sledovania pohľadu, webkamera ale tiež aj klávesnica či kurzor (myš alebo tzv. touchpad). Tieto údaje sú následne zasielané na webový server, kde sa vyhodnocujú, ďalej spracovávajú a zobrazujú samotnému autorovi UX experimentu. Na obrázku č. # sa nachádza ukážka klientskej aplikácie.

Základné možnosti pozorovania zahŕňajú:

• pozorovanie pohľadu (využíva pozorovateľ pohľadu),
• záznam emócií (využíva webkameru a Intel Perceptual Computing SDK),
• záznam zvuku (webkamera alebo mikrofón),
• záznam videa (webkamera),
• záznam obsahu obrazovky (angl. screencast),
• udalosti z klávesnice,
• udalosti z myši (vrátane aktuálnej pozície kurzora).

V budúcnosti sa pripravuje aj zaradenie záznamu hĺbkovej kamery a taktiež EPOC - EEG hlavy.

Autori aplikácie si pripravili pre vývojárov pokročilé aplikačné rozhranie (API), prostredníctvom ktorého je možné integrovať získavané dáta priamo do experimentu, a to nielen pre lokálneho klienta, ale aj pre komunikáciu s externou webovou službou. Webová služba slúži ako riadiaca centrála, ktorá môže spúšťať, riadiť a ukončovať pozorovania na rôznych uzloch - teda v prípade, že potrebujeme experimenty koordinovane vykonať na viacerých počítačoch. Zbierané dáta sa ukladajú nielen na lokálnom diskovom priestore, ale sú k dispozícii aj pre aplikácie tretích strán. Okrem manažmentu pozorovaní umožňuje API získavať informácie o všetkých senzoroch (vrátane ich aktuálneho stavu, načítaných hodnôt a poslednej zmeny). Zároveň je možné získať aj historické dáta, a to napríklad v prípade, že ich naša aplikácia nepotrebovala zisťovať v reálnom čase alebo ich potrebujeme vyhodnotiť z rôznych štatistických hľadísk.

Súčasťou aplikácie je možnosť vytvoriť si lokálny server. Práve API pre komunikáciu s lokálnym serverom sme využili v našom treťom experimente (kapitola Experiment č. 3). Zamerali sme sa pritom na pozorovanie pohľadu a emócií.

Pozorovanie pohľadu

Informácie o pohľade používateľa vychádzajú zo zariadenia na pozorovanie pohľadu. Zahŕňajú v sebe nasledujúce údaje:

• smer pohľadu v 2D priestore (normalizované do intervalu <0, 1>),
• smer pohľadu v 2D priestore vyhľadený priemerovacím algoritmom (normalizované do intervalu <0, 1>),
• smer pohľadu v 3D priestore (počiatok súradnicovej osi sa zhoduje s umiestnením eye-trackera; v milimetroch),
• presnosť zachytenia oka eye-trackerom,
• pozícia oka v 3D priestore pred eye-trackerom,
• normalizovaná pozícia oka v 3D priestore pred eye-trackerom (v myslenej kocke, súradnice sú normalizované do intervalu <0, 1>),
• veľkosť zreničky (v milimetroch),
• časovú pečiatku.

Poznámka: Každý parameter (okrem časovej pečiatky) nadobúda hodnotu zvlášť pre ľavé a zvlášť pravé oko.

Súčasťou aplikácie je navyše nástroj na kalibrácie smeru pohľadu.

Pozorovanie emócií

Zaznamenanie a analýza ľudskej tváre predstavuje ďalšiu možnosť ako získať emocionálny stav človeka. Aplikácia na to využíva webkameru umiestnenú na príslušnom zariadení (počítač, notebook). S použitím SDK je tak možné detegovať emóciu prostredníctvom väčšiny webkamier, ktoré sa dnes stali absolútne bežnou súčasťou prenosných počítačov. Ako však preukázali naše experimenty, presnejšie výsledky môžeme získať využitím špeciálnej kamery od spoločnosti Creative.

Aplikácia nám poskytuje nasledujúce informácie:

• zoznam rozpoznaných tvárí - pre každú z nich:
• • zaznamenanú emóciu (hnev, pohŕdanie, strach, radosť, smútok, prekvapenie, bez emócie),
  • sentiment (pozitívny, negatívny, neutrálny, žiaden),
  • pozíciu (tváre) v 2D priestore,
• časovú pečiatku zaznamenania informácie.

Zhodnotenie

Klientská verzia nástroja UX Lab/Class poskytuje široké možnosti pre integráciu jej vzdialenej serverovej časti do rôznych experimentov. Pozitívne hodnotíme pokročilé API, ktoré poskytuje jednoduchú cestu k informáciám z rôznych zariadení, a to v reálnom čase. Nástroj sa nám podarilo jednoducho integrovať do vlastného experimentu a obohatiť ho o priamu interakciu s jeho účastníkmi. Taktiež chválime grafické používateľské rozhranie, ktoré bolo spomedzi skúmaných nástrojov na najvyššej úrovni.

Pri používaní nástroja sa vyskytli občas nezrozumiteľné hlášky a chyby. Taktiež sme mali problém s prístupom ku kamere umiestnenej na počítači (nástroj UX Lab/Class ju blokoval pred použitím inými nástrojmi). V porovnaní s ostatnými nástrojmi nám tiež chýbala možnosť kalibrácie účastníkov pre získavanie emócie.

Na komplexnú realizáciu UX experimentu sa zameriava nástroj Tobii Studio. Jeho hlavnou úlohou je získavanie, spracovávanie a analýza dát získaných zo zariadenia na pozorovanie pohľadu. Poskytuje taktiež bohaté možnosti na vizualizáciu týchto dát, čo umožňuje hlbšie pochopiť správanie používateľa v prostredí skúmaného objektu - webovej stránky, videa či softvéru.

Návrh a realizácia experimentu

Tobii Studio ponúka možnosť prípravy a návrhu experimentu, ktorý možno rozložiť do viacerých častí - postupností činností, ktoré účastník bude vykonávať. Tieto činnosti je možné ľubovoľne usporiadať prípadne aj opakovať. Usporiadanie možno nastaviť aj do náhodného režimu, čím sa pri každom experimente spustia činnosti vždy v inom poradí.

Medzi poskytované činnosti experimentu patria:

• inštrukcie,
• obrázok,
• video,
• webová stránka (zobrazovaná cez webový prehliadač),
• externé video,
• kamera scény,
• dotazník,
• dokument PDF.

Na obrázku č. # sa nachádza ukážka dostupných činností v prostredí Tobii Studia.

Aplikácia tiež poskytuje aj rôzne nástroje na manažment samotného experimentu. Správa účastníkov (participantov) umožňujte pridávať a nastavovať informácie o účastníkoch experimentu a taktiež ich kalibrovať prostredníctvom zariadenia na pozorovanie pohľadu. Nástroj tiež poskytuje automatické generovanie participantov, čím možno celý proces ešte zrýchliť. Kalibrácia obsahuje pokročilé možnosti prispôsobenia, vrátane opravy chybne kalibrovaných bodov. V porovnaní s nástrojom UX Lab/Class sa však nachádzame na približne rovnakej kvalitatívnej úrovni a v oboch prípadoch môžeme byť plne spokojní.

Počas experimentu dochádza spravidla k rôznym udalostiam, ktoré Tobii studio zaznamenáva plne automaticky. Príkladom môže byť načítanie webovej stránky, zmena pohľadu, kliknutie a pohyb myši a iné. Tieto udalosti sa pritom charakterizujú aj podľa stupňa granularity na vysokoúrovňové (začiatok/koniec snímania) a nízkoúrovňové (kliknutie myši). Okrem automatických udalostí je možné naplánovať si vlastnú kódovú schému a udalosti zaznamenávať manuálne. Pri plánovaní kódovej schémy je možné využiť klávesové skratky a tiež farebné odlíšenie jednotlivých udalostí. Nevýhodou uvedeného prístupu je nemožnosť používať kódovaciu schému priamo počas záznamu experimentu, ale až pri jeho prehrávaní cez Tobii Studio (sekcia Replay). To sa prejaví napríklad v prípade, že nemáme k dispozícii záznam účastníka experimentu.

Zaujímavosťou, ktorú podporuje nástroj Tobii Studio počas realizácie experiment, je zobrazovanie na viacerých obrazovkách. V praxi to znamená, že zatiaľ čo účastník realizuje experiment (číta inštrukcie, pohybuje sa v prostredí Webu, vypĺňa dotazník a iné), tvorca experimentu a/alebo dozor môže na ostatných obrazovkách sledovať, ako sa mu darí. A to nielen z pohľadu činnosti, ktorú vykonáva, ale taktiež môže vidieť smer pohľadu v reálnom čase.

Po dokončení pozorovania je možné vykonať tzv. Retrospective Think Aloud recording (RTA záznam), a tak prejsť priebeh experimentu (vrátane zaznamenaných udalostí a smeru pohľadu) spoločne s účastníkom. V režime RTA sa počas prehrávania nahrávky z pozorovania (po pozorovaní) zaznamenáva zvuk, čo môže byť veľmi užitočné na to, aby napríklad účastník vysvetlil svoje správanie. Hoci ide o veľmi užitočnú funkcionalitu, pri vyššom počte účastníkov môže byť časovo náročné ju efektívne aplikovať.

Spracovanie pozorovania

Zaznamenané dáta možno ďalej spracovávať, analyzovať a vizualizovať, a to aj priamo v samotnom nástroji.

Segmenty a scény

Nástroj Tobii Studio umožňuje vytváranie Segmentov, ktoré predstavujú ohraničené úseky merania. Využívajú sa na generovanie videí, ktoré obsahujú nielen audiovizuálny záznam účastníka, ale taktiež aj získaný smer jeho pohľadu. Segmenty je možné vytvárať manuálne, ale taktiež aj automaticky - vychádzajúc zo zaznamenaných udalostí.

Na podobnom princípe sú založené aj Scény, avšak tie sú určené primárne pre ďalšiu vizualizáciu a analýzu. Každá scéna sa pritom skladá z dvoch základných zložiek: (1) obrázok (obrázky) použitý ako pozadie vizualizácie a (2) informácie o pohľade účastníka v čase nasnímania daného obrázku. Scény je pritom možné vytvoriť manuálne, automaticky alebo z existujúcich segmentov.

Analýza a vizualizácia

Pri analýze a vizualizácii výsledkov máme k dispozícii viacero užitočných nástrojov. Väčšina z nich sa zameriava na samotné objekty, ktoré účastníci počas experimentu skúmali. Medzi tie najzaujímavejšie patria:

• Zoskupovanie webových stránok
• • pre hľadanie podobností medzi stránkami, napr. ak obsahujú konkrétny spoločný objekt (objekt záujmu, angl. object of interest),
• Gaze Plot
• • vygenerovanie grafu zobrazujúceho sekvencie fixácií, pričom každý uzol v grafe reprezentuje samotnú fixáciu (veľkosť uzla vyjadruje dĺžku fixácie),
• Heat Maps
• • vygenerovanie  farebnej (teplotnej) mapy, ktorá prostredníctvom intenzity farby vyjadruje dĺžku a/alebo počet fixácií pre jednotlivé miesta na obraze,
  • väčšie množstvo je reprezentované červenou farbou a menšie množstvo zelenou farbou,
• Clusters
• • vygenerovanie vizualizácie miest s vysokou koncentráciou zhlukov, kde zhluky sú tvorené bodmi pohľadu (angl. gaze points),
• Areas of Interest (AOI)
• • označenie plôch na zobrazovanom objekte,
  • môže ísť o rôzne geometrické útvary alebo plochy vyznačené “voľnou rukou”,
  • príkladom Areas of Interest môže byť formulár ale aj napríklad samotný prvok formulára (napr. textové políčko).

Nástroj Tobii Studio poskytuje bohaté možnosti analýzy z pohľadu viacerých metrík, medzi inými aj: čas do prvej fixácie, dĺžka prvej fixácie, počet fixácií, dĺžka návštev, počet kliknutí myšou a mnohé ďalšie (obrázok č. #). Jednotlivé pohľady je možné filtrovať podľa účastníkov (alebo aj rôznych skupín účastníkov), AOI alebo segmentov. Štatistiky sa po vypočítaní zobrazia v podobe tabuľky a grafu.

Export dát

Okrem analýzy a vizualizácie môžeme zozbierané dáta exportovať pre spracovanie v ďalších aplikáciách. To sa realizuje prostredníctvom súborov v tabuľkovej schéme - a teda majú riadky a stĺpce. Každý stĺpec reprezentuje typ dát, medzi ktoré patria okrem iného aj informácie o účastníkoch, údaje o smere pohľadu, časové pečiatky a iné (obrázok č. #). Záznamy je možné navyše filtrovať aj podľa segmentov, dostupných fixácií a zvoliť si, či budú uložené do jedného alebo viacerých súborov.

Zhodnotenie

Tobii Studio predstavuje komplexný nástroj na záznam, analýzu a vyhodnotenie smeru pohľadu a ďalších informácií, ktoré možno získavať zo zariadenia na sledovanie pohľadu. Popri mnohých pokročilých analytických možnostiach a kvalitnej vizualizácii dát chválime aj zabudovanú pokročilú kalibráciu účastníkov. Pri sledovaní experimentu vo viacerých miestnostiach poskytuje nástroj možnosť sledovať ich priebeh bez toho, aby bol samotný účastník rušený (na jednej obrazovke prebieha experiment, na ostatných možno vidieť experiment spolu so smerom pohľadu účastníka). Získané štatistiky a vizualizácie je možné exportovať nielen do grafov ale aj videí.

Ďalším skúmaným nástrojom bol Captiv Premier, ktorý slúži najmä na získavanie a analýzu údajov z rôznych externých senzorov. Údaje z nich sa získavajú spravidla bezdrôtovo do špeciálneho prístroja priamo prepojeného s počítačom. Nástroj Captiv následne spracováva údaje z tohto prístroja a zaznamenáva ich. Jeho zameranie je pritom fyziologického charakteru - podporuje najmä zariadenia na meranie srdcovej frekvencie, teploty a vodivosti kože, smeru pohľadu, mozgových impulzov a mnohé ďalšie.

Analytické funkcie

Nástroj Captiv poskytuje bohaté analytické funkcionality. V mnohých prípadoch ide o podobnú funkcionalitu, ako v prípade Tobii Studia, avšak Captiv je univerzálnejší - keďže dokáže spracovávať údaje aj z iných nástrojov.

Základným zobrazením sú grafy pre každú nameranú hodnotu alebo udalosť vykreslené do horizontálnej časovej osi. Jednotlivé typy hodnôt (napr. teplota) / udalostí (napr. kliknutie myši) môžeme podľa potreby zobrazovať alebo skrývať. V prípade, že sme vykonávali viacero meraní, môžeme si vybrať iba tie, ktoré nás zaujímajú. Autori nástroja si však zvolili relatívne nešťastný spôsob prepínania, nakoľko sa aktívnosť/neaktívnosť vyjadruje iba prostredníctvom farby názvu typu. Z tej však nie je úplne zrejmé, kedy je typ zobrazený a kedy skrytý, a preto musí používateľ sledovať graf alebo zavítať do návodu na použitie.

Sila tohto zobrazenia sa preukazuje v prípade simultánneho experimentovania s viacerými účastníkmi súčasne, kde môžeme aj vizuálne porovnávať výsledky v rovnakých časových úsekoch, a to naprieč zaznamenanými hodnotami aj udalosťami. Nástroj tiež umožňuje zvýrazniť úseky patriace jednému meraniu, čo výrazne zvyšuje celkovú prehľadnosť. V kontexte experimentu, ktorý sme vykonávali (experiment č. 2) však považujeme za nevýhodu zobrazenie výsledkov v tejto forme, nakoľko sa experimenty odohrávali v rôznych časových úsekoch. Riešením tohto problému je pridanie komentárov alebo značiek (angl. markers), ktorými môžeme označiť zaujímavé úseky, ktoré mohli nastať napríklad medzi udalosťami (obrázok č. #). K zaznamenaným údajom je možné pripojiť videozáznam, a tak sledovať, ako sa menili, či už z pohľadu videozáznamu obrazovky účastníka alebo videozáznamu samotného účastníka.

Zároveň je možné upravovať si zobrazenie jednotlivých grafov ich vzájomným vymieňaním, prispôsobovaním mierky, ale taktiež aj skrývaním tých, ktoré práve nepotrebujeme (obrázok č. #). Pre každý typ (či už ide o hodnotu alebo udalosť) zároveň vidíme aktuálnu hodnotu skúmanej veličiny (na základe toho, kde v grafe sa nachádza kurzor myši). Pozitívna je tiež jednoduchá možnosť zmeny systému jednotiek (na metrický, medzinárodný alebo imperiálny/britský) priamo cez nastavenia nástroja.

Veľmi zaujímavý je spôsob zobrazenia nameraných hodnôt. Časová os totiž neobsahuje relatívne časy (teda prvá zaznamenaná hodnota nenastala v čase t = 0), ale absolútne časy - časy, kedy bola hodnota reálne zaznamenaná (v tvare HODINY:MINÚTY:SEKUNDY.stotiny, napr. 0:20:36.000). Tento spôsob zobrazenia bol pre charakter nášho experimentu (experiment č. 2) veľmi užitočný. Bohužiaľ, pri väčšom priblížení zobrazenia (zoom) sa nám zmenšuje horizontálny posúvač (scrollbar), a tak pri veľmi veľkom priblížení strácame možnosť prechádzať podrobne výsledky.

Oblasti záujmu (angl. analysis areas) predstavujú úseky v hodnotách, ktoré nás zaujímajú. Prirovnať ich môžeme k segmentom v Tobii Studiu. Nástroj Captiv umožňuje tieto oblasti vytvárať manuálne - označením požadovaného úseku v grafe hodnôt (udalostí) - alebo automaticky - prostredníctvom zadanej rovnice. K dispozícii máme široké spektrum možností a kombinácií. Môžeme napríklad jednoducho zistiť, kedy prekročila hodnota niektorého typu určitú hranicu. Taktiež môžeme ľahko odhaliť úseky, kedy bola hodnota typu v nejakom intervale zaznamenávaná dlhšiu dobu (napr. nájsť úseky, kedy bola teplota účastníka aspoň 36° dlhšie ako 5 sekúnd).

Podrobnejšie funkcionality poskytuje modul s názvom Processing, ktorý obsahuje rôzne analytické a agregačné funkcie, ktoré môžu spracovávať namerané údaje: matematické (lineárne, absolútna hodnota, trigonometrické, derivácie, integrály), filtračné, fyziologické (pre spracovanie EKG, EEG, variáciu srdcového tepu, a i.) a mnohé ďalšie.

Nástroj Captiv umožňuje analýzu nameraných údajov aj prostredníctvom rôznych štatistických funkcií. Medzi základné patria minimum, maximum a štandardná odchýlka, ktoré sa môžu aplikovať na jednotlivé typy hodnôt alebo oblasti záujmu. Medzi pokročilé patria napríklad analýza srdcového tepu, uhlu (otočenia ľudského tela) a (ľudskej) sily.

Funkcionalita Real Time Coding (obrázok č. #) umožňuje prehľadne zobraziť udalosti, ktoré nastali počas pozorovania. Dostupné sú pritom dva pohľady: prostredníctvom farebne odlíšeného zoznamu alebo prostredníctvom časovej osi, kde v reálnom čase môžeme pozorovať dané udalosti. V prípade, že máme k dispozícii údaje aj z iných softvérov (napr. Tobii Studio), zobrazia sa nám aj udalosti z nich. Prostredníctvom tejto funkcie môžeme zároveň chýbajúce udalosti dodatočne doplniť.

Analyzované údaje z grafov môžeme exportovať do obrázkov vo formáte PNG. Hoci ide o veľmi jednoduchú akciu (kliknutie jedného tlačidla), považujeme ju až za príliš jednoduchú, pričom si exportovaný obrázok nemôžeme prispôsobiť. Exportuje sa totiž ten graf, ktorý vidíme v analýze - vrátane všetkých hodnôt a udalostí, a to bez možnosti filtrovania počas exportu. Filtrovať môžeme iba pred exportom, a to na základe typov (hodnôt alebo udalostí) a tiež na základe pozorovaní (vyberieme iba tie pozorovania, ktoré nás zaujímajú). Ocenili by sme tiež vyššie rozlíšenie exportovaného obrázka, nakoľko sú údaje na ňom nečitateľné. V prípade, že nám obrázky nepostačujú, k dispozícii je aj export surových (RAW) dát, prípadne dát podliehajúcich určitej vzorkovacej frekvencii. Tieto dáta je možné exportovať do formátov CSV alebo EDF (European data format).

Popri základných grafoch nameraných hodnôt a typov nám nástroj Captiv poskytuje aj podrobnejšie analytiky. Zastúpenia udalostí (obrázok č. #) nám poskytujú informácie o tom, ako často sa vykonala určitá udalosť. Môžeme si pritom vybrať koláčový diagram, histogram alebo stack chart (obrázok č. #).

Ďalšou užitočnou prehľadovou štatistikou je tabuľka prechodov (angl. Transitions table), v ktorej si môžeme prezrieť, ako po sebe nasledovali jednotlivé udalosti. Podobne zobrazuje simultánne udalosti tabuľka simultánnych udalostí (angl. Simultaneous events table).

Zhodnotenie

Nástroj Captiv obsahuje široké spektrum podporovaných zariadení na meranie rôznych ľudských aktivít. Uvedené analytiky dokáže nielen zbierať, ale taktiež aj štatisticky vyhodnocovať. Spomedzi všetkých nami skúmaných nástrojov poskytuje najširší záber a najbohatšiu funkcionalitu.

Z pohľadu doplnkovej funkcionality hodnotíme pozitívne prepojenie s nástrojom Tobii Studio. Prostredníctvom nástroja Captiv totiž môžeme synchrónne spustiť meranie aj v nástroji Tobii Studio. Takéto nastavenie je pritom jednoduché a intuitívne. V našom experimente sme cielene overovali prípad, kedy sme oba nástroja spúšťali samostatne (teda bez synchronizácie). Ukázalo sa, že s týmto problémom si Captiv vie jednoducho poradiť vďaka exportu dát z Tobii Studia. Tie totiž obsahujú časové pečiatky, ktoré Captiv korektne rozpoznal, a tak údaje z oboch nástrojov korektne zosynchronizoval. Údaje pritom nezhŕňajú iba namerané hodnoty (napr. smer pohľadu), ale taktiež aj udalosti (napr. kliknutie myši).  Pri importe údajov si navyše môžeme zvoliť, ktoré hodnoty a udalosti potrebujeme pre ďalšiu analýzu.

Negatívne hodnotíme miestami mierne chaotické ovládanie nástroja, avšak riešením prípadných problémov je náhľad do používateľskej príručky.

Popri existujúcich hotových riešeniach sme sa tiež pozreli na knižnice, ktoré sú primárne dostupné v podobe SDK (Software development kit). Hoci sme tieto nástroje nezahŕňali do našich experimentov, podrobili sme ich jednoduchým testom, a tak si vyskúšali základné poskytované funkcionality.

FaceSDK

FaceSDK od spoločnosti Luxand predstavuje knižnicu pre viaceré programovacie jazyky. Na rozdiel od predchádzajúcich nástrojov, ktoré reprezentujú hotové a dostupné riešenia, FaceSDK je určené najmä pre vývojárov aplikácií, ktorí by mali záujem do nich zapracovať rozpoznávanie tváre alebo emócií.

Knižnica FaceSDK umožňuje detekciu tváre v statických ale aj dynamických obrázkoch (videách). To zahŕňa nielen analýzu existujúceho, ale taktiež aj naživo prenášaného videa (angl. live videostream), ktoré vie vyhodnotiť v reálnom čase. Knižnica umožňuje detekciu viacerých tvárí súčasne, a to aj pri otočení tváre o 30°. Taktiež umožňuje detegovať aj hodnotu otočenia tváre (pre tzv. in-plane face rotation), jej umiestnenie ([x, y] koordináty pre stred tváre) a šírku tváre.

Ďalšou zaujímavosťou je možnosť rozpoznávania tváre vychádzajúca z naučených tvárí. Knižnica umožňuje z tváre extrahovať jej šablónu, uložiť ju do databázy a tú následne použiť na rozpoznávanie tváre na iných snímkach. Dôležité je si vždy uložiť aj šablónu aj pôvodnú tvár (z ktorej vznikla), nakoľko zo šablóny nie je možné vytvoriť pôvodný obraz tváre. Rozpoznávanie tváre zahŕňa tiež kontinuálne učenie sa vzhľadu pozorovaného subjektu, čím môžeme získať odhady veličín False Acceptance Rate (FAR) a Rejection Rate (RR), ktoré sa využívajú ako parametre pre samotné rozpoznávanie tváre.

Okrem rozpoznávania tváre podporuje FaceSDK aj rozpoznávanie čŕt tváre. Konkrétne môžeme hovoriť o 66 bodoch (v podobe koordinátov [x, y]) tváre zahŕňajúcich oči, obočie, úšta, nos a obrysy tváre (obrázok č. #). Pre in-plane otočenie tváre platí maximálny limit 30°, pre out-of-plane už len 10°. Pre bližšiu charakteristiku sú k dispozícii aj koordináty ([x, y]) stredov očí.

Výhodou FaceSDK je multiplatformovosť, keďže je dostupné pre štandardné aplikácie pracovnej plochy (podpora 32/64 bitových verzíí Windows a Linux a podpora 64-bitových verzií Mac OS X) a tiež pre mobilné aplikácie (platformy iOS a Android). Ako uvádzajú autori, medzi podporované jazyky patria Microsoft Visual C++, C#, Objective C, VB.NET, VB6, Java, Delphi a C++Builder. K dispozícii sú aj rôzne príručky s ukážkami zdrojových kódov, ktoré dopomáhajú k jednoduchšej integrácii do aplikácie.

Affdex SDK

Affdex SDK poskytuje knižničnú funkcionalitu pre detekciu a získavanie emócií zo statických obrázkov, naživo prenášaných videí a tiež zaznamenaných videí. Poskytuje sa primárne formou komerčného produktu cieleného pre zadávateľov reklamných kampaní, ktorí potrebujú zistiť emócie vychádzajúce z prehrávania reklamných spotov.

Knižnica poskytuje pre každý sledovaný obrázok alebo video nasledujúce základné informácie o rozpoznanej tvári. Všetky informácie sú vyjadrené v percentách (do akej miery boli detegované):

• detekcia úsmevu,
• detekcia nadvihnutého obočia,
• detekcia zmrašteného obočia,
• detekcia mračenia sa,
• hodnota valencie,
• hodnota aktivity (zapojenia sa, angl. engagement).

Knižnica podporuje rozpoznávanie viacerých tvári (na obrázku/videu) súčasne. Pre každú tvár sú navyše dostupné aj hodnoty čŕt tváre spolu s ich pozíciami na obrázku alebo videu. Affdex SDK podporuje 34 čŕt tváre.

Poznámka: Vyššie uvedené informácie boli získané analýzou oficiálnej dokumentácie určenej pre operačný systém Windows.

Affdex SDK je dostupné pre klasickú platformu Windows, ako aj pre mobilné platformy iOS a Android. Pre analytické účely je navyše dostupné REST API, ktoré umožňuje získať zaznamenané a vyhodnotené informácie.

Na obrázku č. # sa nachádza ukážka z demo verzie, v ktorej môžeme vidieť prehrávané reklamné video spoločne s grafom detegovanej emócie u viacerých účastníkoch. K dispozícii máme grafy pre mieru prekvapenia, úsmevu, koncentrácie, nespokojnosti, valencie, pozornosti a expresívnosti.

V nasledujúcich kapitolách uvádzame prehľad a zhodnotenie výsledkov experimentov, ktoré sme v rámci výskumu realizovali. Ich cieľom nebolo absolútne vyhodnotenie presnosti a spoľahlivosti skúmaných nástrojov. Experimenty mali poslúžiť najmä na základné overenie ich možností. Výstupy z experimentov ako vstupný materiál umožnili porovnávať a odhaliť aj pokročilé funkcionality jednotlivých nástrojov, a dopomohli tak k vzniku tohto dokumentu. Napriek tomu sme sa však nevyhli istému kvalitatívnemu zhodnoteniu vychádzajúcemu z konkrétnych zaznamenaných dát.

Ciele

V prvom experimente sme si za primárny cieľ stanovili vyskúšať si samotné experimentovanie v doméne pozorovania ľudských emócií pri práci s počítačom. Aj preto ho možno považovať za globálne pilotný experiment. Počas neho sme zaznamenávali participantov prostredníctvom štandardnej webkamery v bežných, nelaboratórnych podmienkach. Zachytené videozáznamy sme následne analyzovali pomocou nástroja Noldus FaceReader a zhodnocovali jeho kladné a záporné stránky. Vyhodnocovali sme najmä mieru zachytenia emócie vzhľadom na podmienky, v ktorých sa experimenty realizovali.

Scenár

Scenár experimentu sa realizoval formou webovej aplikácie, v ktorej sa odohrávala postupnosť činností, ktorú účastníci vykonávali. Experiment nebol žiadnym spôsobom prerušovaný a pre každého účastníka trval rovnaký čas (približne 5 minút). Skladal sa z nasledujúcich činností, ktoré po sebe nasledovali v uvedenom poradí.

Zábavné obrázky

Účastníci sledovali postupnosť zábavných obrázkov z rôznych oblastí života, pričom každý sa zobrazoval presne 10 sekúnd.

Strašidelné video

Počas približne 40 sekúnd sa účastníkom prehrávalo video, ktorého cieľom bolo zvýšiť pozornosť a sústredenie. Vo videu bolo potrebné nájsť niečo neobvyklé a zaujímavé. Na záver sa v tej najneočakávanejšej chvíli spustil zvuk výkriku a vo videu sa zjavilo strašidlo.

Vedecký článok

Na obrazovke sa zobrazil odborný článok a cieľom účastníkov bolo zistiť z neho skrytú informáciu. Keď sa do článku ponorili a začali hľadať odpoveď, opäť na nich vyskočil strašidelný zvuk a na obrazovke sa zjavilo strašidlo.

Počítanie štvorčekov

Poslednou skúškou trpezlivosti bola jednoduchá minihra, v ktorej mali účastníci spočítať počet žltých štvorčekov, ktoré videli na obrazovke. Aby to však nebolo jednoduché, sťažili sme im to viacerými nástrahami:

• poloha štvorčekov sa v pravidelných intervaloch náhodne menila,
• akékoľvek číslo zadané ako odpoveď (hoci aj správne) bolo vždy považované za nesprávnu odpoveď,
• v pravidelných intervaloch sa namiesto kurzora myši zjavila na obrazovke animovaná nyan mačka, ktorá navyše skrytý kurzor myši prenasledovala a znemožnila tak vykonávať akúkoľvek aktivitu (obrázok č. #).

Emotívne video

Na záver bolo účastníkom prehrávané video plné emotívnych zážitkov - či už pozitívnych alebo negatívnych. Toto video bolo získané z videoslužby YouTube a bolo používané práve v experimentoch na vyvolanie emócií.

Realizácia

Experiment bol technicky realizovaný ako webová aplikácia, pričom výsledky neboli žiadnym spôsobom ukladané. Jediným výstupom z experimentu bol videozáznam účastníkov. V experimente sa taktiež nevyskytovali žiadne dátové množiny (datasety).

Vyhodnotenie a záver

Z pohľadu zostavenia experimentu nám podarilo úspešne vyvolať a tiež identifikovať veselé emócie v prípade zábavných obrázkov. Čo je však zaujímavejšie, Strašidelné video nevyvolalo takmer žiadnu emóciu strachu - väčšina účastníkov očakávala strašidelný záver videa. Naopak v prípade vedeckého článku sa nám strach podarilo úspešne vyvolať a tiež z tváre detegovať u väčšiny účastníkov.

Obdobne sa nám úspešne podarilo dosiahnuť emóciu hnevu v prípade minihry, kedy sa účastníci hnevali, keďže sa im nepodarilo odovzdať správne výsledky a hra im v tom navyše ešte aj bránila.

Silu nástroja Noldus FaceReader sme zistili v prípade jedného z účastníkov, ktorého pri prvej analýze detegoval počas takmer celého videa ako nahnevaného. Rovnaké výsledky sme pri tomto istom účastníkovi získali aj v treťom experimentu pri použití nástroja UX Lab/Class. Výhoda Noldus FaceReadera spočívala však v tom, že sme videozáznam účastníka mohli analyzovať opätovne, a to so zapnutím kalibrácie, ktorá dokázala odhaliť jeho štandardnú tvár. Po tejto - druhej - analýze došlo k výraznému zlepšeniu výsledkov a korešpondovali s emóciami, ktoré sa prejavovali na tvári.

Na druhej strane sa nám však podarilo tiež odhaliť, že softvér Noldus FaceReader mal v niektorých okamihoch problém identifikovať tvár účastníka, ktorý práve nosil okuliare. Taktiež sme sa stretli s problémami pri zhoršených svetelných podmienkach. Na tieto problém však upozorňujú aj samotní autori nástroja v produktovej dokumentácii.

Ciele

Cieľom druhého experimentu bolo overiť možnosti zapojenia viacerých dostupných nástrojov na detekciu emócií súčasne. Taktiež sme sa pokúšali zistiť, aké sú možnosti v kooperácií medzi týmito nástrojmi po dokončení experimentov pri analýze získaných údajov.

Súčasťou experimentu boli nasledujúce nástroje:

• Tobii Studio pre záznam smeru pohľadu, diletácie zreničky a tiež samotného účastníka,
• Captiv pre záznam vodivosti kože,
• Noldus FaceReader pre analýzu zaznamenaného účastníka (po experimente),
• Fraunhofer IIS pre analýzu zaznamenaného účastníka (po experimente).

Scenár

Experiment sa realizoval vo webovom prehliadači, kde bol účastník stručne oboznámený s činnosťou, ktorú bude vykonávať.

Experiment sa spustil na pokyn účastníka, a to kliknutím na tlačidlo „Pokračovať“ na obrazovke prehliadača. Následne sa iniciovala séria 35 obrázkov (každý presne po dobu 7 sekúnd), pri ktorých musel účastník posunom myši po obrazovke vyjadriť svoj pocit. Obrázky boli pritom zvolené zámerne s cieľom vyvolať v účastníkoch emocionálne stavy. Pre maximálne zjednodušenie sa vyjadrenie pocitu realizovalo posunom počítačovej myši -  vľavo pre negatívny pocit a vpravo pre pozitívny pocit. Odchýlka kurzora myši od stredu obrazovky používateľa vyjadrovala absolútnu hodnotu valencie. Po dokončení prezentácie obrázkov sa experiment ukončil a všetky zaznamenané údaje sa automaticky uložili na webový server.

Počas prezentácie bol účastník monitorovaný viacerými spôsobmi:

• jeho smer pohľadu a veľkosť zreničky boli zaznamenávané prostredníctvom Tobii Studia,
• videozáznam jeho tváre bol nahrávaný prostredníctvom Tobii Studia,
• informácie o vodivosti a teplote kože boli zaznamenávanie prostredníctvom senzora umiestneného na dvoch prstoch ľavej ruky a nástroja Captiv.

Realizácia

Pri experimente bol použitý dataset GAPED (The Geneva Affective PicturE Database, ). Dataset obsahuje 730 anotovaných pozitívnych aj negatívnych obrázkov. Obrázky sú pritom anotované podľa valence, aktívnosti a zhodnosti s internými (morálnymi) a externými normami (právo).

Na obrázku č. # môžeme vidieť ukážku z webovej aplikácie, kde práve prebieha nastavovanie miery obľúbenosti zobrazeného obrázku. Čím viac bol posuvník umiestnený napravo, tým viac vyjadroval účastník pozitívnu emóciu vychádzajúcu z obrázka. Naopak, čím viac bol posuvník umiestnený na ľavej strane, tým vyjadroval emóciu negatívnu.

Priebeh experimentu

Experimenty prebehli 11.4.2015 na Ontožúre v Gabčíkove a zúčastnili sa ich 9 participanti. Tento počet bol obmedzený vzhľadom na počet dostupných zariadení a celkový počet prebiehajúcich experimentov.

Jednotliví participanti boli na začiatku v stručnosti oboznámení s priebehom a nastavení do experimentálneho prostredia. Pred realizáciou samotného experimentu sme sa snažili prispôsobiť podmienky potrebám participantov (napr. sedenie, poloha zariadenia na sledovanie vodivosti kože, a pod.).

Z technických príčin sa nám nepodarilo zaznamenať emóciu prostredníctvom Creative Camery, nakoľko ju nástroj UX Lab/Class (ktorý sme pôvodne plánovali použiť) blokoval pred použitím ostatnými nástrojmi. Ďalším problém tiež bolo prostredie, v ktorom sa experiment realizoval. Podmienky pre osvetlenie totiž neboli ideálne a taktiež vzhľadom na večernú hodinu a aktívne prebiehajúcu pivnú súťaž SeBe, mohli byť výsledky skreslené. V konečnom dôsledku sa však ukázalo, že tieto negatívne podmienky mali pozitívny vplyv, nakoľko sme mohli odhaliť úskalia používaných nástrojov.

Každý, kto sa zúčastnil experimentu, získal sladkú odmenu v podobe cukríkov.

Zhodnotenie a záver

V tabuľkách č. # a # sa nachádza percentuálne vyjadrená miera emócie zachytená nástrojom Noldus FaceReader a nástrojom Fraunhofer IIS. Vždy uvádzame emóciu s najvyšším a druhým najvyšším percentuálnym podielom pre daný zobrazovaný obrázok, pričom tento podiel vznikol ako priemer podielov počas celého zobrazenia daného obrázku. Pre ilustráciu sme zvolili náhodných dvoch účastníkov a 7 náhodných obrázkov. Percentuálne podiely uvádzame iba v prípade nástroja Noldus FaceReader.

Legenda: N = neutrálna emócia, H = šťastný, A = nahnevaný

V prípade prvého účastníka môžeme vidieť ako najčastejšiu neutrálnu emóciu. Výkyvy predstavujú emóciu šťastný. Rovnaké hodnoty ako pomocou Noldus FaceReadera sa nám podarilo zaznamenať aj prostredníctvom nástroja Fraunhofer IIS. Pri druhom účastníkovi sme sa stretli s výrazne prevládajúcou emóciou - nahnevaný. Túto emóciu pritom detegovali oba nástroje rovnako. Problémom bola absencia kalibrácie, keďže účastník sa “nahnevane” tváril počas celého experimentu. Nakoľko sme sa snažili porovnávať výsledky transparentne, kalibráciu sme nezapínali (demo verzia nástroj Fraunhofer IIS ju nepodporovala).

Na obrázkoch č. # a č. # sa nachádzajú grafy valencie (pre oboch vyššie uvedených účastníkov) vychádzajúcej z analýzy pomocou nástroja Noldus FaceReader - čiara „Valencia (FaceReader)“ -  a valencie získanej priamo od účastníkov prostredníctvom anotácie obrázkov – čiara „Valencia (zadaná)“.

Účastníci spravidla vyjadrovali valenciu maximálnou možnou mierou, preto aj v prípade, že z tváre nástroj zachytil valenciu vo výške -0.25, účastník zadal priamo valenciu vo výške -1. Inými slovami, vo väčšine prípadov je nestupňovali, ale zadávali maximálnu (1), minimálnu hodnotu (-1) alebo stred (0). Ako môžeme vidieť na grafe č. 10.1, zadaná valencia korešpondovala s nameranými hodnota iba čiastočne - na základe manuálnej analýzy videa sme dospeli k záveru, že sa účastník v prípade negatívnych emócií tváril neutrálne. V prípade grafu č. 10.2 je už zjavné, že nameraná valencia (s výnimkou obrázka č. 2) korešpondovala s manuálne zadanou valenciou.

Skúmaním výsledkov zo senzora vodivosti kože sme odhalili, že u väčšiny účastníkov sa pravideľne, vždy po zmene obrázka za nový, ešte nepreskúmaný, zvýšila hodnota z tohto senzora. Postupne, ako experiment postupoval, sa tie zvýšenia ustálili a k väčším výkyvom už neprišlo. Vzhľadom na to, že sme použili pre celý experiment 35 obrázkov, môžeme takéto správanie prípisať stresu z prvých obrázkov - teda z niečoho nového a neznamého. Taktiež sme si všimli, že účastníci reagovali na prvé obrázky intenzívnejšie, a to najmä v prípade, že išlo o pozitívne obrázky.

Pri analýze smeru pohľadu sme si všimli u väčšiny účastníkov zaujímavé správanie, a to, že vždy pri zmene obrázku zažmurkali.

Vo všeobecnosti môžeme zhodnotiť, že experiment prebehol bez problémov. Účastníci sa naučili s testovacou aplikáciu rýchlo pracovať a s priebehom experimentu boli spokojní (pýtali si ešte ďalšie obrázky).

Najväčším problémom, ktorý sme zaznamenali, bola dĺžka prípravy každého účastníka, ktorá nebola správne odhadnutá, keďže sme nevykonali pilotný experiment. V tomto smere sa však už poučili a „pilot“ zaviedli pri nasledujúcom experimente - experimente č. 3. Taktiež, keďže sme si zvolili náročnejšiu cestu, a to úplnú absenciu synchronizácie nástrojov (hoci to niektorého nástroje podporovali), všetky údaje o priebehu experimentu sme evidovali pomocou vlastných skriptov a poznámok. Hoci sa nám podarilo analyzovať údaje relatívne bez problémov aj týmto spôsobom, rozhodne odporúčame využiť možnosti automatizovanej synchronizácie (ak sú k dispozícii).

Ciele

V našom treťom experimente bolo úlohou detegovať a zaznamenať emóciu účastníka pri hraní hry v prostredí webového prehliadača. Túto emóciu sme pritom zaznamenali pomocou doposiaľ nepoužitého nástroja: UX Lab/Class. Vzhľadom na jeho vtedajšie obmedzenia sme prácu s inými nástrojmi neporovnávali, avšak charakter experimentu to ani nevyžadoval.

Druhým cieľom bolo overiť tento nástroj aj z pohľadu spoľahlivosti detekcie smeru pohľadu. Hra bola založená na ovládaní prostredníctvom pohybu očí (teda smeru pohľadu). Hoci bola k dispozícii alternatívna možnosť ovládaním myši, vzhľadom k tomu, že bolo ovládanie prostredníctvom očí bezproblémové, nebolo ovládanie myšou vôbec potrebné.

A na záver, našim cieľom bolo tiež overiť celkovú spoľahlivosť nástroja - rýchlosť odozvy, spoľahlivosť a tiež možnosti API pre kontrolovanie lokálneho klienta.

Scenár

Experiment sa zakladal na interaktívnej hre, ktorú hráči ovládali prostredníctvom svojho pohľadu (smeru pohľadu). Cieľom hry bolo nazbierať čo najväčší možný počet bodov za vykonanú aktivitu.

Scenár sa odohrával na hracom plátne veľkosti N x M, v ktorom sme reprezentovali jednotlivé políčka štvorcami (t.j. N políčok v riadku a M riadkov). Na každom z políčok sa v pravidelných časových okamihoch zjavovali objekty, ktoré musel hráč hráč „trafiť“ svojím pohľadom resp. sa daným objektom vyhnúť (v závislosti od toho, či daný objekt zvyšoval alebo znižoval jeho skóre). Štandardný hrací čas bol stanovený na 2 minúty (120 sekúnd), pričom sa menil, a to v závislosti od triafaných objektov.

Medzi objekty patrili:

• zvýšenie skóre o 50 bodov,
• zvýšenie skóre o 100 bodov,
• zvýšenie skóre o 200 bodov,
• zníženie skóre o 50 bodov,
• zníženie skóre o 100 bodov,
• zníženie skóre o 200 bodov,
• zamrznutie obrazu (interakcia s hrou bola výrazné spomalená),
• napodobnenie emócie (hráčovi sa ukázala tvár, ktorej emóciu musel napodobniť pomocou vlastnej tváre),
• pridanie 2 sekúnd do hracieho času,
• odobratie 10 sekúnd z hracieho času.

Okrem napodobnenia emócie, ktoré sa zjavovalo v pravidelnom intervale, sa ostatné objekty zjavovali úplne náhodne. Interval zjavovania sa zároveň znižoval, čo pridávalo hre dodatočnú dynamiku. Po uplynutí hracieho času sa hráč dozvedel svoje výsledné skóre, pričom ak s ním nebol spokojný, mohol hru opätovne zopakovať a započítavalo sa mu vždy najvyššie dosiahnuté skóre spomedzi všetkých jeho hier.

Realizácia

Hra bola realizovaná v prostredí webového prehliadača, pričom komunikovala s viacerými externými komponentami (obrázok č. #):

• UX Lab/Class - aplikácia slúžila na vytvorenie lokálneho servera a získavanie informácií zo zariadenia na pozorovanie pohľadu (eye-trackera) a z kamery na získavanie emócií z tváre hráča (Creative Camera),
• DB Server - lokálny databázový server, na ktorom sa ukladali všetky informácie o priebehu hry (zaznamenané emócie, aké činnosti hráči vykonávali a tiež v akom poradí tieto činnosti nastali),
• Crowdex - webový portál, prostredníctvom ktorého sa experiment zorganizoval (získanie a správa účastníkov). Na Crowdex sa tiež odovzdávali aj výsledky hry (cez API, ktoré portál poskytuje) a prostredníctvom tohto systému bol tiež vyhodnotený a vyplatený absolútny víťaz hry.

Pri objekte napodobnenie emócie sa hráčovi zobrazila tvár a jeho úlohou bolo ju napodobniť čo najvierohodnejšie. Tváre boli vybrané z dátovej množiny Radboud Faces Database (dostupné v ). Každá tvár bola pritom anotovaná emóciou, ktorú vyjadruje. Túto informáciu sme využili, nakoľko bolo úlohou hráčov emóciu napodobniť (prostredníctvom vlastnej tváre). Čím dlhšie sa im darilo napodobňovať emóciu, tým viac bodov získavali.

Na obrázku č. # sa nachádza ukážka z prihlasovacej obrazovky aplikácie. Na obrázku č. # sa nachádza kontrolný panel, cez ktorý sme mohli nastavovať parametre hry a tiež mohli zapínať a vypínať reláciu v nástroji UX Lab/Class. Pred spustením hry bolo potrebné hráčov kalibrovať pre detekciu smeru pohľadu, čo sa realizovalo v nástroji UX Lab/Class. Následne bol hráč oboznámený o priebehu hry, jej pravidlách a základných možnostiach ako získať alebo stratiť body. Od tohto momentu už mohol hru ovládať sám - bez potreby zásahu dozoru.

Na obrázku č. # sa nachádza ukážka z prostredia hry. Obrázok č. # zobrazuje obrazovku, na ktorej musí hráč napodobniť tvár.

Víťaz hry bol po dokončení experimentovania odmenený vecnou cenou, ktorá bola vyplatená cez systém Crowdex. Každý účastník (nielen víťaz) bol pritom odmenený kreditmi v systéme Crowdex, ktoré mohli využiť na získanie iných dostupných odmien v systéme.

Priebeh experimentov

Prvú fázu experimentov predstavovalo domáce testovanie. Vzhľadom na nedostupnosť eye-trackera bola hra testovaná interakciou prostredníctvom počítačovej myši. Pre záznam emócií bola použitá štandardná webkamera (720p FaceTime HD camera). Opakované testy pritom potvrdili, že detekcia emócií nebola dokonalá, avšak plne postačujúca.

V ďalšej fáze - pilote experimentu - došlo k realizácii experimentu v prostredí Fakulty informatiky a informačných technológií STU v Bratislave. Do experimentu už boli zapojení reálni účastníci. Využíval sa pritom pozorovateľ pohľadu s frekvenciou 60 Hz a špeciálna kamera na detekciu emócií spoločnosti Creative. Zachytenie emócie už bolo na výbornej úrovni. Ako sa však ukázalo, vyskytli sa problémy s kalibráciou pozorovateľa pohľadu. Kvalitatívne sa pohybovala na úrovni približne 20%, čo bolo pre účely nášho experimentu nepostačujúce. Taktiež sa odhalilo, že (pôvodne navrhnuté) zvyšovanie času hry o 10 sekúnd (pomocou na to určeného objektu) predlžovalo hru často až na viac ako 4 minúty, a preto bol bonusový čas znížený na 2 sekundy.

Vo finálnej fáze experimentovania sme použili pozorovateľ pohľadu s frekvenciou 300 Hz, ktorý dosahoval vynikajúcu úroveň kalibrácie (90% - 100%) a aj z tohto dôvodu z nej mali hráči vynikajúci zážitok.

Zhodnotenie a záver

Emócie zaznamenané prostredníctvom Creative Camery sme porovnali s dostupným datasetom. Počas hry sa zobrazovali účastníkom 2 sady obrázkov, pričom každý obrázok v sade reprezentoval jednu z ôsmych základných emócií. Rovnaké typy emócií pritom môžeme získať aj z Creative Camery. V skutočnosti sme teda porovnávali emócie zachytené na tvári hráčov s anotovanými tvárami, ktoré sa snažili napodobniť. Výsledky môžeme vidieť v tabuľke č. #. V stĺpci úspešnosť môžeme vidieť priemernú percentuálnu úspešnosť napodobnenia emócie účastníkom naprieč všetkými hrami. Celkový počet odohratých hier bol 26. Je dôležité poznamenať, že uvedené percentá nevyjadrujú úspešnosť detekcie emócie kamerou, hoci aj to má určitý vplyv na uvedené výsledky.

O čom nám teda výsledky hovoria? Emóciu smútok sa podarilo napodobniť iba v 2,37% prípadoch. Na tento výsledok môže vplývať viacero faktorov:

• nedostatočne kvalitná tvár z dátovej množiny (účastník hry sa ju snažil napodobniť, avšak napodobňoval v skutočnosti inú emóciu),
• neschopnosť účastníka napodobniť tvár (vzhľadom k tomu, že svoju tvár nevidel, nedokázal porovnať, nakoľko sa mu darí),
• všeobecná radosť účastníka z hry :),
• pozostatky predchádzajúceho emocionálneho stavu,
• chyba detekcie kamery resp. SDK na prácu s kamerou (predpokladáme nízky vplyv).

Naopak, druhým extrémom je (relatívne) vysoká úspešnosť pre emóciu hnev 52,46%. Tieto  výsledky nám taktiež môžu prezradiť, ktoré emócie dokáže kamera zachytiť kvalitnejšie, a naopak, s ktorými má väčšie problémy.

Na kvalitu hry a používateľského zážitku sme sa pýtali účastníkov prostredníctvom jednoduchého dotazníka po skončení hry. Spomedzi všetkých 8 účastníkov sme dosiahli maximálnu spokojnosť u šiestich, a ďalší dvaja ohodnotili hru známkou dobrý. Získali sme tiež cenné rady, ako hru vylepšiť. Odpovede na otázku Čo vás najviac motivovalo zúčastniť sa hry? nájdeme v tabuľke č. #.

Zaujímavosťou bol aj jeden z účastníkov experimentu, ktorý mal počas hry na tvári okuliare. Hoci sme mali obavy, aký bude vplyv na kvalitu, nakoniec sa naše obavy nepotvrdili. V tomto prípade dosahovala úspešnosť kalibrácie hodnoty približne 80%. Napriek tomu sme z pozorovania zaznamenali, že občas došlo k anomáliám a účastník mal v niektorých prípadoch problém s ovládaním. Charakter hry to však výrazne neovplyvnilo a rovnako ako ostatní účastníci si ju mohol aj tento participant plnohodnotne vychutnať (a navyše sa umiestnil na druhom mieste v rebríčku víťazov). Na druhej strane je nutné poznamenať, že získané hodnoty z pozorovateľa pohľadu sa zaokrúhľovali, nakoľko to spôsob implementácie hry dovoľoval (resp. vyžadoval). V prípadoch, kedy by sme potrebovali maximálnu presnosť. by už mohli byť odchýlky spôsobené okuliarmi problémom.

Náš výskum si kládol za cieľ pozrieť sa bližšie na rôzne nástroje pre získavanie, analýzu a vyhodnotenie údajov z experimentov. Zamerali sme sa na experimenty, pri ktorých sme skúmali emócie účastníkov pri práci s počítačom.

Preskúmali sme nástroj Nodlus FaceReader slúžiaci na komplexnú analýzu a vizualizáciu emócií získaných z tváre účastníkov experimentov. Zistili sme, že nástroj dokáže v relatívne rýchlom čase analyzovať obrázky, zaznamenané videá a živý prenos z kamery počítača. Nástroj si dokázal poradiť aj so zhoršenými svetelnými podmienkami. Problémy sme zaznamenali iba pri analýze účastníka s okuliarmi.

Obdobným nástrojom určeným najmä pre komerčné účely bol Fraunhofer IIS, ku ktorému sme mali k dispozícii iba demo verziu. V porovnaní s FaceReaderom sme mohli sledovať emócie účastníkov v reálnom čase bez potreby vytvárania projektu alebo videozáznamu. Ten však demo verzia ani neumožňovala vytvárať. Z pohľadu kvality boli oba softvéry veľmi vyrovnané a poskytovali vynikajúce výsledky. Pridanú hodnotu predstavoval však v niektorých prípadoch FaceReader, ktorý umožňovali aj kontinuálnu kalibráciu účastníkov.

Formou SDK bol prístupný nástroj Luxand FaceDetect, ktorý neposkytoval priamo informácie o emóciách, ale informácie o tvári a slúžil teda najmä na jej detekciu. V porovnaní s Fraunhofer IIS sme zistili, že ju umožňoval detegovať s menšou toleranciou otočenia (pre in-plane otočenie Fraunhofer IIS - 60° vs. Luxand FaceDetect 30°).

Pre získanie emócie vychádzajúcej z vodivosti kože sme použili nástroj Captiv Premier. Pri práci s ním sme zistili, že poskytuje veľmi širokú paletu rôznych štatistických a analytických možností ako spracovávať údaje z rôznych, najmä medicínsky zameraných senzorov. Podpora je v tomto smere naozaj bohatá a nástroj tiež dokáže spolupracovať aj napríklad s Tobii Studiom.

Tobii Studio, ako nástroj zameraný na zbieranie a analýzu informácií zo zariadenia na pozorovanie pohľadu, poslúžil ako výborný prostriedok organizácie UX experimentu. Uplatnili sme ho pri získavaní smeru pohľadu a tiež získavaní diletácie zreničky. Jeho možnosti však týmto zďaleka nekončia, nakoľko umožňuje pokročilé analýzy, a to nielen numerické, ale aj vizuálne.

Otvorený výskumný priestor v tejto oblasti predstavuje nástroj Noldus Observer, ktorý umožňuje všeobecnú realizáciu a správu údajov z experimentov. Taktiež je ešte stále priestor na realizáciu ďalších experimentov a hĺbkové porovnanie uvedených nástrojov.

Táto kapitola obsahuje prehľad analyzovaných datasetov fotografií, ktoré vznikli za účelom vyvolania emócií v participantoch rôznych experimentov. Zoznam obsahuje iba nami vybrané datasety, ktoré by boli vhodné pre experiment tohto druhu. Pri výbere sme preferovali tie, ktoré v sebe nesú aj informácie o samotnom vyvolanom pocite.

International Affective Picture System (IAPS)

Informácie

http://csea.phhp.ufl.edu/media.html

Prístup k datasetu

Pre prístup k datasetu sa vyžaduje zaslanie žiadosti, t.j. vyplnenie, podpísanie a odoslanie formulára. Na odpoveď je potrebné počkať maximálne 30 dní, požiadavku nemôžu zasielať študenti.

Obsah datasetu

Súčasťou datasetu sú fotografie so stanovenými hodnotami valencie, aktívnosti a dominancie. Fotografie boli pritom vytvorené s cieľom vyvolania emócií a pozornosti u participantov experimentov.
Anotácia prebehla na viac ako 1000 obrázkoch.

Lang, P.J., Bradley, M.M., & Cuthbert, B.N. (2008). International affective picture system (IAPS): Affective ratings of pictures and instruction manual. Technical Report A-8. University of Florida, Gainesville, FL.

Affective Image Classification Using Features inspired by Psychology and Art Theory

Informácie

http://www.imageemotion.org/

Článok

http://www.imagee...ge_classification.pdf

Obsah datasetu

Autori pracovali s troma datasetmi:
(1) International Affective Picture System,
(2) vlastný dataset (nedostupný),
(3) maľby zozbierané zo stránok Deviantart.
Nevýhodou je nedostupnosť samotných fotografií a anotácií. Dostupné sú iba fotografie z bodu (1).

Jana Machajdik and Allan Hanbury. 2010. Affective image classification using features inspired by psychology and art theory. In Proceedings of the international conference on Multimedia (MM '10). ACM, New York, NY, USA, 83-92. DOI=10.1145/1873951.1873965 http://doi.acm.org/10.1145/1873951.1873965

The Geneva Affective PicturE Database (GAPED)

Informácie

http://www.affective-sciences.org/?q=researchmaterial

Prístup k datasetu

Stiahnuť dataset

Obsah datasetu

Dataset obsahuje 730 anotovaných pozitívnych aj negatívnych obrázkov.
Obrázky sú anotované podľa valence, aktívnosti a zhodnosti s internými (morálnymi) a externými normami (právo).

Dan-Glauser, E. S., & Scherer, K. R. (2011). The Geneva affective picture database (GAPED): a new 730-picture database focusing on valence and normative significance. Behavior Research Methods, 43(2), 468-477. doi: 10.3758/s13428-011-0064-1

Datasets for Aesthetics Inference Experiments

Informácie

http://ritendra.weebly.com/aesthetics-datasets.html

Článok

http://infolab.stanford.edu/.../ICIP08/datta.pdf

Obsah datasetu

Súčasťou datasetu je viac ako 20 000 hodnotení obrázkov. V tomto prípade nejde o anotáciu emócií, ale o vyjadrenie estetického ohodnotenia obrázkov.
Na stránkach projektu nie sú dostupné hodnotené obrázky, iba URL adresy - jednotlivé obrázky je potrebné automatizovane posťahovať.
Autori skúmali aj emócie, bohužiaľ konkrétny dataset s anotovanými emóciami nie je dostupný.

R. Datta, J. Li, and J. Z. Wang, Algorithmic Inferencing of Aesthetics and Emotion in Natural Images: An Exposition, Proc. IEEE ICIP, Special Session on Image Aesthetics, Mood and Emotion, San Diego, CA, 2008.

Visual Sentiment Ontology

Informácie

http://www.ee.columbia.edu/ln/dvmm/vso/download/vso.html

Článok

http://www.ee.columbia.edu/.../visual_sentiment_ontology_FINAL.pdf

Prístup k datasetu

Živá ukážka: http://visual-sentiment-ontology.appspot.com/list...&page=1

Obsah datasetu

Dataset obsahuje odkazy na obrázky zo služby Flickr usporiadané do skupín (podľa sentimentu).
Každá skupina je vyjadrená dvojicou prídavné meno a podstatné meno (napr. agresívne zviera).
V datasete je dostupná navyše klasifikácia na pozitívny a negatívny sentiment (+ alebo - pre každú fotografiu)

Damian Borth, Rongrong Ji, Tao Chen, Thomas Breuel and Shih-Fu Chang. "Large-scale Visual Sentiment Ontology and Detectors Using Adjective Noun Pairs," ACM Multimedia Conference, Barcelona, Oct 2013.

Nencki Affective Picture System (NAPS)

Informácie

http://lobi.nencki.gov.pl/research/8/

Prístup k datasetu

Pre získanie prístupu k datasetu sa vyžaduje vyplnenie a odoslanie formulára.

Obsah datasetu

Dataset obsahuje 1 356 obrázkov rozdelených do viacerých kategórií: ľudia, tváre, zvieratá, predmety a krajinky.
Pre každý z obrázkov sú dostupné hodnoty valencie a aktívnosti.

Marchewka A, Żurawski L, Jednoróg K, Grabowska A. The Nencki Affective Picture System (NAPS). Introduction to a novel standardized wide range high quality realistic pictures database. Behavior Research Methods, 46: 596-610, 2014

Súhrnný prehľad

Nasledujúca tabuľka obsahuje prehľad vyššie analyzovaných datasetov pre vyvolanie emócií.

Popis stĺpcov tabuľky:

Názov

Názov datasetu alebo výskumu, v ktorom vznikol.

Dostupnosť

Informácia o (voľnej) dostupnosti daného datasetu (konkrétnych anotácií).

Počet obrázkov

Počet obrázkov, ktoré boli v danom datasete anotované.

Dostupnosť obrázkov

Dostupnosť obrázkov z daného datasetu. V niektorých prípadoch sú obrázky dostupné iba cez URL adresu (kvôli autorským právam), niekedy sú - naopak - už súčasťou daného datasetu (ako príloha).

Anotácie

Vymenované dostupné anotácie, ktoré poskytuje daný dataset.

Vhodnosť

Subjektívne ohodnotenie vhodnosti anotácie pre experiment.

(1) Dataset pozostáva z 2385 textových súborov s odkazmi na fotografie zo služby Flickr.com. Číslo uvedené v tabuľke vzniklo automatizovaným spočítaním počtov riadkov všetkých týchto textových súborov.