Abstract

Exploring the possibility of using machines to achieve body gesture-based activity recognition, and even emotion understanding is a promising topic and drives this research. To facilitate research on this topic with computer vision methods, this thesis makes related contributions via four stages: regular body gesture recognition, micro-gesture dataset and analysis, 3D body gesture transfer and generation, and specific applications. For regular human gestures, two analysis methods are proposed that aim at temporal segmentation and recognition tasks. The first work proposes a novel temporal hierarchical dictionary for hidden Markov model transition with deep neural networks. Then, the second work extends the proposed temporal hierarchical dictionary to a more robust online segmentation and recognition of gesture dynamics. Next, we explore the possibility of emotion understanding from human gestures. In the field of psychology, a specific group of body gestures, called micro-gestures (MGs), are used to interpret the inner feelings of humans. To fill the gap in the research of spontaneous emotional gestures, we collect the first spontaneous MG dataset. A comprehensive analysis of MGs is then conducted, leading to interesting insights. Body gestures transfer and generation is another main research direction in this thesis. We try to achieve the 3D human body gesture transfer that can endow target 3D human models with desired MGs. Then, we research how to learn the disentanglement of 3D human pose and shape in an unsupervised setting. Furthermore, we research the generation of animated 3D sequences of a target human body model by directly taking the driving sequences as inputs. Lastly, we present an application for collaborative learning with gesture analysis in the education field. Specifically, we present an interdisciplinary work that introduces an explainable AI prototype for collaborative learning that seeks to provide interpretable insights with machine learning-based models. In summary, we illustrate the contributions of the work and conclude the advantages and limitations of the current work. Potential future work plans are also discussed.

Tiivistelmä

Ihmisillä on synnynnäinen kyky välittää ja ymmärtää monipuolista tietoa kehonliikkeiden avulla. Tällainen viestintä on läsnä lähes kaikkialla arjen elämässä. Tässä tutkimuksessa tarkastelemme koneen opettamista tunnistamaan toimia ja jopa ymmärtämään tunteita kehon eleiden perusteella. Väitöskirjatutkimuksessa tarkastelemme aihetta konenäkömenetelmillä ja jaamme tulokset neljään kategoriaan: tavanomaisten kehon eleiden tunnistus, mikroeleiden tietoaineisto ja analyysi, kehon eleiden siirtäminen kolmiulotteiseen malliin ja tuottaminen sillä sekä erityiset sovellukset. Tavanomaisten eleiden analyysia varten ehdotamme kahta menetelmää ajalliseen segmentointiin ja tunnistustoimintoihin. Ensimmäisessä työssä ehdotamme uutta, syviä neuroverkostoja hyödyntävää ajallis-hierarkkista sanastoa Markovin piilomallin siirtymille. Toisessa työssä laajennamme ehdotettua ajallis-hierarkkista sanastoa tehokkaammalla verkkopohjaisella segmentoinnilla ja eledynamiikan tunnistamisella. Viitekehys perustuu tila-ajalliseen tarkkaavaisuusverkostoon. Se hyödyntää Lien ryhmien monimuotoisia esityksiä ja oppii kuviot iteratiivisesti. Seuraavaksi tutkimme tunteiden ymmärtämistä ihmiseleistä. Psykologiassa kutsutaan mikroeleiksi tietynlaisten, tunteita ilmentävien ruumiineleiden ryhmää. Mikroeleet, kuten nenän koskettaminen, ovat hienovaraisia, spontaaneja ruumiineleitä, jotka voivat tahattomasti välittää tietoa piilotetuista tunteista. Spontaanien tunne-eleiden tutkimuksen aukon täyttämiseksi kokoamme ensimmäisen spontaaneihin mikroeleisiin keskittyvän tietoaineiston. Seuraavaksi suoritamme mikroeleiden kattavan analyysin, joka johtaa mielenkiintoisiin tuloksiin. Väitöskirjan toinen tärkeä tutkimussuunta on kehon eleiden siirtäminen ja tuottaminen. Yritämme siirtää eleitä kolmiulotteiseen ihmiskehon malliin mahdollistaaksemme haluttujen mikroeleiden tuottamisen. Tämän jälkeen tutkimme koneen opettamista erottamaan kolmiulotteiset asennot ja muodot valvomattomassa ympäristössä. Lisäksi tutkimme animoitujen kolmiulotteisten sekvenssien tuottamista ihmiskehon mallilla käyttämällä ajojaksoja suorina syötteinä. Lopuksi esittelemme eleiden analysointia hyödyntävän yhteistoiminnallisen oppimisen koulutussovelluksen. Tarkemmin sanottuna tarkastelemme poikkitieteellistä työtä, jossa luomme yhteistoiminnalliseen oppimiseen soveltuvan tekoälyn prototyypin, jonka tarkoitus on tuottaa ymmärrettävää tietoa koneoppimiseen perustuvien mallien avulla. Tiivistelmäosiossa havainnollistamme työn tuloksia ja pohdimme nykyisen tutkimuksen etuja ja rajoituksia. Lisäksi tarkastelemme mahdollisia jatkotutkimussuunnitelmia, kuten luotettavien tunnemallien hyödyntämistä ihmiseleiden analysoinnissa sekä 3D-teknologian yhdistämistä affektiiviseen laskentaan.