Abstract Humans, even children, can acquire abundant information from limited data, while current deep learning techniques are data-hungry and cannot rapidly generalize from a few samples. Inspired by human intelligence, Few-Shot Learning (FSL) has emerged, aiming to solve target tasks with only a few labeled examples. As a hypothesis in FSL, a large auxiliary labeled dataset is required for offline training first, and then the acquired knowledge is transferred to the downstream FSL task. Notably, another gap between humans and machines is that humans can constantly perceive and learn new concepts without forgetting previous knowledge. Even using FSL techniques, the trained model still suffers the catastrophic forgetting issue. This thesis contributes to the research on Few-Shot Learning (FSL) for image classification from two aspects: 1) Unsupervised FSL (UFSL): How to transfer prior knowledge learned from a fully unlabeled auxiliary dataset to novel tasks with a few examples? 2) Few-Shot Continual Learning (FSCL): How to continually learn FSL tasks? In the first part of this thesis, one meta-learning-based method is proposed to explore the coarse-to-fine pseudo supervision from the unlabeled auxiliary dataset for the downstream FSL task, which is deemed as more comprehensive supervision than previous methods. This method aims to optimize the meta-task sampling process in the unsupervised meta-training stage, which is one of the dominant factors for improving the performance of meta-learning-based FSL algorithms. In the second part of this thesis, the research on FSCL mainly focuses on three aspects: (1) The configuration of Few-Shot Class-Incremental Learning (FSCIL). Targeting the unresolved issues, the FSCIL is reconfigured with the open-set hypothesis by reserving the possibility in the first session for incoming categories. (2) Semi-supervised FSCIL (Semi-FSCIL). The pioneering Semi-FSCIL work is conducted, which requires CNN models incrementally to learn new classes from very few labeled samples and a large number of unlabeled samples. To handle the adaptability issue brought by unlabeled data, two uncertainty-aware methods are proposed to explore the upper bound of performance improvement with unlabeled samples. (3) Generalized Few-Shot Continual Learning (GFSCL). A more practical protocol is set up considering both class- and domain-incremental situations together with the domain generalization assessment. Subsequently, a rehearsal-free framework for GFSCL based on Vision Transformer (ViT) is further established.

Tiivistelmä Ihmiset, jopa lapset, kykenevät hankkimaan laajan määrän tietoa rajatusta datasta, mutta tämänhetkiset syväoppimistekniikat vaativat paljon dataa eivätkä pysty generalisoimaan muutamasta näytteestä. Inspiroituneena ihmisen älykkyydestä on kehitetty pieneräoppimista, jonka tarkoituksena on ratkaista ongelmia vain muutamalla näytteellä. Pieneräoppiminen käyttää hyödykseen suurta ylimääräistä tietolähdettä esiopetukseen, josta tieto siirretään haluttuun ongelmaan. Toisena ongelmana ihmisten ja koneiden välillä on se, että ihmiset voivat jatkuvasti havainnoida ja oppia uusia konsepteja ilman vanhojen unohtamista. Koneoppimismallit kärsivät katastrofaalisen unohtamisen ongelmasta, vaikka käytettäisiin pieneräoppimista. Tässä väitöskirjassa esitetään seuraavat ratkaisut pieneräoppimisen tutkimukseen. Ensimmäiseksi esitellään ohjaamaton pieneräoppiminen: miten siirtää ennalta opittu tieto luokittelemattomasta tietolähteestä uuteen tehtävään käyttäen vain muutamaa näytettä? Toiseksi jatkuva pieneräoppiminen: miten oppia jatkuvasti eri pienerätehtäviä? Ensimmäisessä osassa tätä väitöskirjaa esitellään metaoppimiseen perustuva tekniikka, joka käyttää hyödykseen karheasta yksityiskohtiin lähestymistapaa esiopetuksessa, mikä on kattavampi edellisiin tekniikoihin verrattuna. Esitetty tekniikka pyrkii optimoimaan metatehtävän näytteistystä esiopetus vaiheessa, mikä on yksi hallitsevista tekijöistä meta-pieneräoppimistekniikoiden suoritustehokkuuteen. Väitöskirjan toisessa osuudessa esitellään jatkuvaa pieneräoppimista kolmesta eri näkökulmasta. 1) Inkrementaalisen pieneräoppimisen asetelma määritellään uudelleen käyttäen avoimen joukon hypoteesia, mikä mahdollistaa uusien luokkien käytön ensimmäisessä tilanteessa. 2) Osittain ohjatussa inkrementaalisessa pieneräoppimisessa malli oppii inkrementaalisesti uusia luokkia hyvin pienestä määrästä luokiteltua dataa ja suuresta määrästä ei-luokiteltua dataa. Luokitellun ja ei-luokitellun datan sopeutuvuus ongelmaan esitetään kaksi epävarmuutta huomioivaa tekniikkaa. 3) Käytännöllisempää protokollaa käsitellään generalisoidussa pieneräoppimisessa, jossa ongelmana on sekä luokkien että alueiden inkrementaalinen oppiminen. Sen lisäksi esitellään harjoitteluvapaa viitekehys generalisoituun pieneräoppimiseen.