Online incremental learning from scratch with application to handwritten gesture recognition

Résumé

Ces dernières années, nous avons été témoins d’importante croissance de données traitées par les ordinateurs à travers le monde dans le but d’extraire des connaissances utiles. Pour une prise de décision rapide, l’arrivée de nouvelles données n’est pas limitée par le temps et leurs caractéristiques peuvent aussi changer avec le temps. Les connaissances stockées dans les machines doivent être mises à jour. Dans l’apprentissage automatique traditionnel, ceci peut être fait par réapprentissage sur les nouvelles données. Cependant, avec la disponibilité constante de volume élevé de données, le processus devient complexe, ce qui rend cette tâche très difficile à réaliser. Des méthodes d’apprentissage en ligne ont été proposées non seulement pour palier au problème de traitement de volume élevé de données, mais aussi pour rendre le système agile et adaptable à la nature des données qui changent dans le temps. L’apprentissage en ligne assure la simplicité de la mise à jour du modèle en découplant mise à jour à la fois de l’ensemble du processus. Un tel processus d’apprentissage est souvent désigné comme apprentissage incrémental, où l’ordinateur apprend par des petits incréments afin de construire l’ensemble global des connaissances. L’objectif de cette recherche est de contribuer à l’apprentissage incrémental en ligne pour le problème de reconnaissance de formes et plus spécifiquement, la reconnaissance de symbols manuscrits. Dans ce travail, nous nous concentrons sur les problèmes spécifiques de l’apprentissage en ligne ayant un rapport avec le dilemme stabilité-plasticité (stability-plasticity) tout en assurant un traitement rapide. Guidés par l’application et le but de la recherche, nous appliquons nos solutions aux modèles Neuro-Floue (Neuro-Fuzzy). Le concept de modélisation Neuro-floue est basé sur la division de l’espace des classes inséparables superposées en sous-problèmes régis par des règles floues, où le classement est assuré par un modèle linéaire simple à utiliser ensuite pour obtenir un résultat combiné du modèle, à savoir, seulement une partie linéaire. Chaque symbole manuscrit peut être représenté par un certain ensemble de symboles d’une classe qui se ressemblent mais qui varient à l’interne. Ainsi, chaque classe apparaît difficile à décrire par un modèle simple. En la divisant en un certain nombre de problèmes plus simples, la tâche de décrire la classe devient plus faisable, ce qui constitue notre principale motivation pour choisir des modèles Neuro-Floue. Pour contribuer au traitement en temps réel, tout en maintenant un taux de reconnaissance élevé, nous avons développé la similarité incrémentale, une mesure de similarité utilisant l’apprentissage incrémental et, surtout, des mises à jour simples. Notre solution a été appliquée à un certain nombre de modèles qui a donné des résultats prometteurs. Souvent, la distribution des classes n’est pas uniforme, c’est-à-dire qu’il y a des blocs d’occurrences et de non-occurrences de certaines classes. Par conséquent, si une classe donnée n’est pas utilisée pendant un certain temps, elle sera oubliée. Puisque les modèles utilisés dans nos recherches utilisent les moindres carrés récursifs, nous avons proposé la méthode ‘Mémoire élastique d’apprentissage’ (Elastic Memory Learning), une méthode pour ce type d’optimisation qui a permis d’obtenir des résultats significativement meilleurs. L’utilisation d’hyper-paramètres tend à être une nécessité pour de nombreux modèles. Cependant, la fixation de ces paramètres est réalisée par la validation croisée (cross-validation). Dans l’apprentissage en ligne, la validation croisée n’est pas possible, en particulier pour l’apprentissage en temps réel. Dans notre recherche nous avons développé un nouveau modèle qui, au lieu de fixer ses hyper-paramètres, les utilise comme des paramètres appris de manière automatique selon les tendances changeantes des données. A partir de là, toute la structure du modèle doit être auto-adaptée à chaque fois, ce qui donne notre proposition d’un modèle de Neuro-Floue auto-organisé (SO-ARTIST). Puisque l’apprentissage incrémental en ligne apprend à partir d’un point de données à la fois; au début il n’y en a qu’un. Ceci est appelé démarrage à partir de zéro et conduit à une faible généralisation du modèle au début du processus d’apprentissage, c’est-à-dire une variance élevée. Dans notre travail, nous avons intégré un modèle basé sur la théorie Cinématique pour générer des données synthétiques dans le pipeline d’apprentissage en ligne, ce qui a conduit à une variance significativement plus faible au stade initial du processus d’apprentissage. Au total, ce travail a contribué à un certain nombre de nouvelles méthodes dans le domaine de l’apprentissage en ligne qui ont été publiés dans des Journaux internationaux et presents dans des conférences internationales. Le but principal de cette thèse a été atteint et tous les objectifs ont été abordés. Nos résultats ont montré un impact significatif dans ce domaine.

Date	7 août 2017
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Mohamed Cheriet (Directeur(-trice))