Semi-supervised machine learning techniques for classification of evolving data in pattern recognition

Résumé

La quantité de données enregistrées et traitées au cours des dernières années a augmenté de façon exponentielle. Pour créer des systèmes intelligents qui peuvent apprendre de ces données, nous devons être en mesure d’identifier les modèles cachés dans les données elles-mêmes, apprendre ces modèles et prédire les résultats futurs sur la base de nos observations actuelles. Si nous pensons à ce système dans un contexte temporel, les données elles-mêmes évoluent, tout comme la nature du problème de classification. Lorsque plus de données deviennent disponibles, différents algorithmes de classification sont adaptés à un contexte particulier. Au début de la phase d’apprentissage lorsque nous disposons d’une quantité limitée de données d’entrainement, les algorithmes d’apprentissage en ligne sont plus appropriés. Lorsque de grandes quantités de données deviennent disponibles, nous avons besoin d’algorithmes qui peuvent traiter de grandes quantités de données partiellement étiquetées dues à la limitation d’étiquetage manuel. Un exemple typique où les données évoluent est la reconnaissance de geste. Ce dernier exemple est présent tout au long de notre travail. Nous avons besoin des systèmes de reconnaissance des gestes pour fonctionner rapidement et avec très peu d’échantillons au début. Au cours du temps, nous sommes en mesure de collecter plus de données pour que la performance du système s’améliore. À mesure que le système évolue, l’utilisateur s’attend à ce qu’il fonctionne mieux et qu’il n’ait plus besoin de s’impliquer lorsque le classificateur est incertain quant aux décisions. Dans cette dernière situation des données supplémentaires non étiquetées sont alors produites. Un autre exemple typique d’une application est la classification de données médicales, où le temps des experts (cliniciens, chirurgiens) est une ressource rare et la quantité de données reçues et étiquetées augmente de façon déséquilibrée au cours du temps. Bien que le processus de l’évolution des données soit continu, nous pouvons identifier trois contributions dans différents scénarios. Lorsque le système est nouveau avec peu de données, l’apprentissage en ligne est utilisé pour apprendre après chaque échantillon et capturer les connaissances très rapidement. Avec l’augmentation de quantités de données, les techniques d’apprentissage hors ligne deviennent davanatge applicables. Une fois que la quantité de données est massive et que le processus d’étiquetage ne couvre pas toutes les données, nous avons une autre configuration qui combine les données étiquetées et celles non étiquetées. Ces trois configurations définissent nos axes de contributions avec comme applications la reconnaissance des gestes et la reconnaissance de croquis en ligne. La configuration d’apprentissage en ligne fait largement restreindre la gamme de techniques qui peuvent être utilisées. Pour les applications que nous visons, la technique de base que nous avons adopté est le modèle évolutif TS-Fuzzy (Evolving TS-Fuzzy Model). L’aspect semi-supervisé que nous utilisons est en fait la relation entre les règles créées par ce modèle. Plus précisément, nous proposons un modèle de similarité transductive qui utilise la relation entre les règles générées en fonction de leurs décisions sur un échantillon pendant le temps d’inférence. L’activation de chacune de ces règles est ajustée en fonction de la similarité transductive, et la nouvelle décision est obtenue en utilisant l’activation ajustée. Nous proposons également plusieurs nouvelles variantes de la similarité transductive elle-même. Une fois la quantité de données devenue importante, nous outre-passons la configuration de l’apprentissage en ligne en bénéficiant du scénario d’apprentissage hors ligne, qui donne en général de meilleurs résultats à cause de l’indépendance de l’ordre des échantillons et l’optimisation globale par rapport à tous les échantillons. Nous utilisons des méthodes génératives pour obtenir des données hors de l’ensemble de données d’apprentissage. Plus précisément, nous visons à améliorer le modèle TS Fuzzy précédemment mentionné en incorporant l’apprentissage semi-supervisé dans la configuration de l’apprentissage hors ligne sans compter sur les données non étiquetées. Nous utilisons l’approche d’apprentissage ‘Universum’ et avons développé une méthode appelée UFuzzy. Cette méthode s’appuie sur des exemples générés artificiellement avec une incertitude élevée (ensemble Universum) et ajuste la fonction de coût de l’algorithme pour forcer la limite de décision pour être proche des données Universum. Nous étions en mesure de prouver l’hypothèse derrière la conception du classificateur UFuzzy que l’apprentissage Universum peut améliorer le TS Fuzzy Model et avons obtenu des performances améliorées pour plus de deux douzaines de base de données et d’applications. Avec l’augmentation de la quantité de données, on utilise le dernier scénario, dans lequel les données comprennent à la fois des données étiquetées et des données non étiquetées supplémentaires. Dans cette partie de notre travail, nous visons à améliorer les techniques d’autoapprentissage (self-training) largement populaires, et leur successeur aide-à-l‘apprentissage (help-training en anglais), qui sont à la fois des méta-cadre de travail (meta-frameworks) audessus des méthodes régulières de classification mais qui exigent une représentation probabiliste des résultats de classification, ce qui peut être difficile à obtenir par les classificateurs discriminatifs. Par conséquent, nous proposoons un nouvel algorithme qui utilise la technique d’apprentissage actif modifié requête-par-comité (QbC ou Query-by-Committee) pour échantillonner les données avec une grande certitude à partir de l’ensemble non étiqueté et ensuite les intégrer dans l’ensemble d’entraînement original. Notre nouvelle méthode nous permet d’obtenir des performances accrues sur une large gamme de base de données et de classificateurs. Ces trois travaux sont connectés en relaxant graduellement les contraintes sur le cadre d’apprentissage dans lequel nous opérons. Bien que notre motivation principale était d’améliorer les performances dans diverses tâches du monde réel (reconnaissance de gestes, reconnaissance de croquis), nous avons formulé notre travail en tant que méthodes générales de telle sorte qu’elles puissent être utilisées en dehors d’une configuration d’application spécifique, avec la seule spécificication que les données sous-jacentes évoluent au cours du temps. Chacune de ces méthodes peut exister séparément avec succès. La meilleure configuration dans laquelle ells peuvent être utilisées est le problème d’apprentissage où les données évoluent avec le temps. Il est également possible de discrétiser le processus évolutif. Dans l’ensemble, ce travail représente une contribution importante dans le domaine de l’apprentissage semi-supervisé et de la reconnaissance des formes. Il présente de nouvelles methods s’apparentant au contexte de collecte de données et dont la performance dépasse celle des techniques de l’état de l’art. Ce travail ouvre également de nouvelles possibilités pour la recherche future.

Date	7 août 2017
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Mohamed Cheriet (Directeur(-trice))