On Domain-Incremental Learning methods and its applications to forgery detection

Résumé

Un accès facile à des appareils puissants et la diffusion rapide des réseaux sociaux ont entraîné une augmentation sans précédent de la quantité d’images numériques disponibles. Cela a facilité l’essor de la contrefaçon d’images numériques, qui peut être facilement exploitée par des criminels à des fins obscures (fraude à l’assurance, vol d’identité, etc.). Pour identifier les techniques de falsification d’images les plus répandues, des réseaux de neurones convolutifs (CNN) ont été proposés récemment dans la littérature. Néanmoins, ces approches utilisent des hypothèses fortes sur la disponibilité des données et leurs domaines. En particulier, elles supposent que i) les données d’entraînement et de test sont tirées des mêmes distributions, et ii) les domaines des données restent inchangés dans le temps. Nous soutenons que ces hypothèses peuvent cependant limiter l’applicabilité des méthodes de détection de modifications existantes à des scénarios très contraignants. Pour pallier à ces limitations, nous présentons une nouvelle approche d’apprentissage incrémental de domaines (Domain Incremental Learning – DIL) basée sur un mélange de modèles CLIP adaptés par prompt (que l’on appelle MoP-CLIP), qui généralise le paradigme du S-Prompting pour gérer à la fois les données provenant de distributions connues et celles hors distribution lors de l’inférence. Au moment de l’entraînement, nous modélisons la distribution des caractéristiques de chaque classe pour chaque domaine connu, en apprenant des prompts textuels et visuels pour adapter le modèle CLIP à chaque domaine. Lors de l’inférence, les modélisations nous permettent d’identifier si une image appartient à un domaine connu et de sélectionner le bon prompt pour la tâche de classification, ou à un domaine inconnu et d’utiliser la technique à base de mélange proposée. Notre évaluation empirique révèle les limitations des méthodes DIL existantes en présence de changement de domaine, et suggère que le modèle MoP-CLIP proposé a des performances compétitives dans le scénario standard, tout en surpassant les méthodes récentes dans des scénarios avec données hors distribution (Out-of-distribution – OOD). Ces résultats démontrent la supériorité de MoP-CLIP , offrant une solution robuste et générale au problème de l’apprentissage incrémental (de domaines). Nous soulignons également que les algorithmes d’apprentissage incremental doivent être évalués sur des jeux de données représentant des problèmes réels et effectuons une évaluation de ces algorithmes et notre méthode en les appliquant au problème de détection de modifications dans des images naturelles.

Date	14 sept. 2023
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	José Dolz (Directeur(-trice)) & Christian Desrosiers (Codirecteur(-trice))