Learning features for offline handwritten signature verification

Résumé

La signature manuscrite est, encore aujourd’hui, la modalité biométrique la plus acceptée socialement et légalement, pour authentifier les documents manuscrits et imprimés. Au cours des dernières décennies, plusieurs chercheurs ont abordé le problème de l’automatisation du processus de la vérification des signatures, en utilisant diverses techniques d’apprentissage machine et de reconnaissance de formes. La majorité des travaux de recherche ont porté sur la définition et l’évaluation de représentations discriminantes des signatures, soit en concevant de nouveaux extracteurs de caractéristiques spécialisés, soit en utilisant des extracteurs de caractéristiques développées à d’autres fins. Les chercheurs ont notamment utilisé des connaissances en graphologie, en vision par ordinateur et en traitement du signal. Malgré les progrès realizes à ce jour, la classification des signatures authentiques et des faux avec imitation demeure un problème de recherche non résolu. Dans cette thèse, nous proposons d’aborder ce problème sous un autre angle, en apprenant les représentations de caractéristiques directement à partir d’images de signature. L’hypothèse est que, en l’absence d’un bon modèle du processus de génération de données, il est preferable d’apprendre les caractéristiques à partir des données. Dans la première contribution, nous proposons une méthode pour apprendre les caractéristiques génériques pour plusieurs personnes, en utilisant un objectif d’optimisation substitut. Après la phase d’apprentissage des caractéristiques, un classificateur est entrainé pour chaque personne, en utilisant les caractéristiques apprises à partir d’un corpus de scripteurs indépendant. De plus, on considère une extension de notre méthode qui permet l’apprentissage de caractéristiques en utilisant des images de faux avec imitation (disponibles pour un sous-ensemble d’utilisateurs). On a observé sur quatre bases de signatures que ces caractéristiques sont bien adaptées pour la vérification des signatures provenant de nouveaux utilisateurs qui n’ont pas été utilisés pour l’apprentissage de cette représentation. Les résultats expérimentaux obtenus sur les quatre bases de données ont montré les meilleures performances considérant l’état de l’art. Dans la deuxième contribution, nous examinons trois problèmes liés aux systèmes de verification de signature: (i) l’apprentissage d’une représentation de cardinalité fixe pour des images de signatures de tailles variées; (ii) l’impact de la résolution des images de signatures numérisées sur la performance du système de vérification et (iii) comment les caractéristiques généralisent dans de nouvelles conditions de fonctionnement avec et sans raffinement. Nous proposons des méthodes qui permettent de traiter des signatures de tailles variées et nos simulations montrent des résultats comparables à ceux publiés dans la littérature, sans la contrainte de normaliser la taille des images présentées à l’entrée du réseaux de neurones. Dans la troisième contribution, nous proposons de formuler le problème de la vérification des signatures manuscrites comme un méta-problème. Cette formulation apprend également directement à partir des images de signatures et permet l’optimisation directe de l’objectif (séparer les signatures authentiques des falsifications qualifiées) au lieu de s’appuyer sur des objectifs substituts pour l’apprentissage des caractéristiques. De plus, on montre que cette method peut naturellement faciliter l’adaptation du classificateur pour des nouveaux utilisateurs avec un classificateurs à une classe. Pour ce qui est de la quatrième contribution, nous analysons les limites des systèmes de verification hors ligne de signatures manuscrites dans un contexte d’apprentissage machine antagoniste (adversarial learning), où un adversaire actif essaie de perturber le système. Une nouvelle taxonomie des menaces représentées par les exemples antagonistes pour les systèmes biométrique est proposée. Plusieurs stratégies ont été considérées pour évaluer expérimentalement les attaques basées sur différents scénarios d’objectifs et de connaissance du système attaqué. Nous avons observé que les systèmes de vérification qui reposent sur des caractéristiques définies manuellement et ceux basés sur des caractéristiques apprises aux chapitres precedents sont susceptibles d’attaques antagonistes dans plusieurs scénarios. Notamment, ces systèmes de vérification sont vulnérables aux attaques basées sur une connaissance partielle des mécanismes internes du système, pour lesquels l’attaquant n’a pas accès aux classificateurs déjà entraînés. Bien que certaines défenses proposées dans la littérature augmentent la robustesse de ces systèmes, cette recherche met en évidence les scénarios pour lesquels ceux-ci sont vulnérables.

Date	23 avr. 2019
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Robert Sabourin (Directeur(-trice)) & Luiz Eduardo Soares Oliveira (Codirecteur(-trice))