Towards reliable data-driven sound recognition models: developing attack and defense algorithms

Résumé

La classification des sons environnementaux (CSE) et la reconnaissance automatique de la parole (RAP) ont toujours suscité un intérêt croissant de la part de l’industrie et du monde universitaire en raison de leur vaste gamme d’applications pratiques dans la vie réelle. Par exemple, les réseaux de capteurs multimédias, les systèmes de surveillance et les applications d’assistance vocale intégrées dans nos smartphones utilisent principalement les modèles CSE et RAP. Compte tenu des progrès significatifs réalisés au cours des dernières décennies, la précision de reconnaissance des classificateurs de pointe introduits dans ces domaines a atteint de manière compétitive le niveau de compréhension humain. Cependant, ces modèles de l’état de l’art basés sur des données sont extrêmement vulnérables aux signaux adverses qui sont soigneusement conçus pour tromper les classificateurs vers des sorties incorrectes. Techniquement, un signal contradictoire comporte une légère perturbation qui peut être obtenue par une formulation d’optimisation, et il force le modèle de reconnaissance à prédire des sorties incorrectes prédéfinies par un adversaire. Cela pose un problème de sécurité majeur puisque les signaux adverses ne sont pas non plus détectables par des évaluations subjectives. De plus, ces signaux malveillants sont transférables de manière bijective à des représentations 1D (c’est-à-dire le coefficient cepstral de fréquence Mel - MFCC) et 2D (spectrogrammes 2D) telles que les transformées de Fourier à court terme et les transformées en ondelettes discrètes. Étant donné que la majorité des modèles avancés de CSE et de RAP sont formés sur des représentations, de tels spectrogrammes adverses peuvent effectivement diminuer la précision de reconnaissance de ces modèles. Malheureusement, il existe très peu de recherches sur la défense des classificateurs contre une variété d’attaques adverses ciblées et non ciblées. De plus, ces approches ne sont peut-être pas assez fiables pour protéger les modèles contre les attaques de type boîte blanche et boîte noire. Comme il n’existe pas de définition standard de la fiabilité d’un algorithme de défense adversariale, nous définissons nos propres implications de la fiabilité et imposons trois conditions principales. Premièrement, un algorithme de défense fiable doit éviter toute opération de filtrage susceptible d’obscurcir les informations du gradient ou de briser la matrice jacobienne. Deuxièmement, il devrait faire un compromis raisonnable entre la précision de reconnaissance, la robustesse contre les attaques adverses (taux de tromperie) et la complexité de calcul de l’algorithme afin de fonctionner en temps réel. Troisièmement, il doit être conçu pour produire un classificateur intrinsèquement fort afin de maximiser le coût de l’attaque (par exemple, le nombre total de calculs de gradient requis) pour l’adversaire. De plus, le respect de chacune de ces conditions ne doit pas entrer en conflit avec une autre. Dans cette thèse, nous développons des algorithmes de défense et d’attaque fiables pour les systèmes CSE et RAP avancés de bout en bout et au niveau des représentations, organisés en quatre chapitres et cinq annexes. Notre première contribution est le développement d’un classificateur CSE principalement en ce qui concerne les conditions de fiabilité de notre troisième défense. Plus précisément, nous concevons un classificateur basé sur un ensemble dans la partie frontale, car il est plus robuste contre les attaques adverses. En outre, nous exploitons un réseau antagoniste génératif (RAG) avec des architectures optimisées pour les réseaux générateur et discriminateur en arrière-plan pour l’augmentation du spectrogramme. Nous démontrons que ce cadre de classification surpasse d’autres architectures conventionnelles (par exemple, les machines à vecteurs de support) et celles basées sur l’apprentissage profond sur des ensembles de données CSE de référence. En deuxième lieu, nous développons une approche robuste pour sécuriser les modèles CSE contre un large éventail d’attaques adverses de type boîte blanche et boîte noire. Cet algorithme respecte toutes les conditions de fiabilité de la défense susmentionnées et il réalise un compromis très raisonnable entre la précision de reconnaissance et le taux de tromperie des attaques. En outre, nous étudions le rapport de transférabilité des attaques adverses entre les classificateurs classiques et ceux basés sur les réseaux neuronaux. En fonction de ces résultats, nous avons reconfiguré notre configuration dorsale pour combler l’écart entre la robustesse contre les attaques et les performances du classificateur frontal. Par exemple, nous avons utilisé un filtrage Highboost, une opération de réduction de la dimensionnalité, diverses visualisations de spectrogrammes logarithmiques et un codeur automatique de débruitage convolutif. Les expériences que nous avons menées sur quatre ensembles de données difficiles corroborent les performances supérieures de notre approche de défense par rapport aux autres algorithmes. Notre troisième contribution est la caractérisation expérimentale de la relation inverse entre la précision de reconnaissance et la robustesse du classificateur de la victime contre les attaques adverses ciblées et non ciblées. De plus, nous identifions quelques paramètres du spectrogramme qui contribuent à maximiser le coût de l’attaque pour l’adversaire. Ceci est tout à fait conforme à notre troisième condition de fiabilité qui oblige à développer un classificateur de reconnaissance intrinsèquement fort. Ces paramètres doivent être appliqués avant la production du spectrogramme, de sorte qu’ils n’affectent pas négativement la distribution de la matrice jacobienne, que ce soit pendant l’entraînement ou l’exécution. Comme quatrième contribution, nous développons une approche de défense haut de gamme pour les systèmes RAP de bout en bout, en particulier les modèles de transcription de la parole-en-texte. Cet algorithme est basé sur la synthèse d’un nouveau signal en utilisant la distance d’accord ajustée et il répond entièrement à nos conditions de fiabilité de défense prédéfinies. Nous utilisons un RAG multi-discriminateur avec de nouvelles architectures convolutionnelles avec résidu pour les réseaux générateur et discriminateur. Ensuite, nous entraînons ce modèle génératif dans l’espace de Sobolev car il est étroitement lié aux séries de coefficients de Fourier comme le MFCC. En outre, nous proposons une nouvelle technique de contrainte pour le réseau générateur afin d’améliorer sa stabilité et sa généralisation pendant l’entraînement et l’exécution en temps réel, respectivement. Nous avons mené nos expériences contre des attaques adverses de type boîte blanche et boîte noire qui ont été évaluées sur les systèmes de transcription avancés DeepSpeech, Kaldi et Lingvo. Ces expériences indiquent que l’algorithme de défense proposé surpasse les autres approches en termes de taux d’erreur sur les mots et de précision au niveau des phrases. Le reste de nos contributions qui ont été publiées dans les conférences et letters du journals phares du traitement du signal sont organisées en annexes. Elles comprennent quatre algorithmes de défense et un algorithme d’attaque contradictoire développés pour les systèmes CSE et RAP. Notre principale motivation pour le développement d’un algorithme d’attaque adversarielle est l’introduction d’une attaque rapide et robuste à exploiter dans le cadre de la défense, comme l’entraînement contradictoire.

Date	20 déc. 2021
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Patrick Cardinal (Directeur(-trice)) & Alessandro Lameiras Koerich (Codirecteur(-trice))