Passer à la navigation principale Passer à la recherche Passer au contenu principal

Adversarial Robustness Via Fisher-Rao Regularization

  • Marine Picot
  • , Francisco Messina
  • , Malik Boudiaf
  • , Fabrice Labeau
  • , Ismail Ben Ayed
  • , Pablo Piantanida
  • McGill University
  • Laboratoire des Signaux et Systèmes
  • École de technologie supérieure

Résultats de recherche: Contribution à un journal › Article publié dans une revue, révisé par les pairs › Revue par des pairs

19 Citations (Scopus)

Résumé

Adversarial robustness has become a topic of growing interest in machine learning since it was observed that neural networks tend to be brittle. We propose an information-geometric formulation of adversarial defense and introduce Fire, a new Fisher-Rao regularization for the categorical cross-entropy loss, which is based on the geodesic distance between the softmax outputs corresponding to natural and perturbed input features. Based on the information-geometric properties of the class of softmax distributions, we derive an explicit characterization of the Fisher-Rao Distance (FRD) for the binary and multiclass cases, and draw some interesting properties as well as connections with standard regularization metrics. Furthermore, we verify on a simple linear and Gaussian model, that all Pareto-optimal points in the accuracy-robustness region can be reached by Fire while other state-of-the-art methods fail. Empirically, we evaluate the performance of various classifiers trained with the proposed loss on standard datasets, showing up to a simultaneous 1% of improvement in terms of clean and robust performances while reducing the training time by 20% over the best-performing methods.

Langue originaleAnglais
Pages (de - à)2698-2710
Nombre de pages13
RevueIEEE Transactions on Pattern Analysis and Machine Intelligence
Volume45
Numéro de publication3
Les DOIs
ÉtatPublié - 1 mars 2023

Classification disciplinaire ASJC Scopus

  • Logiciel
  • Vision par ordinateur et reconnaissance de formes
  • Mathématiques et théorie de l'informatique
  • Mathématiques appliquées
  • Intelligence artificielle

Empreinte digitale

Voici les principaux termes ou expressions associés à « Adversarial Robustness Via Fisher-Rao Regularization ». Ces libellés thématiques sont générés à partir du titre et du résumé de la publication. Ensemble, ils forment une empreinte digitale unique.

Citer cette ressource