Structural pruning of convolutional neural networks for efficient and sustainable model optimization

Résumé

La prolifération des réseaux neuronaux convolutionnels profonds (CNN) a profondément transformé le paysage de la vision par ordinateur et des systèmes autonomes. Toutefois, les performances de pointe de ces modèles reposent largement sur une sur-paramétrisation extrême, conduisant à un paradigme de « Red AI » caractérisé par une surcharge computationnelle massive et un impact environnemental significatif. Bien que l’élagage structurel se soit imposé comme une solution majeure pour le déploiement de ces modèles sur des dispositifs embarqués aux ressources limitées, les méthodologies actuelles souffrent de trois goulets d’étranglement critiques : une forte dépendance aux données d’entraînement originales pour l’analyse de saillance, un « coût de recherche » élevé induit par des algorithmes gloutons itératifs, et une absence d’ancrage théorique concernant les interdépendances fonctionnelles entre les couches neuronales. Cette thèse répond à ces défis en établissant un cadre de compression structurelle mathématiquement fondé, sans données, et durable. La contribution théorique centrale de cette recherche consiste à dépasser les heuristiques empiriques fondées sur la magnitude au profit d’une investigation principielle de la propagation du signal. Nous dérivons des bornes supérieures analytiques pour l’erreur absolue moyenne (Average Absolute Error, AAE) propagée d’une couche élaguée vers la suivante. En modélisant le réseau comme une séquence de variétés interdépendantes plutôt que comme un ensemble de couches isolées, ce cadre caractérise l’« impact en cascade » des modifications structurelles. Nous démontrons en outre la propriété de γ-weak de notre fonction d’importance, fournissant une garantie mathématique rigoureuse quant à la stabilité et à la convergence du processus de sélection. Cette base théorique permet d’identifier la redondance en exploitant uniquement les propriétés algébriques intrinsèques des tenseurs de poids, rendant possible un élagage entièrement sans données qui préserve la fidélité représentationnelle du réseau sans nécessiter l’accès à des distributions d’entraînement sensibles. Afin de résoudre les inefficacités computationnelles de l’élagage traditionnel, cette thèse introduit un paradigme de sélection oblivious (en un seul passage). Les algorithmes gloutons conventionnels, bien que localement optimaux, imposent une taxe de complexité en raison de leurs exigences d’inférence itérative. Nos travaux mettent en évidence un « écart complexité-performance », démontrant qu’un algorithme oblivious bien informé peut atteindre une parité de précision prédictive avec les variantes gloutonnes pour un coût temporel nettement inférieur. Cette efficacité garantit que le processus d’optimisation lui-même demeure durable, évitant que l’empreinte carbone de la phase d’élagage ne dépasse les économies énergétiques réalisées lors de l’inférence du modèle. Une innovation structurelle majeure présentée dans ce travail réside dans la transition d’un paradigme binaire d’« élagage par élimination » vers une stratégie plus fine de remplacement de filtres non nuls. Dans de nombreuses régions architecturales à forte sensibilité, la suppression totale d’un filtre (remplacement par un « filtre nul ») entraîne un effondrement catastrophique de la variété du signal. Nous proposons un cadre d’optimisation qui substitue les filtres redondants par des alternatives mathématiquement optimisées et de dimension inférieure. Cette stratégie de remplacement préserve le « flux de connaissance » au sein du réseau et fournit une initialisation architecturale plus stable. Elle s’avère particulièrement efficace dans des environnements contraints en données ou dans des scénarios où le ré-entraînement post-élagage est limité, offrant un compromis supérieur entre parcimonie structurelle et précision. Au-delà des performances algorithmiques, cette thèse opérationnalise le concept de durabilité environnementale à travers l’introduction de la métrique d’efficacité des ressources (Resource Efficiency, RE). La métrique RE fournit un protocole standardisé pour quantifier le cycle de vie computationnel total de l’optimisation du modèle, en prenant en compte l’analyse de saillance, la sélection et la phase de récupération. Nous proposons également un modèle d’empreinte carbone indépendant du matériel afin d’estimer les équivalents CO2 (CO2e) du cycle de vie de l’élagage. Cette approche déplace l’évaluation des algorithmes de compression d’indicateurs statiques de vitesse d’inférence vers une analyse complète du cycle de vie, garantissant que le développement d’une IA efficiente soit lui-même un processus efficient. Les méthodologies proposées ont été validées sur un ensemble de bancs d’essai standards, incluant les architectures VGG, ResNet et MobileNet, évaluées sur les jeux de données CIFAR-10 et ImageNet. Les résultats démontrent que le cadre sans données proposé atteint de manière systématique des performances de pointe (state-of the-art, SOTA), en maintenant une haute précision même sous des taux d’élagage agressifs. Les résultats confirment que la sélection oblivious et le remplacement non nul constituent une chaîne d’optimisation robuste, rapide et simple. L’impact de cette recherche est attesté par sa diffusion dans des revues académiques de premier plan. Les dérivations théoriques et les paradigmes sans données ont fait l’objet d’une évaluation par les pairs et ont été publiés dans IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), IEEE Transactions on Neural Networks and Learning Systems (TNNLS) et IEEE Signal Processing Letters. Ces publications établissent le cadre proposé comme une contribution fondamentale au domaine de l’intelligence artificielle durable. Cette thèse propose ainsi une solution complète aux inefficacités de la compression moderne des réseaux neuronaux. En comblant le fossé entre la théorie de l’optimisation mathématique et l’ingénierie pratique, ce travail établit un nouveau standard pour une optimisation de modèles sans données, consciente des interdépendances et respectueuse de l’environnement. Le cadre développé constitue un outil essentiel pour la prochaine génération de systèmes intelligents haute performance, permettant le déploiement d’architectures neuronales complexes en périphérie tout en respectant les impératifs globaux de la « Green AI ».

Date	22 juil. 2026
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Kim Khoa Nguyen (Directeur(-trice))