High performance machine learning platform development and applications

Résumé

L’apprentissage automatique (ML) et l’apprentissage profond (DL) sont en plein essor. Cependant, les algorithmes sous les ML et les DL impliquent beaucoup de travail informatique à haute densité. L’unité centrale de traitement (CPU) traditionnelle n’a que peu de threads de calcul. Et chaque thread doit exécuter des instructions en séquence. Ainsi, même les processeurs possèdent une fréquence plus élevée, ils doivent traiter des dizaines de milliers de tâches informatiques une par une. Au contraire, Graphics Processing Unit (GPU) et Field Programmable Gate Array (FPGA) possèdent souvent des dizaines de milliers d’unités de calcul, qui peuvent efficacement effectuer des calculs parallèles pour améliorer considérablement les performances d’entraînement et d’inférence du modèle. Nous proposons dans cette thèse une nouvelle méthodologie de conception hybride GPU-FPGA pour relever le défi ci-dessus de formation et d’inférence de calcul haute densité. Selon la méthodologie de conception, nous avons développé une nouvelle plate-forme ML ou DL hétérogène basée sur GPU-FPGA. Étant donné que les algorithmes d’apprentissage sont souvent modifiés et que la programmation GPU est beaucoup plus simple et flexible que les FPGA, la phase d’apprentissage est implémentée sur le GPU. Sinon, nous effectuons la phase d’inférence sur le FPGA en nous basant sur les deux raisons suivantes : La première est que nous modifions à peine la conception de l’algorithme d’inférence. L’autre est que les FPGA ont une efficacité énergétique plus élevée et un délai inférieur à celui des GPU. De plus, étant donné que les deux plates-formes ont des formats de fichier de modèle différents et ne peuvent pas être substitués directement, nous avons conçu un convertisseur de modèle entre les deux phases pour convertir le modèle de la plate-forme d’entraînement à la plate-forme d’inférence. Pour évaluer la méthodologie ci-dessus et les performances de la plate-forme, nous avons mis en place un réseau neuronal convolutif (CNN) pour reconnaître les chiffres manuscrits et un réseau neuronal profond (DNN) pour prédire l’efficacité d’utilisation de l’énergie (PUE) du centre de données avec la méthodologie de conception hybride sur l’hétérogénéité Plate-forme. De plus, les résultats expérimentaux ont montré que notre approche a obtenu une amélioration significative des performances sur la formation et l’inférence ML. De plus, afin d’évaluer pleinement notre conception ML hybride, nous avons étendu les expériences pour inclure deux approches de reconstruction spectrale. Ces deux méthodes sont conçues pour résoudre le problème gravement sous-contraint de la reconstruction d’images multispectrales à partir d’images RVB. Le coeur de ces deux méthodes tourne autour de la façon de générer des informations multispectrales qui sont perdues en raison de la compression. La première approche est basée sur Variational Autoencoder (VAE) et Generative Adversarial Network (GAN). Le VAE extrait les informations sur les caractéristiques clés des images RVB d’entrée via l’encodeur, les reparamétre avec une valeur échantillonnée au hasard à partir de la distribution normale, puis restaure les sorties de type MSI via le décodeur. Le GAN est chargé d’entraîner le générateur à générer des images de type MSI à partir de vecteurs latents reparamétrés. Le GAN est chargé d’apprendre au générateur à créer des images de type MSI à partir de vecteurs latents reparamétrés. Le problème de la reconstruction des MSI à partir de RVB peut être résolu avec un faible coût de calcul. La deuxième méthode est appelée Taiji Generative Neural Network (TaijiGNN), qui combine le GAN cyclé et l’ancienne philosophie chinoise "Taiji". TaijiGNN se compose d’une paire de générateurs fonctionnant dans des directions opposées. La sortie d’un générateur est connectée à l’entrée de l’autre, formant une structure en boucle. Cette structure de boucle peut faire passer l’entrée à travers le domaine de sortie, puis revenir au domaine d’entrée. Par conséquent, TaijiGNN peut convertir le problème de la comparaison d’images dans différents domaines en un problème de comparaison d’images dans le même domaine. Dans le même domaine, le problème sévèrement sous-contraint évoqué ci-dessus peut être résolu naturellement. De plus, TaijiGNN a absorbé l’essence du Taiji pour entraîner la paire de générateurs. Pendant le processus d’entraînement, la paire de générateurs fonctionne comme un couple, utilisant leurs propres avantages pour se compléter, s’aidant mutuellement à atteindre la convergence, de sorte que l’ensemble du système entre dans un état d’équilibre dynamique, très similaire au "Yin" de Taiji. " et " Yang " mode de travail bipolaire. Nous utilisons deux ensembles de données spectrales classiques, CAVE et ICVL, pour évaluer VAE-GAN et TaijiGNN. Et ces deux approches utilisent beaucoup moins de données d’entraînement que l’état de l’art et atteignent ou dépassent leurs résultats. De plus, les deux approches sont implémentées et vérifiées sur une plate-forme informatique hétérogène conçue à l’aide de notre méthodologie hybride d’apprentissage automatique. Leurs vitesses d’entraînement et d’inférence ont été grandement améliorées.

Date	14 oct. 2021
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Abdelouahed Gherbi (Directeur(-trice)) & Mohamed Cheriet (Codirecteur(-trice))