Energy-aware computational offloading using reinforcement learning techniques

Résumé

Face à l’évolution rapide de la 5G et à l’avènement de l’ère 6G, le déchargement informatique devient un élément clé pour l’exécution de tâches mobiles au sein des infrastructures de calcul en périphérie. Ce changement de paradigme implique le transfert de tâches de calcul gourmandes en ressources vers des serveurs externes à proximité du réseau, offrant ainsi la possibilité d’optimiser l’efficacité. Cependant, afin d’assurer une qualité de service constante pour les nombreux utilisateurs impliqués, une planification méticuleuse des décisions de déchargement doit être prise, ce qui implique potentiellement un transfert de tâches entre sites pour répondre aux diverses exigences d’application des utilisateurs mobiles. Dans ce mémoire, notre attention se porte sur une infrastructure informatique de périphérie multi-accès avec multi-utilisateurs et collaboration multi-sites, où les appareils mobiles ont la capacité de décharger leurs tâches informatiques vers les sites en périphérie disponibles. Notre objectif est de minimiser le délai de bout en bout subi par ces tâches et la consommation d’énergie du système. Ces deux mesures cruciales constituent collectivement le coût global de l’ensemble du système et sont fondamentales pour l’expérience de l’utilisateur. Le défi central consiste à coordonner ces objectifs, garantissant une convergence harmonieuse de l’optimisation des performances, de la satisfaction de l’utilisateur et de l’efficacité énergétique. Pour relever ce défi, nous introduisons un mécanisme sophistiqué en deux étapes basé sur l’apprentissage par renforcement, une approche de pointe qui nous permet d’affiner de manière itérative les décisions des appareils mobiles concernant le déchargement des tâches vers les serveurs en périphérie, ainsi que les décisions de ces derniers concernant le transfert des tâches entre eux. Ce processus itératif d’optimisation est au cœur de notre approche, guidant la coordination fluide des tâches informatiques pour atteindre un équilibre délicat entre de faibles latence et l’efficacité énergétique. La première étape est celle où les appareils mobiles déterminent de manière autonome s’ils doivent décharger leurs tâches vers les serveurs au périphérie auxquels ils sont connectés ou les exécuter localement. Cette décision de déchargement des tâches distribuée est prise en utilisant un mécanisme itératif basé sur l’apprentissage par renforcement appelé Stochastic Learning Automata (SLA). La deuxième étape, qui assure l’équilibrage de la charge sur l’infrastructure en périphérie, est réalisée à l’aide d’un Deep Q-Network (DQN) formé hors ligne et utilisé à la fin de chaque itération de la première étape. Ces deux étapes sont intégrées dans un mécanisme de déchargement informatique coopératif multi-tours qui optimise de manière itérative les décisions prises à la fois par les appareils mobiles et les sites en périphérie, conduisant finalement à la convergence stable du problème d’optimisation. Nos résultats expérimentaux avec différents nombres d’appareils mobiles et sites en périphérie montrent que notre solution réduit la latence et la consommation d’énergie des appareils mobiles. Comparé à la solution proposée par des travaux antérieurs qui ne prend pas en charge l’équilibrage de la charge au niveau de l’infrastructure en périphérie, notre solution obtient de meilleurs résultats.

Date	8 déc. 2023
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Aris Leivadeas (Directeur(-trice))