Intelligent framework for radio resource management for future heterogeneous wireless networks

Résumé

Avec la croissance rapide du nombre d’appareils liés à l’Internet des objets (IoT), l'allocation efficace des ressources devient de plus en plus cruciale afin de garantir une communication fiable, évolutive et écoénergétique. Cependant, l’hétérogénéité des dispositifs IoT, les déploiements de réseaux denses et la présence d'imperfections matérielles (HWIs) posent d’importants défis aux stratégies d'allocation de ressources conventionnelles. Les réseaux IoT nécessitent une plateforme distribuée et intelligente, capable de s’adapter aux conditions dynamiques du réseau tout en assurant l’exécution de tâches complexes selon les exigences variées des applications. Dans cette thèse, nous faisons progresser l’état de l’art en matière d’allocation de ressources radio pour les réseaux IoT en abordant l’impact combiné de l’interférence et des HWIs. Nous proposons de nouvelles plateformes d’optimisation visant à améliorer la gestion des ressources dans les réseaux IoT, en tenant compte de la variabilité temporelle des canaux et des altérations matérielles induites par des dispositifs non idéaux. Les approches d'optimisation déterministes classiques disponibles à ce jour ne parviennent pas à fournir des solutions optimales en présence de telles altérations stochastiques et inconnues, qui sont difficiles à modéliser et à prévoir. Les techniques classiques d'apprentissage automatique présentent également des limites, car elles reposent généralement sur un apprentissage supervisé et des ensembles de données statiques, ce qui les rend inadaptées à la prise de décision séquentielle dans des environnements dynamiques. L’apprentissage par renforcement (RL) permet de surmonter cette limitation en permettant aux agents d’apprendre des politiques optimales par interaction avec l’environnement, sans nécessiter de modèles explicites. Cependant, les méthodes RL standards ne passent pas bien à l’échelle lorsqu'elles sont confrontées à des espaces d’états et d’actions de grande dimension, comme ceux rencontrés dans les réseaux IoT à grande échelle. Pour répondre à ce défi, nous adoptons l’apprentissage par renforcement profond (DRL), qui exploite des réseaux de neurones profonds comme approximateurs de fonctions afin de capturer des relations complexes et non linéaires et de permettre une prise de décision scalable. Cela rend le DRL particulièrement adapté pour apprendre des politiques d’allocation de ressources à la fois adaptatives et efficaces dans des scénarios IoT réalistes. Le Chapitre 2 aborde le problème de l’allocation de puissance en liaison descendante dans les réseaux d’accès radio en brouillard intégrés aux réseaux IoT, en tenant compte à la fois des HWIs et des interférences co-canal. Plus précisément, nous proposons une plateforme d’allocation de ressources distribuée dans laquelle chaque point d’accès en brouillard fonctionne comme un agent DRL. Ces agents ajustent dynamiquement la puissance d’émission des dispositifs associés en fonction des états observés du réseau, dans le but de maximiser l’efficacité spectrale globale. Pour améliorer davantage la performance de l’apprentissage et la précision des décisions, nous intégrons une stratégie d'apprentissage par ensemble permettant de sélectionner le modèle DRL le plus performant parmi un ensemble de politiques entrainées. Cette intégration améliore significativement la vitesse de convergence et la robustesse dans des environnements réseau dynamiques. Cependant, bien que le Chapitre 2 se concentre sur la maximisation de la capacité réseau des réseaux IoT en supposant la transmission de codes longs (de longueur théoriquement infinie), cette hypothèse devient impraticable dans les réseaux IoT soumis à des contraintes de délai ou les messages sont généralement de courte longueur. En conséquence, les Chapitres 3 et 4 s’attaquent au problème conjoint de regroupement et d’allocation de puissance dans les réseaux industriels de l’Internet des objets, en tenant compte des contraintes de longueur de bloc finie, des HWIs et des interférences co-canal. À cet effet, nous proposons une plateforme distribuée en deux étapes intégrant le regroupement et la gestion de puissance. Dans un premier temps, un algorithme de regroupement glouton est introduit pour organiser les dispositifs en plusieurs groupes. Le clustering glouton est adopté en raison de sa faible complexité computationnelle, de sa scalabilité et de sa capacite à fonctionner avec des informations locales limitées. Pour résoudre le problème d’allocation de puissance, nous développons ensuite un algorithme basé sur l’apprentissage par renforcement profond multi-agent (MADRL) dans lequel chaque groupe agit en tant qu'agent autonome. Cette approche décentralisée améliore l’évolutivité et les performances du réseau tout en assurant une adaptation aux environnements sans fil dynamiques et hétérogènes. Enfin, le Chapitre 5 explore l’allocation de ressources dans les réseaux IoT à technologies d’accès radio multiples, en traitant à la fois les interférences de canaux adjacents et les HWIs. Motivés par l’intégration décentralisée de l’intelligence artificielle dans les systèmes IoT de sixième génération, nous développons une plateforme MADRL dans laquelle chaque dispositif IoT agit comme un agent autonome. Ces agents apprennent continuellement des politiques optimales d’allocation de ressources — y compris la modulation, la puissance d’émission et le taux de codage— à partir d’observations locales. Pour permettre un apprentissage sécurisé et efficace, nous utilisons un réseau jumeau numérique qui permet aux agents d’apprendre dans un environnement simulé et sans risque. Contrairement aux approches existantes qui considèrent les points d’accès ou les groupes comme agents, notre plateforme modélise chaque dispositif comme un apprenant indépendant, renforçant ainsi la flexibilité, l’évolutivité et la capacité d’adaptation. Cette contribution soutient l'évolution vers des systèmes IoT intelligents et auto-organisés, et fait progresser l'application des algorithmes d’apprentissage distribué dans des environnements sans fil complexes et hétérogènes.

Date	26 avr. 2026
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Georges Kaddoum (Directeur(-trice))