Reinforcement learning-driven adaptive spectrum utilization in cognitive B5G networks

Résumé

La croissance des services sans fil et des appareils connectés a accru la demande en spectre radio. L’allocation statique du spectre ne pouvait pas répondre pleinement à cette demande, car les bandes licenciées peuvent demeurer sous-utilisées selon le lieu et le moment. Les réseaux radio cognitifs (CRN) ont permis aux utilisateurs secondaires (SU) d’accéder au spectre disponible tout en préservant la priorité des utilisateurs primaires (PU). Une utilisation efficace du spectre dans ces réseaux exigeait une détection fiable, des décisions d’accès efficaces, une coordination du côté infrastructure, de la résilience et une gestion de la confiance. Dans ces travaux, nous avons amélioré l’utilisation du spectre en abordant la détection coopérative du spectre, l’accès au spectre du côté SU et la coordination entre les nœuds qui consomment le spectre et ceux qui l’allouent. Ces tâches impliquaient des décisions séquentielles sous incertitude et des interactions couplées entre utilisateurs et niveaux du réseau. Nous avons donc utilisé l’apprentissage par renforcement pour soutenir des décisions adaptatives de détection, d’accès et de coordination. Premièrement, nous avons développé l’apprentissage par renforcement multi-agent partiellement coopératif (PCMARL) pour la détection coopérative du spectre dans les réseaux radio cognitifs de l’Internet des objets soumis à des attaques de falsification des données de détection du spectre. PCMARL a permis aux SU de coopérer de manière sélective et a amélioré la fiabilité de la détection et l’efficacité énergétique sans coopération complète de tout le réseau. Deuxièmement, nous avons étendu l’optimisation du côté SU de la détection vers la détection et l’accès conjoints. Le cadre IMPACT a optimisé la participation à la détection, la coopération, la sélection des canaux et la puissance de transmission sous information imparfaite sur l’état du canal. Comme le contrôle d’accès exigeait à la fois des décisions discrètes et un contrôle continu de la puissance, nous avons introduit une formulation d’apprentissage à actions hybrides pour l’accès coopératif au spectre. Troisièmement, nous avons ajouté le côté allocation et coordination du réseau. Le cadre d’apprentissage par renforcement hiérarchique fédéré (F-HRL) a coordonné les SU, les stations de base de nouvelle génération, les véhicules aériens sans pilote et les stations à plateformes de haute altitude. Cette architecture a soutenu l’allocation des accès, la priorité des PU, l’ordonnancement tenant compte de la confiance, la fédération préservant la confidentialité et la continuité du service lors de perturbations de l’infrastructure. Dans l’ensemble, les résultats ont montré que l’amélioration de l’utilisation du spectre exigeait l’optimisation de la détection et de l’accès du côté SU, ainsi que la coordination du côté allocation, la résilience de l’infrastructure, l’agrégation fédérée et le contrôle tenant compte de la confiance. Ces travaux ont développé un cadre intégré fondé sur l’apprentissage pour une gestion résiliente du spectre dans les futurs réseaux sans fil.

Date	4 juil. 2026
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Georges Kaddoum (Directeur(-trice))