Elastic edge-based stream processing over Apache Storm

Résumé

Apache Storm est un cadre de traitement de flux distribué conçu pour gérer des flux de données continus, mais son élasticité demeure limitée lorsque les composants sont déployés sur des nœuds hétérogènes et que les débits de données entrants varient au fil du temps. Les travaux existants sur Apache Storm ne traitent pas de manière adéquate la façon dont l’élasticité peut être atteinte sans intervention manuelle ni redémarrage du système. En conséquence, des goulots d’étranglement liés à l’utilisation du processeur et à la bande passante persistent souvent, augmentant ainsi la latence de bout en bout. Cette thèse introduit une couche supplémentaire au-dessus d’Apache Storm afin d’améliorer son élasticité dans des conditions distribuées et dynamiques. La solution proposée aborde à la fois la prévention et la résolution des goulots d’étranglement liés à la bande passante entrante, à la bande passante sortante et aux ressources CPU, dans le but de minimiser la latence globale de traitement. L’élasticité a été obtenue grâce à deux mécanismes complémentaires. Le premier, l’adaptation globale, surveille les performances du système pour décider quand et où créer de nouvelles répliques et quand supprimer en toute sécurité les répliques sous-utilisées sans nuire au débit. Le second, l’adaptation locale, est mis en œuvre au niveau des opérateurs sous la forme d’une stratégie de répartition de charge sensible aux ressources, équilibrant les données entre les répliques en aval. Ensemble, ces mécanismes permettent d’éviter les goulots d’étranglement autant que possible et de les résoudre efficacement lorsqu’ils se produisent. Le système a été implémenté sur Docker pour un déploiement sur des nœuds hétérogènes. Les résultats expérimentaux montrent que le système peut créer et supprimer des répliques à la volée, sans interrompre l’exécution, tout en détectant et en atténuant avec succès les goulots d’étranglement liés au processeur et à la bande passante. Ces mécanismes réduisent considérablement la latence moyenne de bout en bout et améliorent l’utilisation globale des ressources par rapport aux configurations de référence. De plus, les résultats ont montré que la solution proposée peut évoluer de manière fiable dans le cadre expérimental. Cette recherche propose une approche pratique pour renforcer l’élasticité des systèmes de traitement de flux distribués, assurant des performances robustes dans des environnements dynamiques et hétérogènes.

Date	8 déc. 2025
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Julien Gascon-Samson (Directeur(-trice))