Enhancing data accessibility in built asset digital twins with neural language models and immersive technologies

Résumé

La transformation numérique rapide dans les secteurs de l’architecture, de l’ingénierie, de la construction et de la gestion des installations a suscité un intérêt croissant pour le jumelage numérique des actifs bâtis - créant des représentations virtuelles basées sur les données qui reflètent les états et les comportements des composants et systèmes d’actifs construits du monde réel. Pour actualiser le plein potentiel des jumeaux numériques - en tant que représentations dynamiques et axées sur les données des actifs physiques - il est essentiel d’intégrer des flux de données en temps réel à des informations statiques. Dans cette optique, les systèmes de modélisation des informations du bâtiment (BIM) et de l’internet des objets (IoT) peuvent servir de composants fondamentaux des jumeaux numériques des actifs bâtis, en combinant les données géométriques statiques et les données sémantiques riches de la BIM avec les données des capteurs IoT en temps réel. Cependant, malgré des recherches approfondies et des avancées dans les cadres d’interopérabilité et d’échange de données, en particulier ceux centrés sur le paradigme BIM ouvert, la complexité de l’accès et de l’interprétation des données sur les actifs bâtis reste un obstacle important aux interactions intuitives des utilisateurs avec les interfaces de jumeaux numériques. Cette thèse vise à aborder la question critique de l’accessibilité des données dans les interfaces de jumeaux numériques en étudiant les potentiels pratiques de deux approches synergiques : la réalité virtuelle (RV) pour améliorer la représentation des données et les modèles de langage neuronaux pour améliorer la recherche d’informations. En particulier, la thèse examine le potentiel des environnements immersifs de RV pour représenter intuitivement les données complexes des actifs construits, offrant aux utilisateurs un moyen plus interactif et spatialement cohérent de naviguer et d’interpréter les informations multimodales provenant de diverses sources. Grâce à une étude de cas axée sur la surveillance du confort thermique en temps réel, la recherche démontre comment les interfaces basées sur la RV peuvent fournir un support efficace pour une représentation transparente des données BIM et IoT, ce qui peut améliorer de manière significative le processus de prise de décision basé sur les données pour les praticiens dans des scénarios complexes du monde réel. En parallèle, la thèse étudie l’application de modèles de langage neuronaux, y compris les réseaux neuronaux profonds formés sur mesure et les grands modèles de langage (LLM) préformés, pour améliorer la recherche d’informations dans les systèmes de jumeaux numériques centrés sur le BIM. Motivé par le potentiel prometteur des techniques avancées de traitement du langage naturel pour améliorer les systèmes de recherche en incorporant la sémantique, ce travail évalue l’efficacité des techniques de modélisation du langage neuronal de pointe pour la tâche spécifique d’extraction d’entités à partir de requêtes d’utilisateurs. Les résultats expérimentaux, qui comparent les architectures d’apprentissage profond traditionnelles et émergentes, offrent de nouvelles perspectives pour la recherche et la pratique. Ils soulignent l’importance critique des stratégies d’adaptation au domaine pour une performance efficace du modèle dans ce contexte spécialisé. En outre, pour répondre aux lacunes des repères généraux existants dans l’examen de la transférabilité des capacités des LLMs pré-entraînés pour les tâches en aval, telles que celles liées à la recherche d’informations, la thèse présente un repère complet des modèles de pointe. La thèse est accompagnée de la publication des ressources de référence proposées, y compris des ensembles de données à grande échelle et de haute qualité provenant de sources reconnues par l’industrie. Compte tenu de l’intérêt croissant pour l’application des LLM à diverses applications dans la recherche sur l’environnement bâti, il s’agit d’une contribution particulièrement opportune et essentielle dans ce domaine qui évolue rapidement. La thèse conclut en soulignant les principales limites et les défis rencontrés, accompagnés de recommandations pour la recherche future avec le thème central de favoriser des interactions plus intuitives entre les utilisateurs et les jumeaux numériques du patrimoine bâti.

Date	24 déc. 2024
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Ali Motamedi (Directeur(-trice))