Unsupervised abstractive summaries of controllable length

Résumé

La compagnie canadienne Croesus offre un tableau de bord virtuel pour conseillers financiers. Leur produit phare, un logiciel nommé Croesus Conseiller, rassemble des fonctionnalités de gestion de portefeuilles financiers et de gestion de relations avec les clients (CRM). Croesus conduit un projet de Recherche et Développement (R&D) dont le but est d’automatiser la génération de rapports expliquant la performance de portefeuilles financiers sur une période donnée. Les rapports générés devront mesurer et expliquer en langage naturel les variations de performances de portefeuilles par rapport à des références de marché. Un tel projet est du domaine du Natural Language Generation (NLG). Ce projet de R&D comporte plus d’un problème de recherche. Dans un premier temps, les signaux temporels décrivant les différents actifs d’un portefeuille donné doivent être analysés afin d’identifer les événements significatifs. Ensuite, les publications décrivant ces événements doivent être identifiées et récupérées. Finalement, la séquence de publications décrivant les événements significatifs doit être résumée en un récit cohérent et informatif d’une longueur contrôlable. Le présent travail s’intéresse à un aspect particulier du projet de R&D, soit l’entraînement non-supervisé de modèles de génération automatique de résumés abstractifs ayant la capacité de contrôler la longueur de leur sortie. Des expériences utilisant des Réseaux de Neurones Récurrents et des Transformers entraînés avec et sans supervision ont été effectuées. Un modèle basé sur Transformer entraîné sans supervision a produit des scores ROUGE-1, ROUGE-2 et ROUGE-L F1 de 21.29, 6.4 et 19.41, respectivement. De plus, un modèle similaire entraîné avec supervision a obtenu des scores ROUGE-1, ROUGE-2 et ROUGE-L F1 de 40.27, 18.46 et 37.59. À la connaissance de l’auteur, le modèle entraîné avec supervision constitue l’état-de-l’art actuel de la génération de résumés abstractifs de longueur contrôlable. Ces résultats, ainsi que des recherches menées en parallèle à nos travaux, ont atténué le risque au sujet de la génération automatique de résumés à un niveau tolérable. Les travaux sur les problèmes de recherche restants du projet de R&D vont bientôt commencer.

Date	17 août 2020
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Patrick Cardinal (Directeur(-trice)) & Maxime Dumas (Codirecteur(-trice))