Towards adaptive anomaly detection systems using boolean combination of hidden Markov models

Résumé

La détection d’anomalies permet de surveiller les déviations significatives du comportement normal d’un système. Les modèles de Markov cachés (MMCs) ont été utilisés avec succès dans différentes applications de détection d’intrusions, en particulier la détection d’anomalies à partir de séquences d’appels système. Dans la pratique, les systèmes de détection d’anomalies (SDAs) basés sur les MMCs génèrent typiquement de fausses alertes étant donné qu’ils ont été conçu en utilisant des données d’apprentissage et des connaissances préalables limitées. Mais puisque de nouvelles données peuvent être acquises avec le temps, les SDAs doivent s’adapter aux nouvelles données une fois qu’ils ont été entraînés et mis en opération. La ré-estimation incrémentale des paramètres des MMCs présente plusieurs défis à relever. Ces paramètres devront être ajustés selon l’information fournie par les nouvelles données, sans réutiliser les données d’apprentissage antérieures et sans compromettre les informations déjà acquises dans les modèles de comportement normal. Les techniques standards pour l’entraînement des paramètres des MMCs utilisent l’apprentissage itératif en mode « batch » et doivent ainsi observer la totalité de la base de données d’apprentissage avant d’ajuster les paramètres des MMCs. À l’acquisition de nouvelles données, ces techniques devraient recommencer la procédure de l’apprentissage en utilisant toutes les données accumulées. En outre, un système d’apprentissage incrémental basé sur un seul MMC n’a pas la capacité de fournir une bonne approximation de la distribution sous-jacente du comportement normal du processus à cause du grand nombre des maximums locaux. Les ensembles de classificateurs permettent de réduire la corruption des connaissances acquises, en combinant les sorties des classificateurs indépendamment entraînés sur des blocs de données successives. Cette thèse apporte des contributions au niveau des MMCs ainsi qu’en regard de la décision des classificateurs dans le but d’améliorer la précision, l’efficacité et l’adaptabilité des SDAs basés sur les MMCs. Elle présente en premier lieu une étude d’ensemble des techniques qui peuvent être utilisées pour l’apprentissage incrémental des paramètres des MMCs et évalue les défis rencontrés par ces techniques lors d’un apprentissage incrémental avec des données limitées ou abondantes. Par conséquent, une alternative efficace à « l’algorithme avant-arrière » est proposée pour réduire la complexité de la mémoire sans augmenter le coût computationnel de l’estimation des paramètres des MMCs, faite à partir de données fixes. D’autre part, elle propose des améliorations aux techniques d’apprentissage incrémental des paramètres des MMCs pour qu’elles s’adaptent à des nouvelles données, tout en conservant un niveau de performance élevé. Cependant, le problème de la corruption des connaissances acquises causée par l’utilisation d’un système basé sur un seul MMC n’est toujours pas complètement résolu. Pour surmonter ces problèmes, cette thèse présente un système efficace qui s’adapte aux nouvelles données, en utilisant une approche apprentissage-combinaison au niveau décision. À l’arrivée d’un nouveau bloc de données d’apprentissage, un ensemble de MMCs est généré en variant le nombre d’états et l’initialisation aléatoire des paramètres. Les réponses des MMCs entraînés sur les nouvelles données sont combinées avec celles des MMCs déjà entraînés sur les données antérieures dans l’espace ROC (caractéristique de fonctionnement du récepteur, receiver operating characteristic), en utilisant les techniques de combinaison booléenne. L’approche apprentissage-combinaison proposée permet de sélectionner un ensemble diversifié de MMCs et d’ajuster les fonctions booléennes et les seuils de décision, tout en éliminant les MMCs redondants. Pendant la phase d’opération, le système proposé est capable de changer le point d’opération et celui-ci peut s’adapter au changement des probabilités a priori et des coûts des erreurs. Les résultats des simulations obtenus sur des bases de données réelles et synthétiques montrent que l’approche apprentissage-combinaison proposée a atteint le taux le plus élevé de précision en comparaison avec d’autres techniques d’apprentissage incrémental à partir de blocs de données successives. En particulier, le système a démontré qu’il pouvait maintenir un plus haut taux de précision que celui d’un système basé sur un seul MMC entraîné selon le mode batch (utilisant tous les blocs de données cumulatifs) ou qui adapte les paramètres du MMC selon la méthode incrémentale proposée (utilisant des blocs de données successifs). De même, la précision du système proposé a surpassé celle des techniques basées sur les fonctions de fusion classiques tel que le vote majoritaire combinant les décisions des MMCs entraînés sur les anciens et les nouveaux blocs de données. Les techniques de sélection d’ensembles du système proposé sont capables de choisir un ensemble compact, en sélectionnant les MMCs générés, les plus précis et les plus diversifiés, tout en conservant ou en améliorant la précision du système. La technique d’élimination des modèles empêche l’augmentation de la taille du pool avec le temps. Ceci permet de réduire l’espace de stockage des MMCs et le coût computationnel des techniques de sélection, sans compromettre la performance globale du système. Les techniques proposées sont générales et peuvent être utilisées dans diverses applications pratiques qui nécessitent l’adaptation aux nouvelles données des systèmes basés sur les MMCs. Qui plus est, les techniques de combinaison booléennes proposées sont capables de combiner les réponses des classificateurs binaires ou probabilistes pour des problèmes à une ou deux classes. Ceci inclut la combinaison du même type de classificateurs entraînés sur différentes données ou caractéristiques ou selon différents paramètres, et la combinaison de différents classificateurs entraînés sur la même de données. En particulier, ces techniques peuvent être efficaces dans des applications où les données d’apprentissage sont limitées et les données de test sont non équilibrées.

Date	18 juil. 2011
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Éric Granger (Directeur(-trice)) & Robert Sabourin (Codirecteur(-trice))