Écosystèmes Big Data : technologies et défis

Cette séance de cours présente les concepts fondamentaux des écosystèmes de données volumineuses, en se concentrant sur les technologies et les défis associés à la gestion de grands ensembles de données. Il commence par une vue d’ensemble du paysage du big data, mettant en évidence l’évolution des technologies de 2014 à 2023. L'instructeur discute de l'importance de comprendre les différentes composantes des données volumineuses, y compris les lacs de données, l'informatique distribuée et le théorème CAP, qui traite de la cohérence, de la disponibilité et de la tolérance à la partition dans les systèmes distribués. La séance de cours met l'accent sur l'importance des stratégies de mise à l'échelle, telles que la mise à l'échelle verticale et horizontale, pour relever efficacement les défis liés aux mégadonnées. En outre, il couvre les différences entre le traitement par lots et par flux, illustrant comment chaque approche est adaptée aux différents types de tâches de traitement de données. La session se termine par des exercices pratiques sur l'utilisation du HDFS d'Hadoop pour la gestion des données, y compris le téléchargement, la gestion et l'accès aux données par programme. Dans l'ensemble, cette séance de cours fournit une base complète pour les étudiants à naviguer dans les complexités des technologies Big Data et de leurs applications.