Défis Big Data : Computing distribué avec Spark

Cette séance de cours couvre les défis posés par le big data, la croissance des sources de données et les limites du traitement mono-machine. Il introduit le concept de RDD dans Spark, en expliquant leur distribution sur des clusters et le traitement parallèle. L'instructeur discute de la configuration matérielle requise pour les données volumineuses, en mettant l'accent sur l'utilisation du matériel budgétaire et les problèmes liés aux pannes et à la latence du réseau. La séance de cours explore également le paradigme MapReduce, expliquant comment le travail est divisé entre les machines et comment les défaillances sont gérées. En outre, il couvre les bases des transformations et des actions RDD, ainsi que l'importance de l'exécution paresseuse et de la persistance RDD. L'utilisation de variables de diffusion, d'accumulateurs et de cadres de données Spark est également mise en évidence.