Introduction à l'architecture Spark Runtime

Cette séance de cours fournit une vue d'ensemble d'Apache Spark, un moteur d'analyse unifié pour le traitement de données à grande échelle, couvrant son architecture, son historique, ses fonctionnalités clés et sa flexibilité. Il explique les composants d'exécution Spark, tels que les RDD, les transformations, les actions et la lignée. La séance de cours explore également le cadre de calcul distribué de Spark, l'abstraction de données de base avec les RDD et l'importance de la tolérance aux pannes. En outre, il explore les options de déploiement de Spark, les langues prises en charge, le stockage de données et les bibliothèques spécialisées. Des exercices pratiques utilisant Sparkmagic dans les cahiers Jupyter sont mis en évidence, ainsi que des références pour une exploration plus approfondie.