Êtes-vous un étudiant de l'EPFL à la recherche d'un projet de semestre?
Travaillez avec nous sur des projets en science des données et en visualisation, et déployez votre projet sous forme d'application sur Graph Search.
Cette séance de cours couvre les techniques avancées d'optimisation Spark, se concentrant sur le partitionnement des données, les opérations de shuffle, la gestion de la mémoire, et l'architecture Spark. Les sujets comprennent la manipulation RDD, les unités de travail Spark, l'optimisation de la mémoire et les stratégies de partitionnement. L'instructeur fournit des conseils sur la réduction du brouillage, l'optimisation de l'utilisation de la mémoire et l'amélioration de l'efficacité du traitement des données.