Êtes-vous un étudiant de l'EPFL à la recherche d'un projet de semestre?
Travaillez avec nous sur des projets en science des données et en visualisation, et déployez votre projet sous forme d'application sur Graph Search.
Cette séance de cours offre un aperçu complet des mégadonnées, couvrant des sujets tels que les outils de science des données comme Python, la science collaborative des données, les données en conflit avec Hadoop, l'architecture d'exécution Spark, et les écosystèmes des lacs de données. Il se penche sur les défis du big data, le théorème CAP des data stores distribués, et la décision entre le traitement par lots et le traitement par flux. La séance de cours explore également des technologies comme Hadoop Distributed File System (HDFS), Hive data warehouse, et des formats de stockage populaires comme Parquet et ORC. De plus, il discute de l'architecture MapReduce avec YARN, des architectures de big data typiques, et de l'évolution du paysage de big data.