SmartDataLake: Analyse distribuée sur les données hétérogénées

Cette séance de cours traite des défis de l'analyse évolutive sur les Big Data hétérogènes et des limites des plateformes existantes comme Spark. Il présente SmartDataLake, une plate-forme visant à gérer efficacement les données brutes et hétérogènes en exploitant les plateformes existantes et en les étendant pour soutenir la manipulation native et l'analyse distribuée. La séance de cours porte sur des sujets tels que la distribution des données, l'ordonnancement adaptatif, le prétraitement des données et l'échelonnement automatisé du stockage. La conception de SmartDataLake est axée sur l'optimisation de la distribution des tâches, l'allocation des ressources et l'exécution des requêtes afin d'améliorer les performances et de réduire la latence. La séance de cours souligne également l'importance de l'échelonnement du stockage, de l'analyse approximative et du potentiel d'évolutivité économique. Diverses normes de référence de l'industrie seront utilisées pour valider les capacités de SmartDataLake.