Introduction générale aux données massives

Cette séance de cours offre un aperçu complet des mégadonnées, couvrant des sujets tels que les outils de science des données comme Python, la science collaborative des données, les données en conflit avec Hadoop, l'architecture d'exécution Spark, et les écosystèmes des lacs de données. Il se penche sur les défis du big data, le théorème CAP des data stores distribués, et la décision entre le traitement par lots et le traitement par flux. La séance de cours explore également des technologies comme Hadoop Distributed File System (HDFS), Hive data warehouse, et des formats de stockage populaires comme Parquet et ORC. De plus, il discute de l'architecture MapReduce avec YARN, des architectures de big data typiques, et de l'évolution du paysage de big data.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (1 000)

Concepts associés (452)

COM-490: Large-scale data science for real-world data

This hands-on course teaches the tools & methods used by data scientists, from researching solutions to scaling up prototypes to Spark clusters. It exposes the students to the entire data science pipe

Search engine

A search engine is a software system that finds web pages that match a web search. They search the World Wide Web in a systematic way for particular information specified in a textual web search query. The search results are generally presented in a line of results, often referred to as search engine results pages (SERPs). The information may be a mix of hyperlinks to web pages, images, videos, infographics, articles, and other types of files. Some search engines also mine data available in databases or open directories.

Yahoo! Search

Yahoo! Search is a Yahoo! internet search provider that uses Microsoft's Bing search engine to power results, since 2009, apart from four years with Google from 2015 until the end of 2018. Originally, "Yahoo! Search" referred to a Yahoo!-provided interface that sent queries to a searchable index of pages supplemented with its directory of websites. The results were presented to the user under the Yahoo! brand. Originally, none of the actual web crawling and data housing was done by Yahoo! itself.

Hadoop

Hadoop est un framework libre et open source écrit en Java destiné à faciliter la création d'applications distribuées (au niveau du stockage des données et de leur traitement) et échelonnables (scalables) permettant aux applications de travailler avec des milliers de nœuds et des pétaoctets de données. Ainsi chaque nœud est constitué de machines standard regroupées en grappe. Tous les modules de Hadoop sont conçus selon l'idée que les pannes matérielles sont fréquentes et qu'en conséquence elles doivent être gérées automatiquement par le framework.

Explorateur de fichiers

Explorateur de fichiers (), précédemment l'Explorateur Windows () est le gestionnaire de fichiers fourni avec le système d'exploitation Microsoft Windows. Le gestionnaire permet, notamment, d'afficher et de modifier le nom des fichiers et des dossiers, de manipuler les fichiers et les dossiers (copier, déplacer, effacer), d'ouvrir les fichiers de données, et de lancer les programmes. L'Explorateur Windows est également le programme qui affiche le bureau de Microsoft Windows, notamment la barre des tâches et le menu Démarrer.

Gestionnaire de fichiers

Un gestionnaire de fichiers présente les fichiers informatiques situés sur une ou plusieurs machines, affiche des informations sur eux (nom, taille, aperçu...), permet de trier leur présentation et d'effectuer sur eux quelques opérations, individuellement ou en les groupant. Il permet aussi la création et la suppression de fichiers et de répertoires Travaillant le plus souvent dans une interface graphique, il permet aussi ouverture, visualisation, impression, renommage, déplacement ou copie, la suppression, affichage et modification de propriétés et recherche de fichiers.

Cadres de données Spark COM-490: Large-scale data science for real-world data

Couvre les cadres de données Spark, les collections distribuées de données organisées en colonnes nommées, et les avantages de les utiliser sur les DDR.

Visualisation de la science des données avec Pandas ENG-209: Data science for engineers with Python

Couvre la manipulation et l'exploration de données à l'aide de Python en mettant l'accent sur les techniques de visualisation.

L'échange de données avec Hadoop COM-490: Large-scale data science for real-world data

Couvre les techniques de manipulation des données à l'aide de Hadoop, en se concentrant sur les bases de données axées sur les lignes et les colonnes, les formats de stockage populaires et l'intégration HBase-Hive.

Introduction à la science des données ENG-209: Data science for engineers with Python

Introduit les bases de la science des données, couvrant les arbres de décision, les progrès de l'apprentissage automatique et l'apprentissage par renforcement profond.

Big Data: Meilleures pratiques et lignes directrices COM-490: Large-scale data science for real-world data

Couvre les meilleures pratiques et les lignes directrices pour les mégadonnées, y compris les lacs de données, l'architecture, les défis et les technologies comme Hadoop et Hive.