Traitement des flux de données : gestion et défis

Dans cours

Description

Cette séance de cours couvre la gestion des flux de données, y compris le SGBD traditionnel par rapport aux flux de données, les applications réseau en temps réel, les exemples de surveillance des stocks et les défis dans l'analyse des statistiques au niveau des paquets. Il traite également du modèle de flux de données, des cas particuliers et des facettes des données et du temps dans le traitement des flux. Des stratégies efficaces de gestion des flux et des plates-formes de mise à l'échelle pour les exigences en temps réel sont présentées, ainsi que des exemples de plates-formes telles que Spark Streaming, Apache Flink et Apache Kafka.

Connectez-vous pour regarder la vidéo

Enseignant

Source officielle

https://mediaspace.epfl.ch/media/0_44k8lcgc

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (11)

Concepts associés (9)

Stream processing

In computer science, stream processing (also known as event stream processing, data stream processing, or distributed stream processing) is a programming paradigm which views streams, or sequences of events in time, as the central input and output objects of computation. Stream processing encompasses dataflow programming, reactive programming, and distributed data processing. Stream processing systems aim to expose parallel processing for data streams and rely on streaming algorithms for efficient implementation.

Apache Spark

Spark (ou Apache Spark) est un framework open source de calcul distribué. Il s'agit d'un ensemble d'outils et de composants logiciels structurés selon une architecture définie. Développé à l'université de Californie à Berkeley par AMPLab, Spark est aujourd'hui un projet de la fondation Apache. Ce produit est un cadre applicatif de traitements des mégadonnées (big data) pour effectuer des analyses complexes à grande échelle. En 2009, Spark fut conçu par lors de son doctorat au sein de l'université de Californie à Berkeley.

Système temps réel

En informatique, on parle d'un système temps réel lorsque ce système est capable de contrôler (ou piloter) un procédé physique à une vitesse adaptée à l'évolution du procédé contrôlé. Les systèmes informatiques temps réel se différencient des autres systèmes informatiques par la prise en compte de contraintes temporelles dont le respect est aussi important que l'exactitude du résultat, autrement dit le système ne doit pas simplement délivrer des résultats exacts, il doit les délivrer dans des délais imposés.

Système d'exploitation temps réel

Un système d'exploitation temps réel, en anglais RTOS pour real-time operating system (généralement prononcé à l’anglaise, en séparant le R de l’acronyme : Are-toss), est un système d'exploitation pour lequel le temps maximum entre un stimulus d'entrée et une réponse de sortie est précisément déterminé. Ces systèmes d'exploitation multitâches sont destinés à des applications temps réel : systèmes embarqués (thermostats programmables, contrôleurs électroménagers, téléphones mobiles, robots industriels, vaisseaux spatiaux, systèmes de contrôle commande industriel, matériel de recherche scientifique).

Flux de données

Dans la communication orientée connexion, un flux de données est la transmission d'une séquence de signaux cohérents codés numériquement pour transmettre des informations. Typiquement, les symboles transmis sont regroupées en des séries de paquets. Le flux continu de données est devenu omniprésent. Tout ce qui est transmis sur Internet l'est sous forme de flux. L'utilisation d'un téléphone mobile pour avoir une conversation transmet le son sous forme de flux de données.