Apache Spark

Spark (ou Apache Spark) est un framework open source de calcul distribué. Il s'agit d'un ensemble d'outils et de composants logiciels structurés selon une architecture définie. Développé à l'université de Californie à Berkeley par AMPLab, Spark est aujourd'hui un projet de la fondation Apache. Ce produit est un cadre applicatif de traitements des mégadonnées (big data) pour effectuer des analyses complexes à grande échelle. En 2009, Spark fut conçu par lors de son doctorat au sein de l'université de Californie à Berkeley. À l'origine son développement est une solution pour accélérer le traitement des systèmes Hadoop. Les développeurs mettent notamment en avant la rapidité du produit en termes d'exécution des tâches par rapport à MapReduce. En 2013, transmis à la fondation Apache, Spark devient l'un des projets les plus actifs de cette dernière. En 2014, Spark a gagné le Daytona GraySort Contest dont l'objectif est de trier de données le plus rapidement possible. Ce record était préalablement détenu par Hadoop. Pour ce faire, Spark a utilisé obtenant un temps d'exécution final de alors que Hadoop avait lui utilisé pour un temps d'exécution final de . La puissance de Spark fut démontrée en étant plus rapide et en utilisant approximativement moins de machines. Les contributeurs qui participent à son développement sont nombreux et issus d'environ 200 sociétés différentes, comme Intel, Facebook, IBM, SyFantasy, et Netflix. Ainsi depuis 2015 on recense plus de . Spark réalise une lecture des données au niveau du cluster (grappe de serveurs sur un réseau), effectue toutes les opérations d'analyse nécessaires, puis écrit les résultats à ce même niveau. Malgré le fait que les tâches s'écrivent avec les langages Scala, Java et Python, il utilise au mieux ses capacités avec son langage natif, Scala. De ce fait, là où le MapReduce de Hadoop travaille par étape, Spark peut travailler sur la totalité des données en même temps. Il est donc jusqu'à dix fois plus rapide pour le traitement en lots et jusqu'à cent fois plus rapide pour effectuer l'analyse en mémoire.

ProGAP: Progressive Graph Neural Networks with Differential Privacy Guarantees

Daniel Gatica-Perez, Sina Sajadmanesh

Graph Neural Networks (GNNs) have become a popular tool for learning on graphs, but their widespread use raises privacy concerns as graph data can contain personal or sensitive information. Differentially private GNN models have been recently proposed to p ...

Assoc Computing Machinery2024

Task-driven neural network models predict neural dynamics of proprioception: Experimental data, activations and predictions of neural network models

Alexander Mathis, Alberto Silvio Chiappa, Alessandro Marin Vargas, Axel Bisi

Here we provide the neural data, activation and predictions for the best models and result dataframes of our article "Task-driven neural network models predict neural dynamics of proprioception". It contains the behavioral and neural experimental data (cu ...

EPFL Infoscience2024

ProGAP: Progressive Graph Neural Networks with Differential Privacy Guarantees

Task-driven neural network models predict neural dynamics of proprioception: Experimental data, activations and predictions of neural network models

Discrete choice modeling in the era of big data

Task-driven neural network models predict neural dynamics of proprioception: Experimental data, activations and predictions of neural network models

ProGAP: Progressive Graph Neural Networks with Differential Privacy Guarantees

Discrete choice modeling in the era of big data