Gaz neuronal

Le gaz neuronal est un réseau de neurones artificiel, inspiré des cartes autoadaptatives, et introduites en 1991 par Thomas Martinetz et Klaus Schulten. Le gaz neuronal est un algorithme simple pour trouver une représentation optimale de données à partir de vecteurs principaux. La méthode fut appelée "gaz neuronal" parce que l'évolution des vecteurs principaux durant l'étape d'apprentissage fait penser à un gaz qui occupe un espace de façon uniforme. Cet algorithme est appliqué à la compression de données ou à la quantification vectorielle, par exemple en reconnaissance des langues naturelles, en ou à la reconnaissance de motifs. En tant qu'alternative robuste et convergente à l'algorithme K-moyennes, il peut être utilisé pour le partitionnement de données. Soit une distribution de probabilité P(x) sur des vecteurs x (les données), et un nombre fini de vecteurs principaux wi, i=1, ..., N. À chaque étape de temps t (discret), un vecteur d'entrée x est tiré aléatoirement selon la loi P, afin d'être présenté à l'algorithme. Ensuite, les vecteurs principaux sont classés du plus proche au plus lointain de ce vecteur x : i0 sera l'indice du vecteur principal le plus proche de x, i1 l'indice du second plus proche, etc, et iN-1 représente l'indice du vecteur principal le plus éloigné de x. Enfin, chaque vecteur principal (k = 0, ..., N-1) est adapté selon la règle, dépendante de k, que voici : avec ε le taux d'adaptation, et λ la taille du voisinage. Pour assurer la convergence, il est nécessaire que ε et λ soit décroissant en fonction de t (ie. décroisse quand t augmente). Après un nombre suffisant d'étapes d'adaptation, les vecteurs principaux recouvrent (et représentent) l'espace de données avec une erreur de représentation minimum (ou presque minimale). L'étape d'adaptation présente dans l'algorithme de gaz neuronal peut être interprétée comme une descente de gradient d'une fonction de coût.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Publications associées (22)

Personnes associées (1)

Unités associées (3)

Concepts associés (2)

Competitive learning

Competitive learning is a form of unsupervised learning in artificial neural networks, in which nodes compete for the right to respond to a subset of the input data. A variant of Hebbian learning, competitive learning works by increasing the specialization of each node in the network. It is well suited to finding clusters within data. Models and algorithms based on the principle of competitive learning include vector quantization and self-organizing maps (Kohonen maps).

Carte autoadaptative

Les cartes autoadaptatives, cartes auto-organisatrices ou cartes topologiques forment une classe de réseau de neurones artificiels fondée sur des méthodes d'apprentissage non supervisées. Elles sont souvent désignées par le terme anglais self organizing maps (SOM), ou encore cartes de Kohonen du nom du statisticien ayant développé le concept en 1984. La littérature utilise aussi les dénominations : « réseau de Kohonen », « réseau autoadaptatif » ou « réseau autoorganisé ».

Unsupervised Graph Representation Learning with Cluster-aware Self-training and Refining

Yichen Xu, Qiang Liu, Feng Yu

Unsupervised graph representation learning aims to learn low-dimensional node embeddings without supervision while preserving graph topological structures and node attributive features. Previous Graph Neural Networks (GNN) require a large number of labeled ...

New York2023

Information-Driven Gas Distribution Mapping for Autonomous Mobile Robots

Alcherio Martinoli, Chiara Ercolani, Faezeh Rahbar

The ability to sense airborne pollutants with mobile robots provides a valuable asset for domains such as industrial safety and environmental monitoring. Oftentimes, this involves detecting how certain gases are spread out in the environment, commonly refe ...

MDPI2023

4M: Massively Multimodal Masked Modeling

Shuqing Teresa Yeo, Amir Roshan Zamir, Oguzhan Fatih Kar, Roman Christian Bachmann, David Mizrahi

Current machine learning models for vision are often highly specialized and limited to a single modality and task. In contrast, recent large language models exhibit a wide range of capabilities, hinting at a possibility for similarly versatile models in co ...

Neural Information Processing Systems (Nips)2023