Réseaux neuronaux d'avant-garde : fonctions d'activation et rétropropagation

Cette séance de cours couvre les bases des réseaux neuronaux de feedforward, en se concentrant sur les fonctions d'activation comme le sigmoïde, le tanh et le redresseur, ainsi que l'algorithme de rétropropagation. Il explique les limites des surfaces de séparation linéaire et introduit des méthodes puissantes pour la séparation non linéaire, telles que les méthodes du noyau et les réseaux neuronaux d'alimentation. La séance de cours aborde également les défis de la formation des réseaux neuraux, y compris le problème de l'UTR mourant et les avantages de l'utilisation de fonctions d'activation comme l'UTR. Il se termine par une explication détaillée de l'algorithme de rétropropagation pour la formation des réseaux neuronaux.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (832)

Concepts associés (211)

EE-566: Adaptation and learning

In this course, students learn to design and master algorithms and core concepts related to inference and learning from data and the foundations of adaptation and learning theories with applications.

Réseau de neurones à propagation avant

Un réseau de neurones à propagation avant, en anglais feedforward neural network, est un réseau de neurones artificiels acyclique, se distinguant ainsi des réseaux de neurones récurrents. Le plus connu est le perceptron multicouche qui est une extension du premier réseau de neurones artificiel, le perceptron inventé en 1957 par Frank Rosenblatt. vignette|Réseau de neurones à propagation avant Le réseau de neurones à propagation avant est le premier type de réseau neuronal artificiel conçu. C'est aussi le plus simple.

Réseau de neurones artificiels

Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Couche réseau

La couche de réseau est la troisième couche du modèle OSI. À ne pas confondre avec la couche « accès réseau » du modèle TCP/IP. thumb|Position de la couche réseau dans le modèle OSI et dans TCP-IP La couche réseau construit une voie de communication de bout à bout à partir de voies de communication avec ses voisins directs. Ses apports fonctionnels principaux sont donc: le routage détermination d'un chemin permettant de relier les 2 machines distantes; le relayage retransmission d'un PDU (Protocol Data Unit ou Unité de données de protocole) dont la destination n'est pas locale pour le rapprocher de sa destination finale.

Link layer

In computer networking, the link layer is the lowest layer in the Internet protocol suite, the networking architecture of the Internet. The link layer is the group of methods and communications protocols confined to the link that a host is physically connected to. The link is the physical and logical network component used to interconnect hosts or nodes in the network and a link protocol is a suite of methods and standards that operate only between adjacent network nodes of a network segment.

Les principes fondamentaux de l'apprentissage profond ME-390: Foundations of artificial intelligence

Introduit un apprentissage profond, de la régression logistique aux réseaux neuraux, soulignant la nécessité de traiter des données non linéairement séparables.

Réseaux neuronaux : formation et optimisation ME-390: Foundations of artificial intelligence

Explore la formation et l'optimisation des réseaux neuronaux, en abordant des défis tels que les fonctions de perte non convexes et les minima locaux.

Méthodes de noyau: Réseaux neuronaux PHYS-467: Machine learning for physicists

Couvre les fondamentaux des réseaux neuronaux, en mettant l'accent sur les noyaux RBF et SVM.

Réseaux neuronaux : formation et activation CIVIL-226: Introduction to machine learning for engineers

Explore les réseaux neuronaux, les fonctions d'activation, la rétropropagation et l'implémentation de PyTorch.

Réseaux neuronaux : apprentissage multicouche PHYS-467: Machine learning for physicists

Couvre les fondamentaux des réseaux neuronaux multicouches et de l'apprentissage profond, y compris la propagation arrière et les architectures réseau comme LeNet, AlexNet et VGG-16.