Publication
ADAGRAD Avoids Saddle Points
Concepts associés (32)
Réseau de neurones artificiels
Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.
Redresseur (réseaux neuronaux)
vignette|Graphique de la fonction Unité Linéaire Rectifiée En mathématiques, la fonction Unité Linéaire Rectifiée (ou ReLU pour Rectified Linear Unit) est définie par : pour tout réel Elle est fréquemment utilisée comme fonction d'activation dans le contexte du réseau de neurones artificiels pour sa simplicité de calcul, en particulier de sa dérivée. Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient.
Méthodes de Runge-Kutta
Les méthodes de Runge-Kutta sont des méthodes d'analyse numérique d'approximation de solutions d'équations différentielles. Elles ont été nommées ainsi en l'honneur des mathématiciens Carl Runge et Martin Wilhelm Kutta, lesquels élaborèrent la méthode en 1901. Ces méthodes reposent sur le principe de l'itération, c'est-à-dire qu'une première estimation de la solution est utilisée pour calculer une seconde estimation, plus précise, et ainsi de suite. Considérons le problème suivant : que l'on va chercher à résoudre en un ensemble discret t < t < .
Point de Lagrange
vignette|redresse=1.8|Alors que les résonances orbitales sont généralement déstabilisatrices, le cas des points stables de Lagrange, dit en résonance 1:1, est une des exceptions. Pour le système Soleil-Jupiter, ceux-ci sont occupés par les astéroïdes troyens (sur le schéma : Greeks et Trojans). Les astéroïdes Hilda sont en résonance 3:2.
TensorFlow
TensorFlow est un outil open source d'apprentissage automatique développé par Google. Le code source a été ouvert le par Google et publié sous licence Apache. Il est fondé sur l'infrastructure DistBelief, initiée par Google en 2011, et est doté d'une interface pour Python, Julia et R TensorFlow est l'un des outils les plus utilisés en IA dans le domaine de l'apprentissage machine. À partir de 2011, Google Brain a développé un outil propriétaire d'apprentissage automatique fondé sur l'apprentissage profond.
Rule-based machine learning
Rule-based machine learning (RBML) is a term in computer science intended to encompass any machine learning method that identifies, learns, or evolves 'rules' to store, manipulate or apply. The defining characteristic of a rule-based machine learner is the identification and utilization of a set of relational rules that collectively represent the knowledge captured by the system. This is in contrast to other machine learners that commonly identify a singular model that can be universally applied to any instance in order to make a prediction.
Numerical methods for ordinary differential equations
Numerical methods for ordinary differential equations are methods used to find numerical approximations to the solutions of ordinary differential equations (ODEs). Their use is also known as "numerical integration", although this term can also refer to the computation of integrals. Many differential equations cannot be solved exactly. For practical purposes, however – such as in engineering – a numeric approximation to the solution is often sufficient. The algorithms studied here can be used to compute such an approximation.
Fonction itérée
En mathématiques, une fonction itérée est une fonction obtenue par composition répétée d’une autre fonction avec elle-même un certain nombre de fois. La procédure consistant à appliquer la même fonction à plusieurs reprises s’appelle itération. Les fonctions itérées apparaissent en informatique, dans les systèmes dynamiques, les groupes de renormalisation et sont à la base des fractales. L’itérée, plus précisément la deuxième itérée, d’une fonction f , définie sur un ensemble X et à valeurs dans ce même ensemble X, est la fonction où note la composition de fonctions.
Condition initiale
En physique ou en mathématique, on définit comme conditions initiales les éléments nécessaires à la détermination de la solution complète et si possible unique d'un problème, éléments qui décrivent l'état du système à l'instant initial, c'est-à-dire l'état de départ. Plus formellement, on appelle « condition initiale » l'espace d'état d'un système étudié à l'instant initial. C'est ce qui permet de déterminer les coefficients des solutions des équations différentielles, par exemple les équations de mouvement des corps.
Système de fonctions itérées
vignette|Attracteur de deux similitudes et . En mathématiques, un système de fonctions itérées (SFI ou encore IFS, acronyme du terme anglais Iterated Function System) est un outil pour construire des fractales. Plus précisément, l'attracteur d'un système de fonctions itérées est une forme fractale autosimilaire faite de la réunion de copies d'elle-même, chaque copie étant obtenue en transformant l'une d'elles par une fonction du système. La théorie a été formulée lors d'un séjour à l'université de Princeton par John Hutchinson en 1980.