Publication
Leveraging Continuous Time to Understand Momentum When Training Diagonal Linear Networks
Concepts associés (32)
Boltzmann machine
A Boltzmann machine (also called Sherrington–Kirkpatrick model with external field or stochastic Ising–Lenz–Little model) is a stochastic spin-glass model with an external field, i.e., a Sherrington–Kirkpatrick model, that is a stochastic Ising model. It is a statistical physics technique applied in the context of cognitive science. It is also classified as a Markov random field. Boltzmann machines are theoretically intriguing because of the locality and Hebbian nature of their training algorithm (being trained by Hebb's rule), and because of their parallelism and the resemblance of their dynamics to simple physical processes.
Quadri-moment
En relativité restreinte, le quadri-moment (ou quadrivecteur impulsion ou quadri-impulsion ou quadrivecteur impulsion-énergie ou quadrivecteur énergie-impulsion) est une généralisation du moment linéaire tridimensionnel de la physique classique sous la forme d'un quadrivecteur de l'espace de Minkowski, espace-temps à 4 dimensions de la relativité restreinte. Le quadri-moment d'une particule combine le moment tridimensionnel et d'énergie : Comme tout quadrivecteur, il est covariant, c'est-à-dire que les changements de ses coordonnées lors d'un changement de référentiel inertiel se calculent à l'aide des transformations de Lorentz.
Hyperparamètre
Dans l'apprentissage automatique, un hyperparamètre est un paramètre dont la valeur est utilisée pour contrôler le processus d'apprentissage. En revanche, les valeurs des autres paramètres (généralement la pondération de nœuds) sont obtenues par apprentissage. Les hyperparamètres peuvent être classifiés comme étant des hyperparamètres de modèle, qui ne peuvent pas être déduits en ajustant la machine à l'ensemble d'entraînement parce qu'ils s'appliquent à la tâche de la sélection du modèle, ou des hyperparamètres d'algorithmes, qui en principe n'ont aucune influence sur la performance du modèle mais affectent la rapidité et la qualité du processus d'apprentissage.
Équation du mouvement
L'équation du mouvement est une équation mathématique décrivant le mouvement d'un objet physique. En général, l'équation du mouvement comprend l'accélération de l’objet en fonction de sa position, de sa vitesse, de sa masse et de toutes variables affectant l'une de celles-ci. Cette équation est surtout utilisée en mécanique classique et est normalement représentée sous la forme de coordonnées sphériques, coordonnées cylindriques ou coordonnées cartésiennes et respecte les lois du mouvement de Newton.
Optimisation (mathématiques)
L'optimisation est une branche des mathématiques cherchant à modéliser, à analyser et à résoudre analytiquement ou numériquement les problèmes qui consistent à minimiser ou maximiser une fonction sur un ensemble. L’optimisation joue un rôle important en recherche opérationnelle (domaine à la frontière entre l'informatique, les mathématiques et l'économie), dans les mathématiques appliquées (fondamentales pour l'industrie et l'ingénierie), en analyse et en analyse numérique, en statistique pour l’estimation du maximum de vraisemblance d’une distribution, pour la recherche de stratégies dans le cadre de la théorie des jeux, ou encore en théorie du contrôle et de la commande.
Réseau de neurones artificiels
Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.
Force centrifuge
La force centrifuge, nom courant de l'effet centrifuge, est une force parfois qualifiée de fictive qui apparaît en physique dans le contexte de l'étude du mouvement des objets dans des référentiels non inertiels. L'effet ressenti, modélisé par cette force, est dû à l'inertie des corps face aux mouvements de rotation de ces référentiels et se traduit par une tendance à éloigner les corps de leur centre de rotation. Un exemple en est la sensation d'éjection que ressent un voyageur dans un véhicule qui effectue un virage.
Energy–momentum relation
In physics, the energy–momentum relation, or relativistic dispersion relation, is the relativistic equation relating total energy (which is also called relativistic energy) to invariant mass (which is also called rest mass) and momentum. It is the extension of mass–energy equivalence for bodies or systems with non-zero momentum. It can be written as the following equation: This equation holds for a body or system, such as one or more particles, with total energy E, invariant mass m0, and momentum of magnitude p; the constant c is the speed of light.
Référentiel barycentrique
En physique, le référentiel barycentrique, appelé aussi référentiel du centre de masse, est un référentiel en translation (par rapport à un référentiel galiléen de référence) dans lequel le centre d'inertie du système étudié est immobile. La translation du référentiel barycentrique ne signifie pas que c'est une translation rectiligne. Par exemple, une cabine de grande roue de fête foraine, quand elle tourne, est en mouvement de translation circulaire et elle se comporte comme le référentiel barycentrique de la Lune qui, elle, est en mouvement de rotation dans le référentiel géocentrique.
Mécanique hamiltonienne
La mécanique hamiltonienne est une reformulation de la mécanique newtonienne. Son formalisme a facilité l'élaboration théorique de la mécanique quantique. Elle a été formulée par William Rowan Hamilton en 1833 à partir des équations de Lagrange, qui reformulaient déjà la mécanique classique en 1788. En mécanique lagrangienne, les équations du mouvement d'un système à N degrés de liberté dépendent des coordonnées généralisées et des vitesses correspondantes , où .