Entropy (statistical thermodynamics)The concept entropy was first developed by German physicist Rudolf Clausius in the mid-nineteenth century as a thermodynamic property that predicts that certain spontaneous processes are irreversible or impossible. In statistical mechanics, entropy is formulated as a statistical property using probability theory. The statistical entropy perspective was introduced in 1870 by Austrian physicist Ludwig Boltzmann, who established a new field of physics that provided the descriptive linkage between the macroscopic observation of nature and the microscopic view based on the rigorous treatment of large ensembles of microstates that constitute thermodynamic systems.
Statistical mechanicsIn physics, statistical mechanics is a mathematical framework that applies statistical methods and probability theory to large assemblies of microscopic entities. It does not assume or postulate any natural laws, but explains the macroscopic behavior of nature from the behavior of such ensembles. Sometimes called statistical physics or statistical thermodynamics, its applications include many problems in the fields of physics, biology, chemistry, and neuroscience.
Fonction de partitionEn physique statistique, la fonction de partition Z est une grandeur fondamentale qui englobe les propriétés statistiques d'un système à l'équilibre thermodynamique. C'est une fonction de la température et d'autres paramètres, tels que le volume contenant un gaz par exemple. La plupart des variables thermodynamiques du système, telles que l'énergie totale, l'entropie, l'énergie libre ou la pression peuvent être exprimées avec cette fonction et ses dérivées.
Inférence statistiquevignette|Illustration des 4 principales étapes de l'inférence statistique L'inférence statistique est l'ensemble des techniques permettant d'induire les caractéristiques d'un groupe général (la population) à partir de celles d'un groupe particulier (l'échantillon), en fournissant une mesure de la certitude de la prédiction : la probabilité d'erreur. Strictement, l'inférence s'applique à l'ensemble des membres (pris comme un tout) de la population représentée par l'échantillon, et non pas à tel ou tel membre particulier de cette population.
Mécanique newtonienneLa mécanique newtonienne est une branche de la physique. Depuis les travaux d'Albert Einstein, elle est souvent qualifiée de mécanique classique. La mécanique classique ou mécanique newtonienne est une théorie physique qui décrit le mouvement des objets macroscopiques lorsque leur vitesse est faible par rapport à celle de la lumière. Avant de devenir une science à part entière, la mécanique a longtemps été une section des mathématiques. De nombreux mathématiciens y ont apporté une contribution souvent décisive, parmi eux des grands noms tels qu'Euler, Cauchy, Lagrange.
Transformeurvignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).
Réseau de neurones récurrentsUn réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.
ApprentissageL’apprentissage est un ensemble de mécanismes menant à l'acquisition de savoir-faire, de savoirs ou de connaissances. L'acteur de l'apprentissage est appelé apprenant. On peut opposer l'apprentissage à l'enseignement dont le but est de dispenser des connaissances et savoirs, l'acteur de l'enseignement étant l'enseignant.
Types of artificial neural networksThere are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.
Système invariantUn processus transformant un signal d’entrée en un signal de sortie (signaux électriques par exemple) est appelé système invariant (ou stationnaire) lorsqu’une translation du temps appliquée à l’entrée se retrouve à la sortie. Dans ce sens, la sortie ne dépend pas explicitement du temps. Si au signal d'entrée , un système invariant associe une sortie , alors quel que soit le décalage temporel appliqué à l'entrée, le système associe au signal la sortie décalée .
