Fisher information metricIn information geometry, the Fisher information metric is a particular Riemannian metric which can be defined on a smooth statistical manifold, i.e., a smooth manifold whose points are probability measures defined on a common probability space. It can be used to calculate the informational difference between measurements. The metric is interesting in several respects. By Chentsov’s theorem, the Fisher information metric on statistical models is the only Riemannian metric (up to rescaling) that is invariant under sufficient statistics.
Apprentissage de métriquesLa métrique, aussi appelée distance ou similarité, permet de mesurer le degré de parenté de deux éléments d'un même ensemble. Elle est utilisée dans le domaine de l'apprentissage dans des applications de classification ou de régression. La qualité de ces métriques est primordiale pour ces applications, d'où l'existence de méthodes d'apprentissage de distances. Ces méthodes se divisent en plusieurs catégories : supervisées ou non-supervisées selon les données mises à disposition.
Asymétrie (statistiques)En théorie des probabilités et statistique, le coefficient d'asymétrie (skewness en anglais) correspond à une mesure de l’asymétrie de la distribution d’une variable aléatoire réelle. C’est le premier des paramètres de forme, avec le kurtosis (les paramètres basés sur les moments d’ordre 5 et plus n’ont pas de nom attribué). En termes généraux, l’asymétrie d’une distribution est positive si la queue de droite (à valeurs hautes) est plus longue ou grosse, et négative si la queue de gauche (à valeurs basses) est plus longue ou grosse.
Information geometryInformation geometry is an interdisciplinary field that applies the techniques of differential geometry to study probability theory and statistics. It studies statistical manifolds, which are Riemannian manifolds whose points correspond to probability distributions. Historically, information geometry can be traced back to the work of C. R. Rao, who was the first to treat the Fisher matrix as a Riemannian metric. The modern theory is largely due to Shun'ichi Amari, whose work has been greatly influential on the development of the field.
Parameter identification problemIn economics and econometrics, the parameter identification problem arises when the value of one or more parameters in an economic model cannot be determined from observable variables. It is closely related to non-identifiability in statistics and econometrics, which occurs when a statistical model has more than one set of parameters that generate the same distribution of observations, meaning that multiple parameterizations are observationally equivalent.
Système d'écriturevignette|400px|Carte légendée des systèmes d'écriture dans le monde. Un système d’écriture est un ensemble organisé et plus ou moins standardisé de signes d'écriture permettant la communication des idées. En général, il s'agit de la transcription de la parole énoncée dans une langue parlée : on parle alors de glottographie. Il existe cependant des systèmes transmettant des idées sans l'intermédiaire direct de la parole : on parle alors de sémasiographie, que tous les spécialistes ne s'accordent cependant pas à considérer comme de véritables systèmes d'écriture ; on parle donc également de pré-écriture ou de proto-écriture.
Identification (statistiques)En statistiques et en économétrie, l'identification (ou identifiabilité) est une propriété d'un modèle statistique. En statistiques, on dit qu'un modèle est identifiable s'il est possible d'apprendre la vraie valeur des paramètres à partir d'un nombre infini d'observations. On considère le modèle statistique : avec : l'espace de réalisation des variables aléatoires l'espace des valeurs possibles pour le paramètre une loi de probabilité de densité On définit alors la fonction de vraisemblance comme : On dit
MicrokernelIn computer science, a microkernel (often abbreviated as μ-kernel) is the near-minimum amount of software that can provide the mechanisms needed to implement an operating system (OS). These mechanisms include low-level address space management, thread management, and inter-process communication (IPC). If the hardware provides multiple rings or CPU modes, the microkernel may be the only software executing at the most privileged level, which is generally referred to as supervisor or kernel mode.
Kernel regressionIn statistics, kernel regression is a non-parametric technique to estimate the conditional expectation of a random variable. The objective is to find a non-linear relation between a pair of random variables X and Y. In any nonparametric regression, the conditional expectation of a variable relative to a variable may be written: where is an unknown function. Nadaraya and Watson, both in 1964, proposed to estimate as a locally weighted average, using a kernel as a weighting function.
Scoring algorithmScoring algorithm, also known as Fisher's scoring, is a form of Newton's method used in statistics to solve maximum likelihood equations numerically, named after Ronald Fisher. Let be random variables, independent and identically distributed with twice differentiable p.d.f. , and we wish to calculate the maximum likelihood estimator (M.L.E.) of . First, suppose we have a starting point for our algorithm , and consider a Taylor expansion of the score function, , about : where is the observed information matrix at .
