Model selection is the task of selecting a model from among various candidates on the basis of performance criterion to choose the best one. In the context of learning, this may be the selection of a statistical model from a set of candidate models, given data. In the simplest cases, a pre-existing set of data is considered. However, the task can also involve the design of experiments such that the data collected is well-suited to the problem of model selection.
The Bayes factor is a ratio of two competing statistical models represented by their evidence, and is used to quantify the support for one model over the other. The models in questions can have a common set of parameters, such as a null hypothesis and an alternative, but this is not necessary; for instance, it could also be a non-linear model compared to its linear approximation. The Bayes factor can be thought of as a Bayesian analog to the likelihood-ratio test, although it uses the (integrated) marginal likelihood rather than the maximized likelihood.
Minimum message length (MML) is a Bayesian information-theoretic method for statistical model comparison and selection. It provides a formal information theory restatement of Occam's Razor: even when models are equal in their measure of fit-accuracy to the observed data, the one generating the most concise explanation of data is more likely to be correct (where the explanation consists of the statement of the model, followed by the lossless encoding of the data using the stated model).
The deviance information criterion (DIC) is a hierarchical modeling generalization of the Akaike information criterion (AIC). It is particularly useful in Bayesian model selection problems where the posterior distributions of the models have been obtained by Markov chain Monte Carlo (MCMC) simulation. DIC is an asymptotic approximation as the sample size becomes large, like AIC. It is only valid when the posterior distribution is approximately multivariate normal.
La longueur de description minimale ou LDM (MDL pour Minimum Description Length en anglais) est un concept inventé par Jorma Rissanen en 1978 et utilisé en théorie de l'information et en compression de données. Le principe est basé sur l'affirmation suivante : toute régularité dans un ensemble de données peut être utilisée afin de compresser l'information, c'est-à-dire l'exprimer à l'aide d'un nombre réduit de symboles. Théorie de l'information Jorma Rissanen, « Modeling by shortest data description », Automatica, vol 14, No 5, pp.
In statistics, stepwise regression is a method of fitting regression models in which the choice of predictive variables is carried out by an automatic procedure. In each step, a variable is considered for addition to or subtraction from the set of explanatory variables based on some prespecified criterion. Usually, this takes the form of a forward, backward, or combined sequence of F-tests or t-tests.
Le critère d'information d'Akaike, (en anglais Akaike information criterion ou AIC) est une mesure de la qualité d'un modèle statistique proposée par Hirotugu Akaike en 1973. Lorsque l'on estime un modèle statistique, il est possible d'augmenter la vraisemblance du modèle en ajoutant un paramètre. Le critère d'information d'Akaike, tout comme le critère d'information bayésien, permet de pénaliser les modèles en fonction du nombre de paramètres afin de satisfaire le critère de parcimonie.
En statistiques, le test du rapport de vraisemblance est un test statistique qui permet de tester un modèle paramétrique contraint contre un non contraint. Si on appelle le vecteur des paramètres estimés par la méthode du maximum de vraisemblance, on considère un test du type : contre On définit alors l'estimateur du maximum de vraisemblance et l'estimateur du maximum de vraisemblance sous .
En statistique, un test F est un terme générique désignant tout test statistique dans lequel la statistique de test suit la loi de Fisher sous l'hypothèse nulle. Ce type de tests est souvent utilisé lors de la comparaison de modèles statistiques qui ont été ajustés sur un ensemble de données, afin d'identifier le modèle qui correspond le mieux à la population à partir de laquelle les données ont été échantillonnées. Les tests F dits "exacts" sont ceux pour lesquels les modèles ont été ajustés aux données par la méthode des moindres carrés.
In statistics, the focused information criterion (FIC) is a method for selecting the most appropriate model among a set of competitors for a given data set. Unlike most other model selection strategies, like the Akaike information criterion (AIC), the Bayesian information criterion (BIC) and the deviance information criterion (DIC), the FIC does not attempt to assess the overall fit of candidate models but focuses attention directly on the parameter of primary interest with the statistical analysis, say , for which competing models lead to different estimates, say for model .
