Model selectionModel selection is the task of selecting a model from among various candidates on the basis of performance criterion to choose the best one. In the context of learning, this may be the selection of a statistical model from a set of candidate models, given data. In the simplest cases, a pre-existing set of data is considered. However, the task can also involve the design of experiments such that the data collected is well-suited to the problem of model selection.
Méthode scientifiqueLa méthode scientifique désigne l'ensemble des canons guidant ou devant guider le processus de production des connaissances scientifiques, qu'il s'agisse d'observations, d'expériences, de raisonnements, ou de calculs théoriques. Très souvent, le terme de « méthode » engage l'idée implicite de son unicité, tant auprès du grand public que de certains chercheurs, qui de surcroît la confondent parfois avec la seule méthode hypothético-déductive.
PhilosophieLa philosophie, du grec ancien (composé de , « aimer », et de , « sagesse, savoir »), signifiant littéralement « amour du savoir » et communément « amour de la sagesse », est une démarche qui vise à une compréhension du monde et de la vie par une réflexion rationnelle et critique. Cette réflexion n’est pas pour autant le propre d’un homme en particulier mais de tout homme dans sa dimension proprement humaine même si certains penseurs en ont fait le cœur de leur activité.
Athéismevignette|Symbole de l'athéisme. Au sens large, l'athéisme est défini comme l'absence ou le refus de toute croyance en quelque divinité que ce soit. Le terme s'oppose donc au théisme, toutefois cette définition ainsi posée ne permet pas de le distinguer clairement de l'agnosticisme, de l'antithéisme et de l'apathéisme avec lesquels il peut être confondu. Ainsi, l'athéisme se définit comme la considération qu'il n'existe aucune notion de divinité plausible, prouvable et donc réelle, ceci tant pour un dieu unique que pour un ensemble de divinités intégrées dans un même mythe.
Surapprentissagevignette|300x300px|La ligne verte représente un modèle surappris et la ligne noire représente un modèle régulier. La ligne verte classifie trop parfaitement les données d'entrainement, elle généralise mal et donnera de mauvaises prévisions futures avec de nouvelles données. Le modèle vert est donc finalement moins bon que le noir. En statistique, le surapprentissage, ou sur-ajustement, ou encore surinterprétation (en anglais « overfitting »), est une analyse statistique qui correspond trop précisément à une collection particulière d'un ensemble de données.
Minimum message lengthMinimum message length (MML) is a Bayesian information-theoretic method for statistical model comparison and selection. It provides a formal information theory restatement of Occam's Razor: even when models are equal in their measure of fit-accuracy to the observed data, the one generating the most concise explanation of data is more likely to be correct (where the explanation consists of the statement of the model, followed by the lossless encoding of the data using the stated model).
Philosophie naturelleLa philosophie naturelle, connue en latin sous le terme philosophia naturalis, est une expression qui s'appliquait à l'étude de la nature et de l'univers physique qui régnait avant le développement de la science moderne (Galilée), les philosophes posant des questions pertinentes qui, de leur temps, restèrent sans réponse, faute de moyens techniques appropriés. Traditionnellement alliée à la théologie naturelle, elle désignait autrefois l'ensemble des sciences naturelles (astronomie, physique, chimie et biologie).
Solomonoff's theory of inductive inferenceSolomonoff's theory of inductive inference is a mathematical theory of induction introduced by Ray Solomonoff, based on probability theory and theoretical computer science. In essence, Solomonoff's induction derives the posterior probability of any computable theory, given a sequence of observed data. This posterior probability is derived from Bayes' rule and some universal prior, that is, a prior that assigns a positive probability to any computable theory.
Miraclethumb|Iconographie chrétienne du miracle à l'abbaye de Notre-Dame-de-la-Pierre (1543). Un miracle est un fait extraordinaire, dépourvu d'explication scientifique, qui est alors vu comme surnaturel et attribué à une puissance divine. Il est accompli soit directement, soit par l'intermédiaire d'un serviteur de cette divinité. Il s'agit là d'une notion religieuse non reconnue par la science, pour laquelle le concept de phénomène inexplicable (généralement associé aux miracles) n'existe pas.
Bayes factorThe Bayes factor is a ratio of two competing statistical models represented by their evidence, and is used to quantify the support for one model over the other. The models in questions can have a common set of parameters, such as a null hypothesis and an alternative, but this is not necessary; for instance, it could also be a non-linear model compared to its linear approximation. The Bayes factor can be thought of as a Bayesian analog to the likelihood-ratio test, although it uses the (integrated) marginal likelihood rather than the maximized likelihood.
