Gradient boostingGradient boosting is a machine learning technique used in regression and classification tasks, among others. It gives a prediction model in the form of an ensemble of weak prediction models, i.e., models that make very few assumptions about the data, which are typically simple decision trees. When a decision tree is the weak learner, the resulting algorithm is called gradient-boosted trees; it usually outperforms random forest.
Jeux d'entrainement, de validation et de testEn apprentissage automatique, une tâche courante est l'étude et la construction d'algorithmes qui peuvent apprendre et faire des prédictions sur les données. De tels algorithmes fonctionnent en faisant des prédictions ou des décisions basées sur les données, en construisant un modèle mathématique à partir des données d'entrée. Ces données d'entrée utilisées pour construire le modèle sont généralement divisées en plusieurs jeux de données .
Evaluation of binary classifiersThe evaluation of binary classifiers compares two methods of assigning a binary attribute, one of which is usually a standard method and the other is being investigated. There are many metrics that can be used to measure the performance of a classifier or predictor; different fields have different preferences for specific metrics due to different goals. For example, in medicine sensitivity and specificity are often used, while in computer science precision and recall are preferred.
Admissible decision ruleIn statistical decision theory, an admissible decision rule is a rule for making a decision such that there is no other rule that is always "better" than it (or at least sometimes better and never worse), in the precise sense of "better" defined below. This concept is analogous to Pareto efficiency. Define sets , and , where are the states of nature, the possible observations, and the actions that may be taken. An observation of is distributed as and therefore provides evidence about the state of nature .
Théorème de Bayesvignette|Théorème de Bayes sur néon bleu, dans les bureaux d’Autonomy à Cambridge. Le théorème de Bayes ( ) est l'un des principaux théorèmes de la théorie des probabilités. Il est aussi utilisé en statistiques du fait de son application, qui permet de déterminer la probabilité qu'un événement arrive à partir d'un autre évènement qui s'est réalisé, notamment quand ces deux évènements sont interdépendants.
Estimateur de Laplace–BayesEn théorie des probabilités et en statistiques, l'estimateur de Laplace–Bayes (ou règle de succession de Laplace) est une formule permettant de donner une approximation du terme a posteriori de la formule de Bayes. Elle a été introduite au siècle pour répondre au problème : quelle la probabilité que le Soleil se lève demain ? Soit des variables aléatoires indépendantes à valeur binaire (0 ou 1). On suppose qu'elles suivent toutes une distribution de Bernouilli de même paramètre p.
