Régression logistique : modélisation et optimisation de la probabilité

Cette séance de cours sur la régression logistique couvre la modélisation des problèmes de classification binaire en utilisant la fonction logistique pour prédire les probabilités de classe. Il explique la motivation derrière la régression logistique, les propriétés de la fonction logistique, la prédiction de l'étiquette et la comparaison avec la régression linéaire. La séance de cours se penche sur l'estimation de la probabilité maximale, le gradient de la probabilité de log négative, la convexité de la fonction de perte, et les méthodes d'optimisation comme la descente du gradient et la méthode de Newton. Il aborde également les problèmes avec des données linéairement séparables et introduit des techniques de régularisation pour éviter un surajustement.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (49)

Concepts associés (43)

CS-433: Machine learning

Machine learning methods are becoming increasingly central in many sciences and applications. In this course, fundamental principles and methods of machine learning will be introduced, analyzed and pr

Loi de probabilité

thumb|400px 3 répartitions.png En théorie des probabilités et en statistique, une loi de probabilité décrit le comportement aléatoire d'un phénomène dépendant du hasard. L'étude des phénomènes aléatoires a commencé avec l'étude des jeux de hasard. Jeux de dés, tirage de boules dans des urnes et jeu de pile ou face ont été des motivations pour comprendre et prévoir les expériences aléatoires. Ces premières approches sont des phénomènes discrets, c'est-à-dire dont le nombre de résultats possibles est fini ou infini dénombrable.

Probabilité

vignette|Quatre dés à six faces de quatre couleurs différentes. Les six faces possibles sont visibles. Le terme probabilité possède plusieurs sens : venu historiquement du latin probabilitas, il désigne l'opposé du concept de certitude ; il est également une évaluation du caractère probable d'un événement, c'est-à-dire qu'une valeur permet de représenter son degré de certitude ; récemment, la probabilité est devenue une science mathématique et est appelée théorie des probabilités ou plus simplement probabilités ; enfin une doctrine porte également le nom de probabilisme.

Loi de probabilité à plusieurs variables

vignette|Représentation d'une loi normale multivariée. Les courbes rouge et bleue représentent les lois marginales. Les points noirs sont des réalisations de cette distribution à plusieurs variables. Dans certains problèmes interviennent simultanément plusieurs variables aléatoires. Mis à part les cas particuliers de variables indépendantes (notion définie ci-dessous) et de variables liées fonctionnellement, cela introduit la notion de loi de probabilité à plusieurs variables autrement appelée loi jointe.

Régression logistique

En statistiques, la régression logistique ou modèle logit est un modèle de régression binomiale. Comme pour tous les modèles de régression binomiale, il s'agit d'expliquer au mieux une variable binaire (la présence ou l'absence d'une caractéristique donnée) par des observations réelles nombreuses, grâce à un modèle mathématique. En d'autres termes d'associer une variable aléatoire de Bernoulli (génériquement notée ) à un vecteur de variables aléatoires . La régression logistique constitue un cas particulier de modèle linéaire généralisé.

Conditional probability distribution

In probability theory and statistics, given two jointly distributed random variables and , the conditional probability distribution of given is the probability distribution of when is known to be a particular value; in some cases the conditional probabilities may be expressed as functions containing the unspecified value of as a parameter. When both and are categorical variables, a conditional probability table is typically used to represent the conditional probability.

Régression linéaire probabiliste PHYS-467: Machine learning for physicists

Examine la régression probabiliste linéaire, couvrant les probabilités articulaires et conditionnelles, la régression des crêtes et l'atténuation excessive.

Régression linéaire généralisée : classification BIO-322: Introduction to machine learning for bioengineers

Explorer la régression linéaire généralisée, la classification, les matrices de confusion, les courbes ROC et le bruit dans les données.

Régression logistique : Interprétation probabiliste ME-390: Foundations of artificial intelligence

Couvre l'interprétation probabiliste de la régression logistique, la régression multinomiale, le KNN, les hyperparamètres et la malédiction de la dimensionnalité.

Régression logistique : Inférence statistique et apprentissage automatique MGT-448: Statistical inference and machine learning

Couvre la régression logistique, la fonction de vraisemblance, la méthode de Newton et l'estimation des erreurs de classification.

Régression logistique : modélisation de la probabilité CS-433: Machine learning

Couvre la régression logistique pour la classification binaire en utilisant des méthodes de modélisation de probabilité et d'optimisation.