Astuce du noyau

En apprentissage automatique, l'astuce du noyau, ou kernel trick en anglais, est une méthode qui permet d'utiliser un classifieur linéaire pour résoudre un problème non linéaire. L'idée est de transformer l'espace de représentation des données d'entrées en un espace de plus grande dimension, où un classifieur linéaire peut être utilisé et obtenir de bonnes performances. La discrimination linéaire dans l'espace de grande dimension (appelé aussi espace de redescription) est équivalente à une discrimination non linéaire dans l'espace d'origine. vignette|491x491px|Principe du noyau pour apprendre si un point est dans un disque ou non. A partir des coordonnées d'un point (x, y) dans le plan, impossible de dire s'il est dans le disque orange de rayon 1 ou non, en disant s'il est à gauche ou droite d'une droite du plan. Par contre, si on ajoute comme une troisième coordonnée, le point devient dans un espace à trois dimensions. On peut affirmer qu'un point se trouve dans le disque s'il est en dessous du plan , c'est-à-dire si . L'astuce du noyau s'utilise dans un algorithme qui ne dépend que du produit scalaire entre deux vecteurs d'entrée x et y. Après passage à un espace de redescription par une transformation φ, l'algorithme n'est plus dépendant que du produit scalaire : Le problème de ce produit scalaire est qu'il est effectué dans un espace de grande dimension, ce qui conduit à des calculs impraticables. L'idée est donc de remplacer ce calcul par une fonction noyau de la forme : Pour réaliser cela, on utilise le théorème de Mercer, qui montre qu'une fonction noyau K continue, symétrique et semi-définie positive peut s'exprimer comme un produit scalaire dans un espace de grande dimension. Plus précisément, si les arguments de la fonction noyau sont à valeurs dans un espace mesurable X, et si le noyau est semi-défini positif — i. e. pour tout sous-ensemble {x1, ..., xn} de X, et sous-ensemble {c1, ...

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Publications associées (10)

Personnes associées (5)

Unités associées (1)

Concepts associés (23)

Cours associés (46)

Séances de cours associées (395)

MOOCs associés (13)

Neural Tangent Kernel: Convergence and Generalization in Neural Networks (Invited Paper)

Clément Hongler, Franck Raymond Gabriel

The Neural Tangent Kernel is a new way to understand the gradient descent in deep neural networks, connecting them with kernel methods. In this talk, I'll introduce this formalism and give a number of

ASSOC COMPUTING MACHINERY2021

This thesis is centered on questions coming from Machine Learning (ML) and Statistical Field Theory (SFT).In Machine Learning, we consider the subfield of Supervised Learning (SL), and in particular r

EPFL2021

Machine learning for information retrieval

David Grangier

In this thesis, we explore the use of machine learning techniques for information retrieval. More specifically, we focus on ad-hoc retrieval, which is concerned with searching large corpora to identif

EPFL2008

MATH-506: Topology IV.b - cohomology rings

Singular cohomology is defined by dualizing the singular chain complex for spaces. We will study its basic properties, see how it acquires a multiplicative structure and becomes a graded commutative a

CS-233(a): Introduction to machine learning (BA3)

Machine learning and data analysis are becoming increasingly central in many sciences and applications. In this course, fundamental principles and methods of machine learning will be introduced, analy

MICRO-570: Advanced machine learning

This course will present some of the core advanced methods in the field for structure discovery, classification and non-linear regression. This is an advanced class in Machine Learning; hence, student

Simulation Neurocience

Learn how to digitally reconstruct a single neuron to better study the biological mechanisms of brain function, behaviour and disease.

Simulation Neurocience

Learn how to digitally reconstruct a single neuron to better study the biological mechanisms of brain function, behaviour and disease.

Algèbre Linéaire (Partie 1)

Un MOOC francophone d'algèbre linéaire accessible à tous, enseigné de manière rigoureuse et ne nécessitant aucun prérequis.

In operator theory, a branch of mathematics, a positive-definite kernel is a generalization of a positive-definite function or a positive-definite matrix. It was first introduced by James Mercer in the early 20th century, in the context of solving integral operator equations. Since then, positive-definite functions and their various analogues and generalizations have arisen in diverse parts of mathematics.

In linear algebra, the Gram matrix (or Gramian matrix, Gramian) of a set of vectors in an inner product space is the Hermitian matrix of inner products, whose entries are given by the inner product . If the vectors are the columns of matrix then the Gram matrix is in the general case that the vector coordinates are complex numbers, which simplifies to for the case that the vector coordinates are real numbers. An important application is to compute linear independence: a set of vectors are linearly independent if and only if the Gram determinant (the determinant of the Gram matrix) is non-zero.

Un noyau est une fonction de pondération utilisée dans les techniques d'estimation non-paramétrique. Les noyaux interviennent dans l'estimateur par noyau pour estimer la densité de probabilité d'une variable aléatoire, ou encore dans la régression paramétrique (à noyau) pour estimer des espérances conditionnelles. Pour les séries temporelles, le noyau permet d'estimer la densité spectrale. Un noyau est une fonction positive, intégrable et à valeurs réelles, notée K, qui doit vérifier les deux conditions suivantes : normalisation : symétrie : pour toutes les valeurs de u.

Explique les différences entre les objets muables et immuables en Python et couvre les types de conteneurs natifs.

Couvre les méthodes du noyau dans l'apprentissage automatique, en se concentrant sur le surajustement, la sélection du modèle, la validation croisée, la régularisation, les fonctions du noyau et la SVM.

Explore l'apprentissage progressif avec LWPR, en discutant des défis, des données synthétiques, des applications du monde réel et de l'algorithme LWPR.