Optimisation (mathématiques)L'optimisation est une branche des mathématiques cherchant à modéliser, à analyser et à résoudre analytiquement ou numériquement les problèmes qui consistent à minimiser ou maximiser une fonction sur un ensemble. L’optimisation joue un rôle important en recherche opérationnelle (domaine à la frontière entre l'informatique, les mathématiques et l'économie), dans les mathématiques appliquées (fondamentales pour l'industrie et l'ingénierie), en analyse et en analyse numérique, en statistique pour l’estimation du maximum de vraisemblance d’une distribution, pour la recherche de stratégies dans le cadre de la théorie des jeux, ou encore en théorie du contrôle et de la commande.
Système d'équations linéairesEn mathématiques et particulièrement en algèbre linéaire, un système d'équations linéaires est un système d'équations constitué d'équations linéaires qui portent sur les mêmes inconnues. Par exemple : Le problème est de trouver les valeurs des inconnues , et qui satisfassent les trois équations simultanément. La résolution des systèmes d'équations linéaires appartient aux problèmes les plus anciens dans les mathématiques et ceux-ci apparaissent dans beaucoup de domaines, comme en traitement numérique du signal, en optimisation linéaire, ou dans l'approximation de problèmes non linéaires en analyse numérique.
Positive-definite kernelIn operator theory, a branch of mathematics, a positive-definite kernel is a generalization of a positive-definite function or a positive-definite matrix. It was first introduced by James Mercer in the early 20th century, in the context of solving integral operator equations. Since then, positive-definite functions and their various analogues and generalizations have arisen in diverse parts of mathematics.
Hyperparameter optimizationIn machine learning, hyperparameter optimization or tuning is the problem of choosing a set of optimal hyperparameters for a learning algorithm. A hyperparameter is a parameter whose value is used to control the learning process. By contrast, the values of other parameters (typically node weights) are learned. The same kind of machine learning model can require different constraints, weights or learning rates to generalize different data patterns.
Géométrie euclidienneLa géométrie euclidienne commence avec les Éléments d'Euclide, qui est à la fois une somme des connaissances géométriques de l'époque et une tentative de formalisation mathématique de ces connaissances. Les notions de droite, de plan, de longueur, d'aire y sont exposées et forment le support des cours de géométrie élémentaire. La conception de la géométrie est intimement liée à la vision de l'espace physique ambiant au sens classique du terme.
Plan (mathématiques)En géométrie classique, un plan est une surface plate illimitée, munie de notions d’alignement, d’angle et de distance, et dans laquelle peuvent s’inscrire des points, droites, cercles et autres figures planes usuelles. Il sert ainsi de cadre à la géométrie plane, et en particulier à la trigonométrie lorsqu’il est muni d’une orientation, et permet de représenter l’ensemble des nombres complexes. Un plan peut aussi se concevoir comme partie d’un espace tridimensionnel euclidien, dans lequel il permet de définir les sections planes d’un solide ou d’une autre surface.
Empirical risk minimizationEmpirical risk minimization (ERM) is a principle in statistical learning theory which defines a family of learning algorithms and is used to give theoretical bounds on their performance. The core idea is that we cannot know exactly how well an algorithm will work in practice (the true "risk") because we don't know the true distribution of data that the algorithm will work on, but we can instead measure its performance on a known set of training data (the "empirical" risk).
Exponentielle d'une matriceEn mathématiques, et plus particulièrement en analyse, l'exponentielle d'une matrice est une fonction généralisant la fonction exponentielle aux matrices et aux endomorphismes par le calcul fonctionnel. Elle fait en particulier le pont entre un groupe de Lie et son algèbre de Lie. Pour n = 1, on retrouve la définition de l'exponentielle complexe. Sauf indication contraire, X, Y désignent des matrices n × n complexes (à coefficients complexes).
Méthode de Newtonvignette|Une itération de la méthode de Newton. En analyse numérique, la méthode de Newton ou méthode de Newton-Raphson est, dans son application la plus simple, un algorithme efficace pour trouver numériquement une approximation précise d'un zéro (ou racine) d'une fonction réelle d'une variable réelle. Cette méthode doit son nom aux mathématiciens anglais Isaac Newton (1643-1727) et Joseph Raphson (peut-être 1648-1715), qui furent les premiers à la décrire pour la recherche des solutions d'une équation polynomiale.
Algorithme du gradientLalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.
