Algorithme du gradient

Concepts associés (24)

Réseau de neurones à propagation avant

Un réseau de neurones à propagation avant, en anglais feedforward neural network, est un réseau de neurones artificiels acyclique, se distinguant ainsi des réseaux de neurones récurrents. Le plus connu est le perceptron multicouche qui est une extension du premier réseau de neurones artificiel, le perceptron inventé en 1957 par Frank Rosenblatt. vignette|Réseau de neurones à propagation avant Le réseau de neurones à propagation avant est le premier type de réseau neuronal artificiel conçu. C'est aussi le plus simple.

Coordinate descent

Coordinate descent is an optimization algorithm that successively minimizes along coordinate directions to find the minimum of a function. At each iteration, the algorithm determines a coordinate or coordinate block via a coordinate selection rule, then exactly or inexactly minimizes over the corresponding coordinate hyperplane while fixing all other coordinates or coordinate blocks. A line search along the coordinate direction can be performed at the current iterate to determine the appropriate step size.

Ligne de niveau

Soit f une fonction à valeurs réelles, une ligne de niveau est un ensemble { (x1,...,xn) | f(x1,...,xn) = c } ; c étant une constante. C'est en fait le sous-ensemble de l'ensemble de définition sur lequel f prend une valeur donnée. Théorème : le gradient de f est perpendiculaire en tout point à la ligne de niveau de f en ce point. Il s'agit d'un résultat important. Pour mieux le comprendre, imaginons que deux randonneurs sont à la même position sur une montagne.

Feasible region

In mathematical optimization, a feasible region, feasible set, search space, or solution space is the set of all possible points (sets of values of the choice variables) of an optimization problem that satisfy the problem's constraints, potentially including inequalities, equalities, and integer constraints. This is the initial set of candidate solutions to the problem, before the set of candidates has been narrowed down.