Publication
Error Feedback Fixes SignSGD and other Gradient Compression Schemes
Concepts associés (27)
Réseau de neurones artificiels
Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.
Compression fractale
La compression fractale est une méthode de encore peu utilisée aujourd’hui. Elle repose sur la détection de la récurrence des motifs, et tend à éliminer la redondance d’informations dans l'image. C'est une méthode destructive puisque l'ensemble des données de départ ne se retrouve pas dans l'image finale. Il existe plusieurs méthodes (subdivision de triangles, Delaunay etc.) mais la compression par la méthode Jacquin est la plus connue.
Réseau de neurones récurrents
Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.
Réseau neuronal convolutif
En apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour convolutional neural networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel.
Types of artificial neural networks
There are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.
JPEG-LS
JPEG-LS (souvent surnommé Lossless JPEG) est une norme de compression sans perte (donc réversible), basée sur l'algorithme LOCO-I (LOw COmplexity LOssless COmpression for Images) et évaluée par le Joint Photographic Experts Group, dont la notoriété est reconnue pour les formats de compression JPEG ISO/CEI 10918-1 et JPEG 2000. Dans JPEG-LS la compression est réalisée par la combinaison d'un codage adaptatif (extension des codes de Golomb) avec un codeur entropique proche du codeur de Huffman pour les zones à faible entropie.
Opérateur de décalage
Les opérateurs de décalage (en anglais : les shifts) sont des opérateurs linéaires qui interviennent en analyse fonctionnelle, une branche des mathématiques. Le plus souvent mentionné est l'opérateur de décalage unilatéral, un opérateur borné non normal particulier, sur un espace de Hilbert muni d'une base hilbertienne infinie dénombrable. Tout espace de Hilbert séparable de dimension infinie (sur K = R ou C) est de dimension hilbertienne dénombrable, c'est-à-dire qu'il est isomorphe à l'espace l(I) des suites de carré sommable à valeurs dans K, indexées par un ensemble I infini dénombrable, par exemple I = N ou Z.
JPEG
JPEG (sigle de Joint Photographic Experts Group) est une norme qui définit le format d'enregistrement et l'algorithme de décodage pour une représentation numérique compressée d'une image fixe. Les extensions de nom de fichiers les plus communes pour les fichiers employant la compression JPEG sont .jpg et .jpeg, cependant .jpe, .jfif et .jif furent aussi utilisées. JPEG est l’acronyme de Joint Photographic Experts Group. Il s'agit d'un comité d’experts qui édicte des normes de compression pour l’image fixe.
Multiplication operator
In operator theory, a multiplication operator is an operator Tf defined on some vector space of functions and whose value at a function φ is given by multiplication by a fixed function f. That is, for all φ in the domain of Tf, and all x in the domain of φ (which is the same as the domain of f). This type of operator is often contrasted with composition operators. Multiplication operators generalize the notion of operator given by a diagonal matrix.
Théorème du codage de source
Le théorème du codage de source (ou premier théorème de Shannon, ou encore théorème de codage sans bruit) est un théorème en théorie de l'information, énoncé par Claude Shannon en 1948, qui énonce la limite théorique pour la compression d'une source. Le théorème montre que l'on ne peut pas compresser une chaine de variables aléatoires i.i.d, quand la longueur de celle-ci tend vers l'infini, de telle sorte à ce que la longueur moyenne des codes des variables soit inférieure à l'entropie de la variable source.