Batch normalizationBatch normalization (also known as batch norm) is a method used to make training of artificial neural networks faster and more stable through normalization of the layers' inputs by re-centering and re-scaling. It was proposed by Sergey Ioffe and Christian Szegedy in 2015. While the effect of batch normalization is evident, the reasons behind its effectiveness remain under discussion. It was believed that it can mitigate the problem of internal covariate shift, where parameter initialization and changes in the distribution of the inputs of each layer affect the learning rate of the network.
High-dimensional statisticsIn statistical theory, the field of high-dimensional statistics studies data whose dimension is larger than typically considered in classical multivariate analysis. The area arose owing to the emergence of many modern data sets in which the dimension of the data vectors may be comparable to, or even larger than, the sample size, so that justification for the use of traditional techniques, often based on asymptotic arguments with the dimension held fixed as the sample size increased, was lacking.
Bruit routierLe bruit routier désigne l'ensemble des bruits émis par la circulation routière et l'entretien des routes. Il est source de nuisances pour les riverains et contribue à la pollution sonore et à une dégradation de la naturalité de l'environnement, dont pour de nombreuses espèces sauvages qui sont confrontées à un environnement de plus en plus artificiellement bruyant, situation qui devrait empirer car des routes bruyantes sillonnent déjà une grande partie du monde, et les études prospectives en attendent de kilomètres supplémentaires de 2010 à 2050, assez pour ceinturer la planète plus de 600 fois.
Complexité dans le pire des casEn informatique, la complexité dans le pire des cas, ou complexité dans le cas le plus défavorable, mesure la complexité (par exemple en temps ou en espace) d'un algorithme dans le pire des cas d'exécution possibles. Elle est exprimée comme une fonction de la taille de l'entrée de l'algorithme. Implicitement, on cherche à construire des algorithmes s'exécutant en utilisant le moins de ressources possible (e.g. le plus vite possible), et il s'agit par conséquent d'une borne supérieure des ressources requises par l'algorithme.
Capacité d'un canalLa capacité d'un canal, en génie électrique, en informatique et en théorie de l'information, est la limite supérieure étroite du débit auquel l'information peut être transmise de manière fiable sur un canal de communication. Suivant les termes du théorème de codage du canal bruyant, la capacité d'un canal donné est le débit d'information le plus élevé (en unités d'information par unité de temps) qui peut être atteint avec une probabilité d'erreur arbitrairement faible. La théorie de l'information, développée par Claude E.
Contrôle du bruitalt=|vignette| Sonomètre Le contrôle du bruit, sa gestion ou atténuation, sont les efforts déployés, en tout domaine, pour diminuer la pollution sonore et limiter l'impact du bruit, tant à l'extérieur qu'à l'intérieur des bâtiments et autres structures habitées. Parmi les principaux domaines concernés par le contrôle, d'atténuation ou de réduction du bruit figurent : le contrôle du bruit des transports (trafic routier, ferroviaire, aérien, des navires dans les ports, etc), la conception architecturale et l'urbanisme (via notamment des codes de zonage) ou encore le contrôle du bruit au travail.
Fléau de la dimensionLe fléau de la dimension ou malédiction de la dimension (curse of dimensionality) est un terme inventé par Richard Bellman en 1961 pour désigner divers phénomènes qui ont lieu lorsque l'on cherche à analyser ou organiser des données dans des espaces de grande dimension alors qu'ils n'ont pas lieu dans des espaces de dimension moindre. Plusieurs domaines sont concernés et notamment l'apprentissage automatique, la fouille de données, les bases de données, l'analyse numérique ou encore l'échantillonnage.
Régression linéaireEn statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.
Théorème de Shannon-HartleyEn théorie de l'information, le théorème de Shannon-Hartley indique le débit maximal auquel l'information peut être transmise sur un canal de communication d'une bande passante spécifiée en présence de bruit. Il s'agit d'une application du théorème du codage de canal au cas archétypal du canal de communication analogique à temps continu soumis à un bruit gaussien.
Best, worst and average caseIn computer science, best, worst, and average cases of a given algorithm express what the resource usage is at least, at most and on average, respectively. Usually the resource being considered is running time, i.e. time complexity, but could also be memory or some other resource. Best case is the function which performs the minimum number of steps on input data of n elements. Worst case is the function which performs the maximum number of steps on input data of size n.
