Entropie (thermodynamique)L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().
Bruits colorésBien que le bruit soit un signal aléatoire, il possède des propriétés statiques caractéristiques. La densité spectrale de puissance en est une, et peut être utilisée pour distinguer les différents types de bruit. Cette classification par la densité spectrale donne une terminologie de « couleurs ». Chaque type est défini par une couleur. Ces définitions sont, en principe, communes aux différentes disciplines pour lesquelles le bruit est un facteur important (comme l'acoustique, la musique, l'électrotechnique et la physique).
Apprentissage ensemblisteIn statistics and machine learning, ensemble methods use multiple learning algorithms to obtain better predictive performance than could be obtained from any of the constituent learning algorithms alone. Unlike a statistical ensemble in statistical mechanics, which is usually infinite, a machine learning ensemble consists of only a concrete finite set of alternative models, but typically allows for much more flexible structure to exist among those alternatives.
Bruit de mesureEn métrologie, le bruit de mesure est l'ensemble des signaux parasites qui se superposent au signal que l'on cherche à obtenir au moyen d'une mesure d'un phénomène physique. Ces signaux sont une gêne pour la compréhension de l'information que le signal transporte. La métrologie vise donc notamment à connaître leurs origines et à les caractériser, afin de les éliminer et d'obtenir le signal d'origine aussi distinctement que possible. La source du bruit d'origine externe est externe au système physique générant le signal utile et agit par influence sur celui-ci.
Rapport signal sur bruitEn électronique, le rapport signal sur bruit (SNR, ) est le rapport des puissances entre la partie du signal qui représente une information et le reste, qui constitue un bruit de fond. Il est un indicateur de la qualité de la transmission d'une information. L'expression d'un rapport signal sur bruit se fonde implicitement sur le principe de superposition, qui pose que le signal total est la somme de ces composantes. Cette condition n'est vraie que si le phénomène concerné est linéaire.
Bruit numériqueDans une , on appelle bruit numérique toute fluctuation parasite ou dégradation que subit l'image de l'instant de son acquisition jusqu'à son enregistrement. Le bruit numérique est une notion générale à tout type d'image numérique, et ce quel que soit le type du capteur à l'origine de son acquisition (appareil photo numérique, scanner, caméra thermique...etc). Les sources de bruit numérique sont multiples, certaines sont physiques liées à la qualité de l’éclairage, de la scène, la température du capteur, la stabilité du capteur de l'image durant l'acquisition, d'autres apparaissent durant la numérisation de l'information.
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Bruit thermiqueLe bruit thermique, également nommé bruit de résistance, bruit Johnson ou bruit de Johnson-Nyquist, est le bruit généré par l'agitation thermique des porteurs de charges, c'est-à-dire des électrons dans une résistance électrique en équilibre thermique. Ce phénomène a lieu indépendamment de toute tension appliquée. Le bruit thermique aux bornes d'une résistance est exprimée par la relation de Nyquist : où est la variance de la tension aux bornes de la résistance, est la constante de Boltzmann, qui vaut kB = 1,3806 × 10-23 J.
BoostingLe boosting est un domaine de l'apprentissage automatique (branche de l'intelligence artificielle). C'est un principe qui regroupe de nombreux algorithmes qui s'appuient sur des ensembles de classifieurs binaires : le boosting optimise leurs performances. Le principe est issu de la combinaison de classifieurs (appelés également hypothèses). Par itérations successives, la connaissance d'un classifieur faible - weak classifier - est ajoutée au classifieur final - strong classifier.
Classifieur linéaireEn apprentissage automatique, les classifieurs linéaires sont une famille d'algorithmes de classement statistique. Le rôle d'un classifieur est de classer dans des groupes (des classes) les échantillons qui ont des propriétés similaires, mesurées sur des observations. Un classifieur linéaire est un type particulier de classifieur, qui calcule la décision par combinaison linéaire des échantillons. « Classifieur linéaire » est une traduction de l'anglais linear classifier.
