Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Entropy estimationIn various science/engineering applications, such as independent component analysis, , genetic analysis, speech recognition, manifold learning, and time delay estimation it is useful to estimate the differential entropy of a system or process, given some observations. The simplest and most common approach uses histogram-based estimation, but other approaches have been developed and used, each with its own benefits and drawbacks.
Inférence bayésiennevignette|Illustration comparant les approches fréquentiste et bayésienne (Christophe Michel, 2018). L’inférence bayésienne est une méthode d'inférence statistique par laquelle on calcule les probabilités de diverses causes hypothétiques à partir de l'observation d'événements connus. Elle s'appuie principalement sur le théorème de Bayes. Le raisonnement bayésien construit, à partir d'observations, une probabilité de la cause d'un type d'événements.
Thermodynamique hors équilibreLa thermodynamique hors équilibre est le domaine de recherche étudiant les phénomènes de relaxation et de transport au voisinage de l'équilibre thermodynamique. Il s'agit là de phénomènes dissipatifs donc irréversibles, liés à une augmentation de l'entropie. Les méthodes présentées ici relèvent de la thermodynamique proprement dite, qui permet de donner les lois caractérisant un phénomène.
Règle d'inférenceDans un système logique, les régles d'inférence sont les règles qui fondent le processus de déduction, de dérivation ou de démonstration. L'application des règles sur les axiomes du système permet d'en démontrer les théorèmes. Une règle d'inférence est une fonction qui prend un -uplet de formules et rend une formule. Les formules arguments sont appelées « les prémisses » et la formule retournée est appelée la « conclusion ».
Inférence (logique)L’inférence est un mouvement de la pensée qui permet de passer d'une ou plusieurs assertions, des énoncés ou propositions affirmés comme vrais, appelés prémisses, à une nouvelle assertion qui en est la conclusion. Étymologiquement, le mot inférence signifie « reporter ». En théorie, l'inférence est traditionnellement divisée en déduction et induction, une distinction qui, en Europe, remonte au moins à Aristote ( avant Jésus-Christ). On distingue les inférences immédiates des inférences médiates telles que déductives, inductives et abductives.
Entropie (thermodynamique)L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().
Critiques des théories de l'évolutionEn tant que théorie scientifique, la théorie darwinienne de l'évolution des espèces par sélection naturelle fait l'objet de diverses critiques. L'idée d'évolution biologique est souvent rejetée car elle s'oppose à une vision spirituelle de l'homme, en le présentant comme le simple résultat du hasard, obéissant uniquement à des lois mécaniques et matérielles, et non le résultat d'un dessein où l'homme pourrait trouver du sens, en particulier par des croyants qui refusent l'idée d'évolution par fidélité à certains textes sacrés comme la Torah, la Bible ou le Coran.
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
DissipationEn physique, la dissipation désigne le phénomène selon lequel un système dynamique (onde, oscillation...) perd de l'énergie au cours du temps. Cette perte est principalement due aux frottements et aux turbulences, et l'énergie correspondante est alors dégradée en chaleur, une forme d'énergie qui ne pourra pas être intégralement retransformée en énergie mécanique, comme l'affirme le deuxième principe de la thermodynamique. Amortissement Dissipateur thermique Entropie Hystérésis Théorème de fluctuation-dissi
