Transformeur génératif pré-entraînédroite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.
Majority ruleMajority rule is the principle that the group that has the most supporters gets its way. A majority is more than half of the voters involved, and rule by such a majority is thought to be to the benefit of more than rule by less than half (a mere minority) would be. Majority rule is the binary decision rule most often used in decision-making bodies, including many legislatures of democratic nations. Where no one party wins a majority of the seats in a legislature, the majority of legislators that wields power is partly composed of members of other parties in support.
Reconnaissance automatique de la parolevignette|droite|upright=1.4|La reconnaissance vocale est habituellement traitée dans le middleware ; les résultats sont transmis aux applications utilisatrices. La reconnaissance automatique de la parole (souvent improprement appelée reconnaissance vocale) est une technique informatique qui permet d'analyser la voix humaine captée au moyen d'un microphone pour la transcrire sous la forme d'un texte exploitable par une machine.
Majorité absolueLors d'un vote, l'obtention de la majorité absolue nécessite de réunir plus de la moitié des suffrages exprimés, ce qui est souvent résumé par l'expression , bien que celle-ci fasse débat. On parle de majorité absolue par opposition à la majorité relative. La majorité absolue est égale à la moitié des suffrages exprimés plus un si leur nombre est pair ou, si leur nombre est impair, égale à la moitié du nombre pair immédiatement supérieur.
Modèle de langageEn traitement automatique des langues, un modèle de langage ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant dans une séquence de mots. Un modèle de langage n-gramme est un modèle de langage qui modélise des séquences de mots comme un processus de Markov. Il utilise l'hypothèse simplificatrice selon laquelle la probabilité du mot suivant dans une séquence ne dépend que d'une fenêtre de taille fixe de mots précédents.
Calcul par réservoirLe calcul par réservoir (de l'anglais reservoir computing) est un cadre de calcul dérivé de la théorie des réseaux de neurones récurrents qui mappe un ou plusieurs signaux d'entrée dans des espaces de calcul de dimension supérieure grâce à la dynamique d'un système fixe et non linéaire appelé réservoir . Une fois que le signal d'entrée est introduit dans le réservoir, qui est traité comme une « boîte noire », un simple mécanisme de lecture est entraîné pour lire l'état du réservoir et le mapper à la sortie souhaitée.
Apprentissage par renforcement profondL'apprentissage par renforcement profond (en anglais : deep reinforcement learning ou deep RL) est un sous-domaine de l'apprentissage automatique (en anglais : machine learning) qui combine l'apprentissage par renforcement et l'apprentissage profond (en anglais : deep learning). L'apprentissage par renforcement considère le problème d'un agent informatique (par exemple, un robot, un agent conversationnel, un personnage dans un jeu vidéo, etc.) qui apprend à prendre des décisions par essais et erreurs.
Q-learningvignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.
Attention (machine learning)Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.
Votethumb|150px|Urne de vote. Le vote (terme dérivé de l'anglais vote, provenant du latin votum signifiant « vœu ») est une méthode permettant à un groupe une prise de décision commune. Les organisations formelles ou informelles ont recours à cette pratique, de toute nature (économiques, politiques, associatives, etc.). La pratique du vote vise à donner une légitimité à la décision en montrant qu'elle ne vient pas d'un individu isolé.
