GPT-3

GPT-3 (sigle de Generative Pre-trained Transformer 3) est un modèle de langage, de type transformeur génératif pré-entraîné, développé par la société OpenAI, annoncé le 28 mai 2020, ouvert aux utilisateurs via l'API d'OpenAI en juillet 2020. Au moment de son annonce, GPT-3 est le plus gros modèle de langage jamais entraîné avec 175 milliards de paramètres. GPT-2, sorti en 2019, n'avait que 1,5 milliard de paramètres. OpenAI ouvre une version bêta en juillet 2020 avec l'intention d'en faire un produit commercial. En , OpenAI annonce le lancement de son successeur, GPT-4. Une prépublication arXiv du 28 mai 2020 par un groupe de 31 ingénieurs et chercheurs de OpenAI présentait le développement de GPT-3, un modèle linguistique de troisième génération. L'équipe a augmenté la capacité de GPT-3 de plus de deux ordres de grandeur par rapport à celle de son prédécesseur, GPT-2. Le nombre plus élevé de paramètres de GPT-3 lui confère une plus grande précision par rapport aux versions précédentes de plus faible capacité. La capacité de GPT-3 est dix fois supérieure à celle du NLG de Turing de Microsoft. 60 % de l'ensemble de données pondérées de pré-apprentissage pour le modèle GPT-3 proviennent d'une version filtrée du corpus consistant en 410 milliards d'unités textuelles sous-lexicales encodées par l'algorithme BPE. Les autres sources sont 19 milliards d'unités du corpus WebText2 représentant 22 % du total pondéré, 12 milliards d'unités du corpus Books1 représentant 8 %, 55 milliards du corpus Books2 représentant 8 % et 3 milliards d'unités de Wikipedia représentant 3 %. GPT-3 a été entrainé sur des centaines de milliards de mots et est capable de programmer en CSS, JSX, Python, entre autres. Les données d'apprentissage de GPT-3 étant globales, il ne nécessite pas d'apprentissage supplémentaire pour des tâches linguistiques distinctes. Le 11 juin 2020, OpenAI a annoncé que les utilisateurs pouvaient demander l'accès à son API GPT-3 - un ensemble d'outils d'apprentissage machine - pour qu'OpenAI augmente sa valeur d'usage.