Systèmes de connaissances non conceptuels

Cette séance de cours explore l'impact de l'apprentissage profond sur les humanités numériques, en se concentrant sur les systèmes de connaissances non conceptuels. Il explore les caractéristiques du raisonnement articulé et les défis de la mise à la terre des données du monde réel en symboles logiques. La présentation traite du succès récent des systèmes de connaissances non conceptuels, tels que AlexNet et Neural Machine Translation, et des limites des réseaux neuronaux récurrents. Il couvre également les progrès dans les transformateurs et le mécanisme d'attention, soulignant le potentiel des modèles BERT et GPT-3. La séance de cours se termine par une discussion sur les réseaux antagonistes génératifs et les questions de la disparition des gradients et de l'effondrement des modes.