Déplacez-vous dans des représentations neuro-symboliques pour la connaissance du sens commun et le raisonnement dans les applications de traitement du langage naturel.
Explore l'évolution de la modélisation clairsemée à la communication clairsemée dans les réseaux neuronaux pour les tâches de traitement du langage naturel.
En savoir plus sur l'apprentissage profond pour le traitement des langues naturelles, l'exploration de l'intégration des mots neuraux, des réseaux neuraux récurrents et de la modélisation des neurones avec les transformateurs.
Couvre l'architecture du transformateur, en se concentrant sur les modèles codeurs-décodeurs et les mécanismes d'attention subquadratiques pour un traitement efficace des séquences d'entrée.
Explore le mécanisme d'attention dans la traduction automatique, en s'attaquant au problème du goulot d'étranglement et en améliorant considérablement les performances NMT.