Sparse Communication: Transformations et applications

Cette séance de cours de l'instructeur couvre l'évolution de la modélisation éparse à la communication éparse, en mettant l'accent sur l'utilisation de transformations éparses dans les réseaux neuraux pour les tâches de traitement du langage naturel. L'exposé explore diverses techniques de régularisation éparses, telles que des activations neuronales éparses et une sparsité structurée, et leurs applications dans la communication machine-humaine. Il s'inscrit dans les concepts de distributions éparsemax, entmax et mixte, mettant en évidence leur rôle dans le rapprochement entre les modèles discrets et continus. La séance de cours traite également des implications d'une communication clairsemée pour l'explication et d'une communication émergente dans l'apprentissage automatique.