Transformateurs dans la vision

Cette séance de cours couvre l'évolution des modèles d'intelligence visuelle, des architectures traditionnelles à la montée des Transformateurs dans la vision informatique et le traitement du langage naturel. Il explore les concepts clés des réseaux neuraux convolutionnels, des réseaux neuraux récurrents et les progrès récents dans la classification de l'image. La séance de cours s'insère dans les rouages intérieurs des Transformateurs, en mettant l'accent sur les mécanismes d'auto-attention multi-têtes, les encodages positionnels et les couches d'alimentation en avant. Il traite également de l'importance des mécanismes d'attention pour la compréhension des images et du texte, en mettant en évidence diverses formes d'attention et leurs applications dans les tâches visuelles.