Transformers en intelligence visuelle

Cette séance de cours explore les applications des transformateurs en intelligence visuelle, en se concentrant sur la détection d'objets, la segmentation panoptique et la synthèse d'images à haute résolution. Il couvre l'utilisation des transformateurs comme un problème de prédiction de jeu avec la perte basée sur le jeu, les sorties de décodeur, et la communication de requête. La séance de cours se penche également sur les visualisations de cartes d'attention encodeur pour la compréhension globale de l'image et la formation des transformateurs de vision d'une manière auto-supervisée. En outre, il discute du succès de la pré-formation générative dans les tâches de vision et de la pré-formation des transformateurs d'image en utilisant BERT. La séance de cours se termine par le concept de générer des images avec des représentations clairsemées en utilisant un transformateur DC et la fusion des caractéristiques de plusieurs caméras dans une représentation partagée.