Transformateurs dans la vision

Cette séance de cours couvre l'application des transformateurs dans les tâches de vision, en mettant l'accent sur ViTs et leur adaptation aux tâches de prédiction dense. Il explore les défis auxquels sont confrontés les transformateurs en vision, tels que la complexité quadratique et la nécessité de champs réceptifs mondiaux. L'instructeur discute de la performance des ViTs par rapport aux ConvNets traditionnels, en soulignant l'importance des données massives pour la formation. En outre, la séance de cours présente des architectures de transformateurs innovantes telles que Swin Transformer, Dense Prediction Transformers et Perceiver, soulignant leurs avantages dans la gestion des entrées et des sorties structurées. Différents modèles de transformateurs, dont MLP-Mixer et ConvMixer, sont présentés, présentant l'évolution des architectures à base de transformateurs en vision par ordinateur.