Transformateurs dans la vision

Cette séance de cours couvre le concept de Transformateurs dans la vision informatique, en mettant l'accent sur l'architecture 'Attention est tout ce dont vous avez besoin'. Il explique l'encodeur et le décodeur de transformateurs, l'auto-attention multi-têtes, l'encodage positionnel et l'utilisation de transformateurs pour les tâches d'intelligence visuelle. La séance de cours traite également de l'application des transformateurs dans les tâches de vision, comme la reconnaissance de l'image et la prédiction dense. Différents types de transformateurs, y compris les transformateurs de vision (ViT), les transformateurs de prévision de sens (DPT) et le pré-formation BERT des transformateurs d'images (BEIT), sont explorés. En outre, il se décline dans les concepts de codeurs automatiques masqués, de décodage parallèle, et le rôle des transformateurs dans la synthèse d'images haute résolution.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (139)

Concepts associés (133)

CS-503: Visual intelligence : machines and minds

The course will discuss classic material as well as recent advances in computer vision and machine learning relevant to processing visual data -- with a primary focus on embodied intelligence and visi

Intelligence artificielle

vignette|redresse=0.8|Les assistants personnels intelligents sont l'une des applications concrètes de l'intelligence artificielle dans les années 2010. L'intelligence artificielle (IA) est un ensemble de théories et de techniques visant à réaliser des machines capables de simuler l'intelligence humaine. Souvent classée dans le groupe des mathématiques et des sciences cognitives, elle fait appel à la neurobiologie computationnelle (particulièrement aux réseaux neuronaux) et à la logique mathématique (partie des mathématiques et de la philosophie).

Art créé par intelligence artificielle

vignette|Portrait d'Edmond de Belamy, œuvre créée grâce à une intelligence artificielle par le collectif français Obvious en 2018. L'art créé par intelligence artificielle (en Artificial intelligence art ou AI art) est toute œuvre d'art créée par une personne avec l'interventionnisme d'une intelligence artificielle. Il existe de nombreux mécanismes pour créer de l'art IA, notamment la génération procédurale d'images basée sur des règles à l'aide de modèles mathématiques, des algorithmes qui simulent des coups de pinceau et d'autres effets de peinture, et des algorithmes d'intelligence artificielle ou d'apprentissage profond tels que les réseaux antagonistes génératifs et les transformateurs.

Symbolic artificial intelligence

In artificial intelligence, symbolic artificial intelligence is the term for the collection of all methods in artificial intelligence research that are based on high-level symbolic (human-readable) representations of problems, logic and search. Symbolic AI used tools such as logic programming, production rules, semantic nets and frames, and it developed applications such as knowledge-based systems (in particular, expert systems), symbolic mathematics, automated theorem provers, ontologies, the semantic web, and automated planning and scheduling systems.

Problem of other minds

The problem of other minds is a philosophical problem traditionally stated as the following epistemological question: Given that I can only observe the behavior of others, how can I know that others have minds? The problem is that knowledge of other minds is always indirect. The problem of other minds does not negatively impact social interactions due to people having a "theory of mind" - the ability to spontaneously infer the mental states of others - supported by innate mirror neurons, a theory of mind mechanism, or a tacit theory.

Esprit

thumb|right|200px|Représentation des facultés de l'esprit humain (de Robertus de Fluctibus, 1619) L'esprit est la totalité des phénomènes et des facultés mentales : perception, affectivité, intuition, pensée, jugement, morale, etc. Dans de nombreuses traditions religieuses, il s'agit d'un principe de la vie incorporelle de l'être humain. En philosophie, la notion d'esprit est au cœur des traditions dites spiritualistes. On oppose en ce sens corps et esprit (nommé plus volontiers conscience par la philosophie et âme par certaines religions).

Transformateurs dans la vision CS-503: Visual intelligence : machines and minds

Explore l'évolution des modèles d'intelligence visuelle, en mettant l'accent sur les Transformateurs et leurs applications dans la vision informatique et le traitement du langage naturel.

Modèles Vision-Langue-Action : Formation et applications

Se penche sur la formation et les applications des modèles Vision-Language-Action, en mettant l'accent sur le rôle des grands modèles linguistiques dans le contrôle robotique et le transfert des connaissances web. Les résultats des expériences et les orientations futures de la recherche sont mis en évidence.

Modèles de langage: De la théorie à l'informatique EE-556: Mathematics of data: from theory to computation

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Réseaux neuronaux : formation et activation CIVIL-226: Introduction to machine learning for engineers

Explore les réseaux neuronaux, les fonctions d'activation, la rétropropagation et l'implémentation de PyTorch.

Architecture des transformateurs : le X Gomega CIVIL-459: Deep learning for autonomous vehicles

Déplacez-vous dans l'architecture Transformer, l'auto-attention et les stratégies de formation pour la traduction automatique et la reconnaissance d'image.