Modèles Vision-Langue-Action : Formation et applications

Description

Cette séance de cours explore la formation et les applications des modèles Vision-Language-Action, en mettant l'accent sur les grands modèles linguistiques et leur intégration au contrôle robotique. La présentation couvre des sujets tels que le langage pour récompenser la synthèse des compétences robotiques, les VLM comme politiques des robots, et le transfert des connaissances web au contrôle robotique. Les résultats de diverses expériences sont discutés, montrant les compétences émergentes, les évaluations quantitatives et la performance de différents modèles dans les tâches basées sur la langue. La séance de cours se termine par des réflexions sur la représentation des actions dans les MVG et les orientations futures de la recherche dans ce domaine.

Source officielle

https://mediaspace.epfl.ch/media/0_8zwv39xa

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (1 000)

Concepts associés (986)

Grand modèle de langage

Un grand modèle de langage, grand modèle linguistique, grand modèle de langue, modèle massif de langage ou encore modèle de langage de grande taille (LLM, pour l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement de l'ordre du milliard de poids ou plus). Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté utilisant l'apprentissage auto-supervisé ou l'apprentissage semi-supervisé.

Studio d'enregistrement

vignette|Un studio d'enregistrement. vignette|upright|Console analogique Neve VR60. Un studio d'enregistrement est un local équipé pour réaliser des enregistrements sonores, notamment musicaux. Les studios d'enregistrement professionnels comprennent : le studio proprement dit, dont les premières qualités sont : un bon traitement acoustique, une bonne isolation phonique vis-à-vis des bruits extérieurs et une ventilation silencieuse.

Enregistrement multipiste

L'enregistrement multipiste est une méthode d'enregistrement sonore qui permet l'enregistrement et le réenregistrement de plusieurs sources sonores, simultanément ou successivement. Ce procédé permet notamment d'enregistrer plusieurs musiciens (ou groupes de musiciens) séparément, puis un chanteur, et de corriger ou d'améliorer, grâce à de nouvelles prises, l'interprétation des uns ou des autres, sans avoir à reprendre l'ensemble. En audiovisuel, les pistes servent au dialogue, aux bruits d'ambiance, à la musique.

Sound recording and reproduction

Sound recording and reproduction is the electrical, mechanical, electronic, or digital inscription and re-creation of sound waves, such as spoken voice, singing, instrumental music, or sound effects. The two main classes of sound recording technology are analog recording and digital recording. Sound recording is the transcription of invisible vibrations in air onto a storage medium such as a phonograph disc. The process is reversed in sound reproduction, and the variations stored on the medium are transformed back into sound waves.

Analog recording

Analog recording is a category of techniques used for the recording of analog signals. This enables later playback of the recorded analog audio. Analog audio recording began with mechanical systems such as the phonautograph and phonograph. Later, electronic techniques such as wire and tape recording were developed. Analog recording methods store analog signals directly in or on the media. The signal may be stored as a physical texture on a phonograph record, or a fluctuation in the field strength of a magnetic recording.