Analyse syntaxique du réseau neuronal

Description

Cette séance de cours couvre l'analyse syntaxique basée sur le réseau neuronal, en se concentrant sur l'analyse graphique avec raffinement itératif. Il traite de l'estimation du score de dépendance basée sur LSTM, d'un analyseur de dépendance basé sur des graphes neuronaux et de l'analyseur de raffinement itératif G2GT. La séance de cours explique la motivation d'EPEL pour trouver des structures de graphes, l'architecture du codeur RNGTr et le processus itératif de raffinement non autorégressif. Il présente le modèle RNGTr (Recursive Non-Autoregressive Graph-to-Graph Transformer), détaillant l'encodeur et la fonction de score. La séance de cours explore également la sélection des modèles, les résultats sur UD et Penn Treebanks, et lanalyse des performances basées sur les types de dépendance et la projectivité des graphiques de dépendance.

Connectez-vous pour regarder la vidéo

Source officielle

https://mediaspace.epfl.ch/media/0_v5ahhtqe

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (5)

Concepts associés (46)

Grammaire de dépendance

On désigne par grammaire de dépendance une approche de la syntaxe fondée par Lucien Tesnière. Elle se distingue par la place centrale donnée à une structure hiérarchique, appelée Stemma par Lucien Tesnière, mais plus connue aujourd'hui sous le terme d’arbre de dépendance. L'arbre de dépendance est un arbre, au sens mathématique du terme, représentant les liens syntaxiques entre les mots d'une phrase. Les grammaires de dépendance ne réfèrent donc pas à un cadre théorique restreint, mais la notion de dépendance peut être explicite ou implicite dans la formalisation des règles syntaxiques.

Analyse syntaxique

L' consiste à mettre en évidence la structure d'un texte, généralement une phrase écrite dans une langue naturelle, mais on utilise également cette terminologie pour l'analyse d'un programme informatique. L' (parser, en anglais) est le programme informatique qui réalise cette tâche. Cette opération suppose une formalisation du texte, qui est vue le plus souvent comme un élément d'un langage formel, défini par un ensemble de règles de syntaxe formant une grammaire formelle.

Link grammar

Link grammar (LG) is a theory of syntax by Davy Temperley and Daniel Sleator which builds relations between pairs of words, rather than constructing constituents in a phrase structure hierarchy. Link grammar is similar to dependency grammar, but dependency grammar includes a head-dependent relationship, whereas Link Grammar makes the head-dependent relationship optional (links need not indicate direction). Colored Multiplanar Link Grammar (CMLG) is an extension of LG allowing crossing relations between pairs of words.

Neural network

A neural network can refer to a neural circuit of biological neurons (sometimes also called a biological neural network), a network of artificial neurons or nodes in the case of an artificial neural network. Artificial neural networks are used for solving artificial intelligence (AI) problems; they model connections of biological neurons as weights between nodes. A positive weight reflects an excitatory connection, while negative values mean inhibitory connections. All inputs are modified by a weight and summed.

Long short-term memory

Long short-term memory (LSTM) network is a recurrent neural network (RNN), aimed to deal with the vanishing gradient problem present in traditional RNNs. Its relative insensitivity to gap length is its advantage over other RNNs, hidden Markov models and other sequence learning methods. It aims to provide a short-term memory for RNN that can last thousands of timesteps, thus "long short-term memory".