Lexical grammar

In computer science, a lexical grammar or lexical structure is a formal grammar defining the syntax of tokens. The program is written using characters that are defined by the lexical structure of the language used. The character set is equivalent to the alphabet used by any written language. The lexical grammar lays down the rules governing how a character sequence is divided up into subsequences of characters, each part of which represents an individual token. This is frequently defined in terms of regular expressions. For instance, the lexical grammar for many programming languages specifies that a string literal starts with a character and continues until a matching is found (escaping makes this more complicated), that an identifier is an alphanumeric sequence (letters and digits, usually also allowing underscores, and disallowing initial digits), and that an integer literal is a sequence of digits. So in the following character sequence the tokens are string, identifier and number (plus whitespace tokens) because the space character terminates the sequence of characters forming the identifier. Further, certain sequences are categorized as keywords – these generally have the same form as identifiers (usually alphabetical words), but are categorized separately; formally they have a different token type. Regular expressions for common lexical rules follow (for example, C). Unescaped string literal (quote, followed by non-quotes, ending in a quote): "[^"]*" Escaped string literal (quote, followed by escaped characters or non-quotes, ending in a quote): "(.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Concepts associés (3)

Séances de cours associées (14)

Lexical grammar

Analyse lexicale

En informatique, l’analyse lexicale, lexing, segmentation ou tokenization est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais). Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical, tokenizer ou lexer. Un analyseur lexical est généralement combiné à un analyseur syntaxique pour analyser la syntaxe d'un texte.

Expression régulière

vignette|Stephen Cole Kleene, dont les travaux ont fondé le concept d'expression régulière. En informatique, une expression régulière ou expression rationnelle ou expression normale ou motif est une chaîne de caractères qui décrit, selon une syntaxe précise, un ensemble de chaînes de caractères possibles. Les expressions régulières sont également appelées regex (un mot-valise formé depuis l'anglais regular expression). Les expressions rationnelles sont issues des théories mathématiques des langages formels des années 1940.

Analyse des noms : Phases de compilation et tableaux de symboles CS-320: Computer language processing

Explore les phases du compilateur et le rôle des tables de symboles dans le mappage des variables vers les déclarations.

Tuples: Désucrage et mise en œuvre CS-320: Computer language processing

Couvre les détails de mise en œuvre des tuples dans Scala, y compris le dessugaring, l'analyse lexicale, l'analyse et la génération de code.

Construire un Lexer : les premiers symboles CS-320: Computer language processing

Couvre le calcul de 'nullable' et 'first' pour les expressions régulières.