Token (Linguistica computazionale)
Un token è l’unità fondamentale e indivisibile prodotta dal Lexer (Linguistica computazionale). Sono gli “elementi lessicali” (in inglese, “lexical elements” o “tokens”) che fanno riferimento a un concetto fondamentale dell’informatica teorica e della progettazione dei linguaggi di programmazione. Ogni token ha due componenti principali:
- Token Type (Tipo di Token):
- Lexeme (Lessema): La sequenza effettiva di caratteri che forma il token.
Nella Linguistica Computazionale, il concetto di token è applicato ai linguaggi di programmazione, e più precisamente nella fase dell’Analisi Lessicale (o Lexing).