Cos’è un token?
In Natural Language Processing (NLP), un token è una singola unità discreta di testo ottenuta tramite la Tokenization (NLP).
Un token può essere:
- Una parola (es. “cane”);
- Sub-words (es. “-zione” da “tokenizzazione”);
- Simboli (es. ? ! £ •)
- Un numero (es. “9000”)