Token (testo)

Un token (o token lessicale), in informatica, è un blocco di testo categorizzato, normalmente costituito da caratteri indivisibili chiamati lessemi.

I token sono frequentemente definiti come espressioni regolari, che sono comprese da un analizzatore lessicale come Lex. L'analizzatore lessicale legge in un flusso di lessemi e li categorizza in token: se esso trova un token non valido, restituisce un errore. L'operazione successiva alla tokenizzazione è il parsing. Con essa i dati interpretati possono essere caricati in strutture dati, per uso generico, interpretazione o compilazione.


From Wikipedia, the free encyclopedia · View on Wikipedia

Developed by Tubidy