Analisi lessicale

L'analisi lessicale è il processo di prendere in ingresso una sequenza di caratteri e produrre in uscita una sequenza di token. Il flusso di caratteri è genericamente il codice sorgente di un programma.

L'analisi lessicale interviene genericamente nella parte di front end della compilazione.

Ad esempio, dato in ingresso il seguente codice:

Programma Pippo
  intero i = 1;
end Pippo

Il flusso di token prodotto sarà il seguente:

Tipo Token	Lessema (valore del token)
literal	`Programma`
identifier	`Pippo`
literal	`intero`
identifier	`i`
equal	`=`
number	`1`
semicolon	`;`
literal	`end`
identifier	`Pippo`

Da notare che alcuni token potrebbero fare a meno del valore (lessema) (ad esempio il simbolo equal), poiché già indicati dalla tipologia.

Lo strumento che si occupa dell'analisi lessicale è l'analizzatore lessicale, a volte chiamato scanner o lexer.

Bibliografia

Compilers: Principles, Techniques, and Tools. Aho, Lam, Sethi, Ullman. Addison-Wesley, (2nd Edition) 2006. ISBN 0-321-48681-1

Portale Informatica: accedi alle voci di Wikipedia che trattano di informatica