L'analyse lexicale est la transformation d’un flot de caractères en un flot de lexèmes ou tokens.
Généralement, les lexèmes ont eux-mêmes une structure. Ils forment un sous-langage. Les techniques utilisées pour l’analyse lexicale sont identiques à celles utilisées pour l’analyse syntaxique.
Nota Bene : un token est un terme technique désignant un mot, terminal ou terminal générique, utilisable par l’analyseur syntaxique. Par exemple, une expression arithmétique du type (5+5)×2 pourrait être traduite par la suite de tokens suivante : (Terme opérateur Terme) opérateur Terme.
L'analyse lexicale peut être réalisée de façon semi-automatique avec un logiciel (exemple : le logiciel libre flex ou encore JLex & JCup).