Token (informática)

De Wikipedia, la enciclopedia libre
(Redirigido desde «Token (programación)»)
Saltar a: navegación, búsqueda

Un token o también llamado componente léxico es una cadena de caracteres que tiene un significado coherente en cierto lenguaje de programación. Ejemplos de tokens podrían ser palabras clave (if, else, while, int, ...), identificadores, números, signos, o un operador de varios caracteres, (por ejemplo, :=).

Son los elementos más básicos sobre los cuales se desarrolla toda traducción de un programa, surgen en la primera fase, llamada análisis léxico, sin embargo se siguen utilizando en las siguientes fases (análisis sintáctico y análisis semántico) antes de perderse en la fase de síntesis.

Ejemplo[editar]

Supongamos la siguiente línea de un programa:

SI Nuevo > MaxNúm ENTONCES

Los tokens son:

  • "SI"
  • "NUEVO"
  • ">"
  • "MaxNúm"
  • "ENTONCES"

Y se describen por lo general en dos partes, un tipo o clase y un valor, así:Token=(Tipo,Valor)

Para la secuencia anterior, los tokens pueden describirse como:

  • (palabra reservada, "SI")
  • (identificador, "NUEVO")
  • (operador, ">")
  • (identificador, "MáxNúm")
  • (palabra reservada, "ENTONCES")