¿Qué es Token?
Token
A. Qué es Token
La unidad mínima que usa una IA para procesar texto. Tanto el precio como la longitud máxima de entrada (el contexto) se miden en tokens.
Un token es la unidad mínima con la que un LLM maneja el texto. En inglés, un token suele ser una palabra o parte de una palabra; en español tiende a ser una palabra corta o un fragmento de palabra. Como regla aproximada, una palabra puede dividirse en varios tokens.
El precio de las API suele cobrarse según el volumen de tokens de entrada más los de salida, y la longitud máxima del texto que se puede introducir (la ventana de contexto) también se expresa en tokens. Cuanto más largo sea el documento que procesas, más tokens consumes.