Token (IA)
La unidad de texto que procesa un modelo de lenguaje: una palabra, un trozo de palabra o un carácter.
Antes de procesar un texto, el modelo lo divide en tokens. Una palabra corta y frecuente suele ser un token; una larga o poco común se parte en varios.
Los límites de longitud de los modelos y los precios de sus APIs se miden en tokens de entrada y de salida.
Un ejemplo
Una API que cobra por millón de tokens te cobra tanto por el texto que le envías como por la respuesta que genera.