Cómo funciona un modelo de lenguaje: tokens, contexto y más

Detrás de ChatGPT, Gemini, Claude o Copilot hay un modelo de lenguaje grande (LLM, por sus siglas en inglés). En qué es la IA generativa tienes la idea general; esta guía baja un nivel más para entender los términos que aparecen en las noticias, en los precios de las APIs y en las configuraciones: tokens, parámetros, contexto y ajuste.

Todo empieza por los tokens

Un modelo no lee letras ni palabras, sino tokens. El curso de Google los define como una palabra, una parte de una palabra o incluso un solo carácter. Una palabra corta y frecuente suele ser un token; una larga o poco común se parte en varios.

Antes de procesar tu mensaje, el texto se convierte en una lista de tokens, y cada token en una lista de números (un embedding) que representa su significado de forma que palabras parecidas tienen números parecidos.

Los tokens importan en la práctica porque:

• Los servicios de pago por uso cobran por token, de entrada y de salida.
• Los límites de longitud se miden en tokens, no en palabras.
• El español suele necesitar algo más de tokens que el inglés para el mismo texto, porque los modelos se entrenan con más texto en inglés.

Predecir el siguiente token

Según Google, un modelo de lenguaje estima la probabilidad de que aparezca un token o una secuencia de tokens dentro de una secuencia más larga. Un chatbot genera la respuesta token a token: calcula las probabilidades del siguiente, elige uno, lo añade al texto y repite. Por eso la respuesta aparece poco a poco en pantalla.

Para decidir qué viene después, los LLM actuales usan una arquitectura llamada Transformer, cuya pieza clave es la autoatención: cada token «mira» a todos los demás y decide cuáles son relevantes. En «el gato no cabía en la caja porque era demasiado grande», la atención ayuda a relacionar «grande» con «gato» y no con «caja».

Parámetros: lo que el modelo ha aprendido

Los parámetros son los números internos que se ajustan durante el entrenamiento. Los modelos grandes tienen miles de millones de ellos (de ahí los nombres como «8B», 8 000 millones). Más parámetros suelen permitir más conocimiento y mejor razonamiento, pero exigen más memoria y potencia para ejecutarse; por eso los modelos que caben en un ordenador doméstico (ver IA en local con Ollama) son más pequeños.

Cómo se entrena un chatbot

1. Preentrenamiento: el modelo lee enormes cantidades de texto y aprende a predecir el siguiente token. Así adquiere gramática, datos y patrones de razonamiento.
2. Ajuste (fine-tuning): se entrena con ejemplos de conversaciones bien resueltas para que siga instrucciones y responda de forma útil.
3. Aprendizaje con valoraciones humanas: personas comparan respuestas y el modelo aprende a preferir las mejores, las más honestas y las más seguras.

El curso de Google explica también la destilación: entrenar un modelo pequeño para que imite a uno grande, lo que permite modelos más baratos y rápidos con buena calidad.

La ventana de contexto: la memoria de trabajo

El modelo no recuerda las conversaciones por sí mismo. En cada respuesta procesa todo el texto de la conversación hasta ese momento: tus mensajes, sus respuestas, los documentos que adjuntaste y las instrucciones del servicio. La cantidad máxima de tokens que puede tener en cuenta a la vez es su ventana de contexto; la documentación de Anthropic la describe como la memoria de trabajo del modelo.

Consecuencias prácticas:

• En conversaciones muy largas, lo más antiguo puede quedar fuera o recibir menos atención. Si cambias de tema, empieza una conversación nueva.
• Los servicios con «memoria» entre conversaciones lo hacen guardando notas aparte e incluyéndolas en el contexto.
• Pegar un documento largo consume contexto (y dinero, si pagas por tokens).

Lo que esto explica

Saber cómo funciona aclara sus puntos fuertes y débiles: es excelente con el lenguaje (resumir, reformular, traducir, explicar) porque eso es lo que ha aprendido a predecir, y puede inventar datos con total seguridad porque genera lo probable, no lo comprobado. Lo tienes en detalle en por qué la IA se inventa cosas. Si quieres usar un LLM desde tu propio código, sigue con tu primera llamada a una API de IA.