Tokens: las piezas del texto

Tú lees palabras. El modelo lee tokens. Antes de que tu texto entre al modelo, un programa llamado tokenizador lo corta en piezas. Una pieza puede ser una palabra entera, un pedazo de palabra o un signo.

Piezas de Lego

Imagina una caja de Lego. Trae piezas grandes que ya vienen con forma de puerta y piezas chiquitas para los detalles. Las palabras comunes suelen ser una pieza entera. Las raras, o las que llevan tilde, se arman con varias piezas pequeñas.

Cada familia de modelos trae su propia caja. Por eso la misma frase puede contar 10 tokens en un modelo y 13 en otro.

Esto te toca de cerca. Los límites de una conversación y los precios de las herramientas de pago se miden en tokens. Y el español, honestamente, suele gastar más tokens que el inglés para decir lo mismo.

El juguete de abajo corta tu frase por sílabas y signos. Es una aproximación para que veas la idea. No reproduce el tokenizador de Claude ni el de ChatGPT.