El transformer (2017)

En 2017, un equipo de Google publicó un artículo con un título bien atrevido: Attention Is All You Need. Ahí presentaron el transformer, la arquitectura que hoy está detrás de ChatGPT, de Claude y de la mayoría de los modelos de lenguaje grandes.

Mirar todo a la vez

Antes, muchos modelos leían una frase palabra por palabra, como quien lee con el dedo. El transformer usa un mecanismo llamado atención: mira todas las palabras a la vez y calcula cuáles se relacionan con cuáles.

En «María guardó el libro porque lo necesitaba mañana», el modelo puede conectar «lo» con «libro» aunque estén separados.

Imagina el tablero de un detective en una serie. Fotos, papelitos y hilos rojos que unen las pistas. Unos hilos son gruesos porque la conexión pesa mucho, otros son finitos. La atención hace eso con números.

Como mira todo a la vez, el transformer se puede entrenar repartido en muchas máquinas. Por eso los equipos pudieron armar modelos tan grandes.

Ojo: conectar palabras tampoco significa sentir la frase como tú. El modelo calcula relaciones entre números, y lo hace muy bien.