Una biblioteca personal de ideasA personal library of ideas
Notas sobre lo que voy aprendiendo: programación, organización personal y libros. Ordenadas aquí para no olvidarlas y por si a alguien más le sirven.Notes on what I’m learning: programming, personal organization and books. Kept here so I don’t forget them, and in case they help someone else.
Rafael · La Escuela de Atenas, 1509–1511Raphael · The School of Athens, 1509–1511
RoPE: dando noción de posición a los modelos de lenguaje
Los modelos de lenguaje leen todo el texto a la vez, lo que hace que necesiten una forma de saber el orden de las palabras. Un repaso de APE, ALiBi y RoPE, la solución más adoptada, como respuestas a dos preguntas: qué se codifica y dónde.
RoPE: giving language models a sense of position
Language models read the whole text at once, which means they need a way to know word order. A tour of APE, ALiBi and RoPE, the most widely adopted solution, as answers to two questions: what is encoded, and where.