Cómo corre un modelo en tu máquina
Qué ocurre entre que lanzas un modelo y aparece la primera palabra en pantalla, contado paso a paso. Al final queda claro por qué una tarjeta con cuatro veces menos memoria puede ser seis veces más rápida.
Gobierno de seguridad, AppSec y gestión de riesgo. Cada entrada dice de antemano si está escrita para quien decide, para quien implementa, o para los dos.
Qué ocurre entre que lanzas un modelo y aparece la primera palabra en pantalla, contado paso a paso. Al final queda claro por qué una tarjeta con cuatro veces menos memoria puede ser seis veces más rápida.
El montaje completo de un modelo de 27B en una RTX 5090, de principio a fin: el entorno, de dónde se baja el modelo, cómo se compila el motor, cada parámetro del arranque, cómo se comprueba que de verdad usa la GPU, y cómo se consume después desde un agente de terminal.