Ingeniería de LLMs

Temas que cubre

• Tokenizadores
• BPE
• Preentrenamiento
• Datasets
• Entrenamiento
• Evaluación
• Instruction tuning
• SFT
• RLHF
• DPO
• LoRA
• QLoRA
• Cuantización
• Inferencia
• KV cache
• Batching
• Ventanas de contexto
• Alucinación
• Alineamiento

Lecciones de la unidad

1. Preentrenamiento y leyes de escala 65 min
   De la web en bruto a billones de tokens limpios, y cuánto cómputo cuesta convertirlos en un modelo.
2. Decodificación — de logits a texto 95 min
   Greedy, temperatura, top-k, top-p, penalización de repetición y beam search, implementados y comparados.
3. Inferencia y KV cache 80 min
   Por qué generar texto es caro, cómo la KV cache lo abarata y cuánta memoria te cuesta a cambio.
4. Del modelo base al asistente — SFT y DPO 75 min
   Plantillas de chat, pérdida enmascarada sobre la respuesta y optimización de preferencias con la pérdida DPO.
5. LoRA y QLoRA — afinar sin tocar los pesos 85 min
   Adaptadores de bajo rango, cuántos parámetros entrenan de verdad, cómo se fusionan y cómo se calculan sus gradientes.
6. Cuantización — menos bits, casi el mismo modelo 80 min
   Int8 e int4 simétricos y asimétricos, escalas por tensor, canal y grupo, y el error que introduce cada decisión.
7. Evaluar LLMs sin engañarte 75 min
   Perplejidad y bits por byte, exact match y F1, pass@k insesgado, LLM-as-judge, contaminación y alucinaciones.

Requisitos previos

Antes de esta unidad conviene haber hecho:

• Transformers (Curso 3 · Unidad 5)