MLOps e infraestructura

Temas que cubre

• Docker
• Kubernetes
• CI/CD
• Cloud
• Model serving
• Monitorización
• Logging
• Observabilidad
• Seguridad
• Optimización de costes

Lecciones de la unidad

1. Servir modelos en producción 85 min
   De un modelo que funciona en tu notebook a un servicio que aguanta tráfico real - validación, micro-batching, timeouts, reintentos con backoff, idempotencia y health checks.
2. Observabilidad, percentiles y drift 80 min
   Saber qué le pasa a tu modelo en producción antes de que te lo diga un cliente - métricas, percentiles de latencia, ventanas deslizantes, SLOs y detección de deriva de datos con PSI y KS.
3. Reproducibilidad, tracking y CI/CD para modelos 65 min
   Que cualquier modelo en producción se pueda reconstruir, explicar y sustituir con seguridad - hashes de datos y configuración, registros de experimentos, registro de modelos y reglas de promoción automáticas.
4. Coste, caché, secretos y privacidad 80 min
   Saber cuánto cuesta cada petición antes de que llegue la factura, abaratarla con caché sin romper nada, y proteger claves y datos personales como lo haría un equipo serio.
5. KV cache paginada — memoria virtual para servir LLMs 80 min
   Por qué reservar la KV cache de forma contigua desperdicia la mayor parte de la memoria, cómo PagedAttention la reparte en bloques con tablas de páginas, comparte prefijos con copy-on-write y decide a quién expulsar cuando se acaba.
6. Cuantizar para servir — qué se acelera, qué cabe y qué se rompe 75 min
   Pesos en 4 bits, W8A8, FP8 y KV cache en 8 bits vistos desde producción — cuándo bajan la latencia, cuándo suben la capacidad, cómo SmoothQuant domestica los outliers de las activaciones y cómo decidir con números.
7. Despliegue progresivo — shadow, canario y vuelta atrás 65 min
   Cómo sacar un modelo nuevo a producción sin apostar a todo o nada — tráfico en sombra, canarios con tráfico real creciente, cuándo una diferencia de errores es real y cómo automatizar la vuelta atrás.

Requisitos previos

Antes de esta unidad conviene haber hecho:

• IA distribuida (Curso 5 · Unidad 3)