Ingeniería de aplicaciones con LLMs en producción

Temas que cubre

• Prompt engineering
• Plantillas de prompts
• Salidas estructuradas
• JSON Schema
• Function calling
• Idempotencia
• Evals
• LLM-as-judge
• Bootstrap
• Guardrails
• Prompt injection
• PII
• Caché de prompts
• Routing de modelos
• Streaming
• Trazas
• LLMOps
• Citas
• Reindexado
• Agentes en producción
• Checkpoints
• Fine-tuning vs RAG
• Multimodal
• Voz

Lecciones de la unidad

1. Prompt engineering serio — plantillas, few-shot y versiones 65 min
   Un prompt de producción no es una frase ingeniosa, es código. Aprendes su anatomía, cuándo sirven los ejemplos, cómo separar instrucciones de datos y cómo versionarlo para que nadie lo rompa un viernes por la tarde.
2. Salidas estructuradas — JSON en el que puedes confiar 65 min
   Tu código necesita datos, no prosa. Aprendes las tres formas de pedir JSON a un modelo, qué garantiza cada una, cómo extraerlo y validarlo, y cómo montar un bucle de reparación que no se quede dando vueltas.
3. Function calling a fondo — herramientas que aguantan producción 90 min
   Validar argumentos ya lo sabes hacer. Aquí das el salto a producción con buen diseño de herramientas, llamadas paralelas, errores reintentables y los que no, idempotencia para no cobrar dos veces y presupuestos de llamadas.
4. Evals de aplicaciones LLM — saber si tu cambio mejora algo 95 min
   "Parece que va mejor" no es una métrica. Construyes un golden set con checks automáticos, entiendes los sesgos de un juez LLM, montas una puerta de regresiones para CI y aprendes a decidir con un intervalo de confianza si un prompt es mejor que otro.
5. Guardrails y seguridad — defensa por capas 95 min
   Tu aplicación leerá texto hostil, tarde o temprano. Aprendes cómo son la inyección directa e indirecta y los jailbreaks, y construyes una defensa por capas con filtro de entrada, datos marcados, detección de fugas, lista blanca de enlaces y seudonimización de datos personales.
6. Coste y latencia — la factura y el reloj 65 min
   Cada token cuesta dinero y tiempo. Aprendes a calcular el coste y la latencia de una petición y de una conversación, y a bajarlos con caché de prompts, caché semántica, batching, cascadas de modelos y streaming, sabiendo qué arriesga cada técnica.
7. Observabilidad LLMOps — ver lo que pasa dentro 90 min
   Cuando un usuario dice "el asistente me respondió una tontería", necesitas poder encontrar esa petición y ver cada paso. Aprendes a instrumentar con trazas y spans, a calcular latencia y coste por funcionalidad, a registrar sin violar la privacidad y a cerrar el ciclo entre producción y evals.
8. RAG en producción — frescura, permisos y citas que se sostienen 70 min
   Montar un RAG que funciona en una demo es fácil. Mantenerlo correcto cuando los documentos cambian, cada usuario puede ver cosas distintas y las respuestas deben citar fuentes reales es el trabajo de verdad. Evalúas estrategias de chunking, planificas reindexados incrementales y verificas citas frase a frase.
9. Agentes en producción — presupuestos, humanos y reanudación 75 min
   Un agente que funciona en tu portátil puede gastar 400 dólares en una noche, quedarse colgado esperando una confirmación o repetir un pago al reiniciarse. Aprendes a ponerle presupuestos de pasos, coste y tiempo, puntos de aprobación humana y checkpoints para reanudar sin repetir efectos.
10. ¿Prompting, RAG o fine-tuning? Decidir con criterio 70 min
    "Deberíamos hacer fine-tuning" es una de las frases más caras que se oyen en un equipo de IA. Aprendes un marco para decidir entre prompting, RAG y fine-tuning, a preparar un dataset de SFT limpio (normalizado, deduplicado y sin fugas) y a hacer las cuentas de coste de LoRA.
11. Multimodal y voz en aplicaciones 65 min
    Imágenes, documentos escaneados y voz abren productos nuevos y problemas nuevos. Aprendes cuánto cuesta una imagen en tokens y cómo ajustarla a un presupuesto, cuándo usar OCR o un modelo de visión, y cómo diseñar un asistente de voz que responda rápido transmitiendo frases a la síntesis de voz en cuanto están listas.
12. Proyecto integrador — un asistente de soporte de punta a punta 120 min
    Juntas todo el nivel en un sistema real. Guardrails de entrada, seudonimización, herramienta de pedidos, RAG con verificación, escalado a humano, presupuesto y trazas en un pipeline, más una puerta de release que decide con datos si la nueva versión sale a producción.

Requisitos previos

Antes de esta unidad conviene haber hecho:

• RAG (Curso 4 · Unidad 2)
• Agentes de IA (Curso 4 · Unidad 3)