GPU y CUDA

Temas que cubre

• Arquitectura GPU
• CUDA
• Kernels
• Hilos
• Bloques
• Jerarquía de memoria
• Profiling GPU
• Optimización

Lecciones de la unidad

1. Arquitectura de la GPU 75 min
   SMs, warps de 32 hilos, divergencia SIMT, jerarquía de memoria y por qué el ancho de banda manda tanto como los FLOPs.
2. El modelo de programación CUDA 80 min
   Hilos, bloques y grids; la fórmula de indexación que usarás mil veces; memoria compartida y sincronización, simulados en Python.
3. Roofline y optimización de kernels 80 min
   Intensidad aritmética, el modelo roofline, accesos coalescentes, tiling en memoria compartida y fusión de kernels, con simulaciones que cuentan bytes.
4. Jerarquía de memoria a fondo — cachés, orden de bucles y forma del tile 70 min
   Por qué el mismo cálculo puede mover 30 veces más bytes según el orden de los bucles, cómo una caché LRU decide qué se queda, y cómo se elige la forma de un tile según su intensidad aritmética y la memoria compartida disponible.

Requisitos previos

Antes de esta unidad conviene haber hecho:

• Ingeniería de LLMs (Curso 3 · Unidad 6)