SLURM
Pide solo los recursos que necesitas y lanza trabajos con sbatch, srun y salloc. Arrays, dependencias y cómo leer la cola.
Semillero de computación de alto rendimiento
Nueve módulos para pasar de usar el cluster a entender cómo se entrena un modelo de lenguaje: Linux, C/C++, OpenMP, MPI, CUDA, HIP e inteligencia artificial vista desde HPC.
Cada módulo es un PDF con diagramas, código probado en el cluster y un reto al final. Se abren en una pestaña nueva.
Pide solo los recursos que necesitas y lanza trabajos con sbatch, srun y salloc. Arrays, dependencias y cómo leer la cola.
La terminal, los pipes y los scripts de Bash como herramienta diaria. Permisos, edición de archivos y copia con scp y rsync.
Compilación, banderas de optimización, memoria y localidad. La base de todo lo que se paraleliza después.
Un pragma paraleliza un bucle, pero la corrección (races), el reparto del trabajo (scheduling) y la memoria deciden el speedup.
Procesos separados que se comunican con mensajes. Ranks, colectivas, deadlock y cómo medir la comunicación antes de escalar a más nodos.
Miles de hilos en grids y blocks. El rendimiento lo decide la jerarquía de memoria: coalescing, shared memory y pocas transferencias host-device.
HIP lleva el modelo de CUDA a las GPU AMD y NVIDIA con casi el mismo código. Wavefronts, LDS y la partición amd del cluster.
Descenso del gradiente y una red neuronal como multiplicaciones de matrices, programada en C++, OpenMP, MPI y CUDA. FLOPs y modelo roofline.
Tokens, atención, KV cache y las capas modernas. Cómo PyTorch llama a C++, OpenMP, CUDA, ROCm y NCCL por debajo.
Cómo entrar y qué hay disponible. Cambia usuario por tu usuario del SC3.
El acceso pasa por un nodo de entrada. Una sola vez, guarda esta configuración en ~/.ssh/config:
# ~/.ssh/config
Host guane
HostName guane
User usuario
ProxyJump usuario@toctoc.sc3.uis.edu.co
Después entras con un solo comando:
ssh guane
Sin la configuración, haz los dos saltos a mano: ssh usuario@toctoc.sc3.uis.edu.co y luego ssh guane.
sinfo.salloc --nodes=1 --ntasks=1 --partition=legacy --time=00:30:00module load gnu14/14.2.0sbatch y revisa la cola con squeue --user=$USER.El módulo 1 explica cada paso con ejemplos.
| Partición | Nodos | Úsala para |
|---|---|---|
legacy (por defecto) | guane01 a guane08 | Módulos 1 a 5: CPU, OpenMP y MPI |
gpu_titan | yaje, felix | Módulo 6: CUDA. Confirma con sinfo qué nodos están activos. |
fat | thor | Trabajos con mucha memoria |
amd | exadell, smexa | Módulo 7: ROCm y HIP |
| Para | Módulos de entorno |
|---|---|
| Compiladores | gnu14/14.2.0, gnu15/15.2.0, clang/17.0.6, nvhpc/23.11, cmake/3.29.3 |
| MPI | openmpi5/5.0.7, mpich, mpi/openmpi-gcc11/4.1.6, mpi/openmpi-gcc14/4.1.8, mpi/openmpi-rocm/4.1.6 |
| GPU | cuda/11.8, rocm/system, adaptivecpp/amd, adaptivecpp/nvidia |
| Contenedores y Python | apptainer, conda |
| Aplicaciones | OpenFOAM, GROMACS, LAMMPS, CP2K y Quantum ESPRESSO, con versiones por partición |
Textos de referencia para trabajar en el semillero.
Los módulos van en orden. El 1 y el 2 dan las herramientas para entrar al cluster y trabajar en la terminal. Del 3 al 5 se programa la CPU, del 6 al 7 las GPU y los dos últimos aplican todo a la inteligencia artificial.
Cada módulo trae retos individuales, y al final un reto grupal que se presenta con una exposición del equipo.
--time, --ntasks y --mem.salloc antes de lanzar un trabajo largo.srun o sbatch.Esta página es estática. Para añadir una presentación, copia el PDF a la carpeta pdf/, su portada a covers/ y duplica una tarjeta en index.html. Para un texto nuevo, duplica un bloque de esta sección.
Williams, Waterman y Patterson. Roofline: an insightful visual performance model for multicore architectures. CACM, 2009.
Los módulos 8 y 9 incluyen la bibliografía completa de cada tema.