SC3 Super Computación y Cálculo Científico UIS CAGE

Semillero de computación de alto rendimiento

Programa en paralelo, de SLURM a los LLM

Nueve módulos para pasar de usar el cluster a entender cómo se entrena un modelo de lenguaje: Linux, C/C++, OpenMP, MPI, CUDA, HIP e inteligencia artificial vista desde HPC.

Presentaciones

Cada módulo es un PDF con diagramas, código probado en el cluster y un reto al final. Se abren en una pestaña nueva.

Portada del módulo 1, SLURM
Módulo 1

SLURM

Pide solo los recursos que necesitas y lanza trabajos con sbatch, srun y salloc. Arrays, dependencias y cómo leer la cola.

sbatcharraysparticiones
Abrir PDF39 págs.
Portada del módulo 2, Linux
Módulo 2

Introducción a Linux

La terminal, los pipes y los scripts de Bash como herramienta diaria. Permisos, edición de archivos y copia con scp y rsync.

bashpipesscp
Abrir PDF43 págs.
Portada del módulo 3, C y C++
Módulo 3

C/C++ para HPC

Compilación, banderas de optimización, memoria y localidad. La base de todo lo que se paraleliza después.

gcc-O3caché
Abrir PDF54 págs.
Portada del módulo 4, OpenMP
Módulo 4

Programación paralela con OpenMP

Un pragma paraleliza un bucle, pero la corrección (races), el reparto del trabajo (scheduling) y la memoria deciden el speedup.

pragmareductionsNUMA
Abrir PDF46 págs.
Portada del módulo 5, MPI
Módulo 5

Computación distribuida con MPI

Procesos separados que se comunican con mensajes. Ranks, colectivas, deadlock y cómo medir la comunicación antes de escalar a más nodos.

rankcolectivashalo
Abrir PDF52 págs.
Portada del módulo 6, CUDA
Módulo 6

Programación de GPU con CUDA

Miles de hilos en grids y blocks. El rendimiento lo decide la jerarquía de memoria: coalescing, shared memory y pocas transferencias host-device.

nvccshared memorystreams
Abrir PDF53 págs.
Portada del módulo 7, ROCm y HIP
Módulo 7

GPU AMD con ROCm y HIP

HIP lleva el modelo de CUDA a las GPU AMD y NVIDIA con casi el mismo código. Wavefronts, LDS y la partición amd del cluster.

hipccwavefrontLDS
Abrir PDF52 págs.
Portada del módulo 8, IA desde HPC
Módulo 8

IA desde HPC: la IA no es magia

Descenso del gradiente y una red neuronal como multiplicaciones de matrices, programada en C++, OpenMP, MPI y CUDA. FLOPs y modelo roofline.

GEMMbackwardroofline
Abrir PDF53 págs.
Portada del módulo 9, modelos de lenguaje
Módulo 9

Modelos de lenguaje, Transformers y PyTorch

Tokens, atención, KV cache y las capas modernas. Cómo PyTorch llama a C++, OpenMP, CUDA, ROCm y NCCL por debajo.

atenciónDDPtorch.compile
Abrir PDF64 págs.
Fuentes LaTeX y código de ejemploArchivos .tex de los 9 módulos, tema Beamer y carpetas de código. Compilan con XeLaTeX.
Descargar ZIP

El cluster

Cómo entrar y qué hay disponible. Cambia usuario por tu usuario del SC3.

Conexión por SSH

El acceso pasa por un nodo de entrada. Una sola vez, guarda esta configuración en ~/.ssh/config:

# ~/.ssh/config
Host guane
    HostName guane
    User usuario
    ProxyJump usuario@toctoc.sc3.uis.edu.co

Después entras con un solo comando:

ssh guane

Sin la configuración, haz los dos saltos a mano: ssh usuario@toctoc.sc3.uis.edu.co y luego ssh guane.

Primer trabajo

  1. Mira las particiones con sinfo.
  2. Pide un nodo interactivo para probar: salloc --nodes=1 --ntasks=1 --partition=legacy --time=00:30:00
  3. Carga el compilador: module load gnu14/14.2.0
  4. Lanza un script con sbatch y revisa la cola con squeue --user=$USER.

El módulo 1 explica cada paso con ejemplos.

Particiones

ParticiónNodosÚsala para
legacy (por defecto)guane01 a guane08Módulos 1 a 5: CPU, OpenMP y MPI
gpu_titanyaje, felixMódulo 6: CUDA. Confirma con sinfo qué nodos están activos.
fatthorTrabajos con mucha memoria
amdexadell, smexaMódulo 7: ROCm y HIP

Software disponible

ParaMódulos de entorno
Compiladoresgnu14/14.2.0, gnu15/15.2.0, clang/17.0.6, nvhpc/23.11, cmake/3.29.3
MPIopenmpi5/5.0.7, mpich, mpi/openmpi-gcc11/4.1.6, mpi/openmpi-gcc14/4.1.8, mpi/openmpi-rocm/4.1.6
GPUcuda/11.8, rocm/system, adaptivecpp/amd, adaptivecpp/nvidia
Contenedores y Pythonapptainer, conda
AplicacionesOpenFOAM, GROMACS, LAMMPS, CP2K y Quantum ESPRESSO, con versiones por partición

Guías del semillero

Textos de referencia para trabajar en el semillero.

Cómo seguir el semillero

Los módulos van en orden. El 1 y el 2 dan las herramientas para entrar al cluster y trabajar en la terminal. Del 3 al 5 se programa la CPU, del 6 al 7 las GPU y los dos últimos aplican todo a la inteligencia artificial.

Cada módulo trae retos individuales, y al final un reto grupal que se presenta con una exposición del equipo.

Buenas prácticas de uso

  • Pide solo lo que necesitas en --time, --ntasks y --mem.
  • Prueba en pequeño con salloc antes de lanzar un trabajo largo.
  • No corras cálculos en el nodo de entrada: usa srun o sbatch.
  • Mide antes de escalar: compara el tiempo con 1, 2 y 4 procesos o hilos.

Para publicar aquí

Esta página es estática. Para añadir una presentación, copia el PDF a la carpeta pdf/, su portada a covers/ y duplica una tarjeta en index.html. Para un texto nuevo, duplica un bloque de esta sección.

Referencias

Williams, Waterman y Patterson. Roofline: an insightful visual performance model for multicore architectures. CACM, 2009.

Los módulos 8 y 9 incluyen la bibliografía completa de cada tema.