Cómo organiza una GPU sus hilos

Una GPU (unidad de procesamiento gráfico) es un procesador con miles de hilos pequeños que ejecutan a la vez la misma función sobre datos distintos. Los hilos se organizan en bloques, y los bloques en una rejilla.

Entender esa organización permite saber qué elemento le toca a cada hilo. En este laboratorio no hay GPU: la rejilla se simula en Python.

Un procesador normal tiene pocos núcleos muy potentes. Una GPU tiene miles de núcleos sencillos. Cada hilo hace una tarea pequeña, por ejemplo sumar dos números.

Todos los hilos ejecutan la misma función. Cada uno toma un elemento distinto de los datos. Es la idea de la lección anterior, llevada al extremo.

Un lanzamiento tiene dos números. El tamaño del bloque dice cuántos hilos tiene cada bloque. El número de bloques dice cuántos bloques forman la rejilla.

Cada hilo conoce dos cosas: en qué bloque está y qué posición ocupa dentro de él. Con esas dos cosas puede saber cuál es su elemento.

Para saber su elemento, un hilo calcula: índice global = bloque × tamaño del bloque + hilo.

Con bloques de 4 hilos, el hilo 1 del bloque 2 trabaja el elemento 2 por 4 más 1, es decir, el 9. Los bloques se reparten los elementos en orden, y dentro de cada bloque, los hilos también.

# Una rejilla simulada: 2 bloques de 3 hilos, sobre 5 elementos.
tam_bloque = 3
bloques = 2
n = 5
for bloque in range(bloques):
    for hilo in range(tam_bloque):
        indice = bloque * tam_bloque + hilo
        if indice < n:
            print("bloque", bloque, "hilo", hilo, "-> trabaja el elemento", indice)
        else:
            print("bloque", bloque, "hilo", hilo, "-> índice", indice, "sobra")
# Cambia tam_bloque a 2 y bloques a 3: ¿qué hilos sobran?

Los bloques se piden enteros. Para 14 elementos con bloques de 4 hacen falta 4 bloques, es decir, 16 hilos. Los 2 hilos que sobran son ociosos y no hacen nada.

El número de bloques es la división de elementos entre tamaño, redondeada hacia arriba. Se calcula con (n + tamaño - 1) // tamaño.

El laboratorio trae steps/kernel.py. Simula un lanzamiento de 3 bloques de 4 hilos sobre una lista de 10 elementos. Cada línea dice el bloque, el hilo y el índice global.

Las palabras que imprime están en inglés, como block, thread y global index. Los hilos con índices 10 y 11 sobran. El script no se modifica en esta lección.

docker exec jupyter python3 steps/kernel.py

docker exec jupyter python3 -c "print(divmod(10, 4))"