Grundlagen der Parallelverarbeitung

Ein Foto aufzuhellen heißt, dieselbe kleine Zahl zu Millionen von Pixeln zu addieren. Ein Pixel hängt nicht von einem anderen ab, also können tausende kleine Arbeiter jeweils ein paar übernehmen. Eine Grafikkarte ist genau dafür gebaut. In diesem Lab gibt es keine Grafikkarte, aber du kannst die Ideen sehen, auf denen sie beruht.

• Parallel: mehrere Teile einer Aufgabe, die gleichzeitig erledigt werden.
• Worker (Arbeiter): ein Prozess oder Thread, der einen Teil der Aufgabe erledigt.
• Serieller Anteil: der Teil einer Aufgabe, der sich nicht aufteilen lässt und der Reihe nach erledigt werden muss.
• Beschleunigung: wie viel mal schneller eine Aufgabe ist als mit einem einzigen Worker.
• Thread: ein kleiner Arbeiter; eine GPU lässt tausende gleichzeitig laufen.
• Kernel: die kleine Funktion, die jeder Thread ausführt, jeder für sein eigenes Element.

ls listet den Arbeitsordner auf: das Notebook start.ipynb und den Ordner steps. cat zeigt das erste Skript. Es addiert die Quadrate von 1 bis 1000 zweimal: einmal mit einer Python-Schleife und einmal mit einer einzigen NumPy-Operation, die dieselbe Arbeit auf dem ganzen Array auf einmal erledigt.

Beide Wege ergeben 333833500, und das Skript meldet, dass die beiden Ergebnisse gleich sind. Die Schleife braucht 2000 Operationen auf Python-Ebene, eine Multiplikation und eine Addition für jede der 1000 Zahlen. NumPy braucht 1, weil ein einziger Aufruf die ganze Arbeit in schnellem, kompiliertem Code erledigt. Es wird keine Zeit gemessen, deshalb gibt das Skript jedes Mal dasselbe aus. Eine GPU geht weiter: eine Anweisung, tausende Elemente.

Die Zahlen von 1 bis 40 werden in 4 Stücke zu je 10 zerlegt, und zwei Worker teilen sie sich. Jedes Stück ergibt eine Teilsumme, 55, 155, 255 und 355, immer in der Reihenfolge der Stücke aufgelistet, und zusammen ergeben sie 820, genau wie die Summe der ganzen Liste in einem Stück. Das Aufteilen funktioniert, weil sich jedes Stück addieren lässt, ohne die anderen zu kennen.

Ein Teil jeder Aufgabe lässt sich nicht aufteilen. Die Tabelle berechnet die Beschleunigung mit 1, 2, 4 und 8 Workern, wenn sich 10, 25 und 50 Prozent nicht aufteilen lassen. Bei 10 Prozent seriellem Anteil bringen 8 Worker das 4,71-Fache, nicht das 8-Fache, und selbst unendlich viele Worker bringen höchstens das 10,0-Fache. Bei 50 Prozent seriellem Anteil bringen 8 Worker nur das 1,78-Fache.

Eine GPU führt eine Funktion namens Kernel einmal für jeden Thread aus. Die Threads sind in Blöcken zusammengefasst, und jeder berechnet mit Blocknummer * Blockgröße + Threadnummer, welches Element seines ist. Dieses Skript simuliert den Start von 3 Blöcken zu je 4 Threads über 10 Elemente, um zwei Vektoren zu addieren. Es gibt den globalen Index jedes Threads von 0 bis 11 aus und das Ergebnis 11, 22 und so weiter bis 110. Die letzten beiden Threads, 10 und 11, liegen hinter dem Ende und tun nichts.

Ein Gerät hat zwei Grenzen: wie schnell es Bytes bewegt und wie schnell es rechnet. Dieses Skript ist reine Rechnerei mit einem erfundenen Gerät, das 500 Gigabyte pro Sekunde bewegt und 10 Teraflops pro Sekunde schafft. Eine Vektoraddition mit 10 Millionen Elementen bewegt 120000000 Bytes für 10000000 Rechenschritte, sie wird also vom Speicher begrenzt. Eine Matrixmultiplikation von 1000 mal 1000 bewegt 12000000 Bytes für 2000000000 Rechenschritte, sie wird also von der Rechenleistung begrenzt.

Öffne JupyterLab in der Leiste und doppelklicke auf start.ipynb. Jede Zelle führt ein Skript aus, du siehst also, was die sechs Skripte getan haben, eine Idee nach der anderen. Klicke auf eine Zelle und drücke Umschalt und Eingabe, um sie auszuführen. Zum Erkunden öffnest du ein Skript in der Dateiliste, änderst eine Zahl, zum Beispiel die Anzahl der Stücke oder den Anteil, der sich nicht aufteilen lässt, und führst es erneut aus.