Der boom des ki-rechnens: microsoft und nvidia treiben die superintelligenz voran
Die digitale Revolution geht mit einer Geschwindigkeit voran, die die meisten Menschen noch nicht vermitteln können. In nur elf Jahren haben die Rechenleistungen für künstliche intelligenz (KI) sich vervielfacht. Von 10^14 FLOPS in den ersten Systemen auf über 10^26 FLOPS in den größten heutigen Modellen – das ist ein exponentieller Wachstum.
Das revolutionäre trio
Die Zähle von Mustafa Suleyman, Ex-CEO von DeepMind, liegen auf dem Punkt. Er vergleicht das Training von KI-Systemen mit einer Raumfüllenden, in der Menschen mit Taschenrechnern arbeiten. Bislang bedeutete die Verbesserung von KI-Leistung nur, dass man mehr solcher Rechner einsetzte. Aber sehr oft standen diese dann einfach still und warteten auf die nächste Datenladung.
Heute ändert sich das. Der Breakthrough ist das Zusammentreffen dreier Technologien: Schnellere Rechner, schnellere Datenübertragung und die Möglichkeit, viele Rechner miteinander zu vernetzen.
Die Rechner selbst sind wesentlich leistungsfähiger geworden. Nvidia-Chips haben sich von 312 Teraflops in 2020 auf 2.250 Teraflops in der heutigen Ausführung entwickelt. Microsofts Maia 200-Chip erreicht 30 Prozent mehr Leistung pro Euro als andere Chips in derselben Kategorie.
Aber auch die Datenübertragung hat sich massiv verbessert. Die High-Bandwidth-Memory (HBM) ermöglicht es, die Chips wie kleine Gebäude in Stacks anzulegen. Die neueste Version, HBM3, verdreifacht den Datenstrom der Vorgänger, damit die GPUs immer betriebsbereit und ohne Leerlaufzeiten sind.
Dann gibt es noch die Möglichkeit, viele GPUs in Supercomputern miteinander zu vernetzen. Technologien wie NVLink und InfiniBand verbinden Hunderttausende von GPUs in Riesenrechnern, die wie ein einziges Rechenwerk funktionieren.
Das Ergebnis ist eine wahre Bestie: Was in 2020 acht GPUs in 167 Minuten erledigen konnte, erledigt heute ein einzelnes Gerät in weniger als vier Minuten, was eine Steigerung von 50 mal bedeutet – viel mehr, als die Moore-Gesetz vorhergesagt hätte.
Die Prognosen sind atemberaubend. Suleyman behauptet, dass die großen Laboratorien ihr Rechenleistungspotential fast vierfach im Jahr steigern. Zwischen 2020 und heute hat sich die KI-Rechenleistung fünfmal im Jahr erhöht. Und bis 2027 will sie auf das Ausmaß von 100 Millionen H100-Chips anwachsen – ein Anstieg von 10 mal innerhalb von drei Jahren.
Im Zentrum dieses Booms stehen Unternehmen wie Microsoft und Nvidia. Suleymans jetzige Rolle als Chef der KI-Abteilung bei Microsoft unterstreicht, dass wir jetzt nicht mehr bei Prototypen, sondern bei realen Gigantinfrastrukturen angekommen sind – Clustern von 100.000 GPUs, Racks von der Größe einer Kühlschrank, die 120 Kilowatt verbrauchen, und riesigen Datenzentren, die von der Energie aus dem Verbrauch von Großbritannien, Frankreich, Deutschland und Italien zusammengefasst werden.
Suleyman warnt: