GetUSB wird nicht plötzlich zu einer Website über künstliche Intelligenz. Davon gibt es bereits genug, und an den meisten Tagen braucht die Welt wahrscheinlich nicht noch einen weiteren Artikel, der erklärt, dass KI alles verändern wird.
Was unsere Aufmerksamkeit geweckt hat, ist etwas praktischer.
Je tiefer man sich damit beschäftigt, wie künstliche Intelligenz tatsächlich funktioniert, desto vertrauter klingt die ganze Diskussion. Speicherbandbreite ist wichtig. Datenspeicher ist wichtig. NAND-Flash ist wichtig. DRAM ist wichtig. PCIe ist wichtig. Riesige Datenmengen von einem Ort zum anderen zu bewegen, ist wichtig. Mit diesen Themen beschäftigen wir uns schon seit Jahren, lange bevor bei jeder Produktankündigung irgendwo im ersten Absatz die Buchstaben „KI“ auftauchen mussten.
In den vergangenen Monaten haben wir eine Reihe von Artikeln geschrieben, die KI aus genau dieser Hardware-Perspektive betrachten. Anstatt jedem neuen Modell oder jeder neuen Software-Ankündigung hinterherzulaufen, interessiert uns eher, was unter der Oberfläche eigentlich passieren muss.
Wenn man zurückblickt, passen acht dieser Artikel erstaunlich gut zusammen.
Portable KI-Beschleuniger vs. Cloud-KI: Was sollten kleine Unternehmen tatsächlich wählen?
Eine der interessanteren Veränderungen bei KI besteht darin, dass eine KI-Arbeitslast nicht automatisch bedeutet, dass alles an ein riesiges Rechenzentrum geschickt werden muss. Kleinere KI-Beschleuniger machen lokale Inferenz inzwischen für Anwendungen praktikabel, die nicht die Rechenleistung eines gigantischen Cloud-Modells benötigen.
In unserem Artikel über portable KI-Beschleuniger im Vergleich zur Cloud-KI haben wir uns mit den grundsätzlichen Kompromissen solcher Hardware-Ansätze beschäftigt. Cloud-KI bietet enorme Rechenressourcen, lokale KI bringt jedoch einige interessante Vorteile mit sich, darunter Datenschutz, vorhersehbare Betriebskosten, geringere Latenz und die Möglichkeit, auch ohne Internetverbindung weiterzuarbeiten.
Der entscheidende Punkt ist nicht, dass einer der beiden Ansätze gewinnt. Vielmehr beginnt sich die KI-Verarbeitung zu verteilen. Manche Aufgaben gehören in die Cloud. Andere ergeben deutlich mehr Sinn auf einem lokalen Computer oder Edge-Gerät.
Im Inneren eines KI-Computers: Warum moderne KI-Systeme so viel Speicher benötigen
Eine GPU bekommt in einem KI-Computer den größten Teil der Aufmerksamkeit, aber ein leistungsstarker Prozessor ist nicht besonders nützlich, wenn er einen Großteil seiner Zeit damit verbringt, auf Daten zu warten.
Das brachte uns dazu, einen Blick in einen KI-Computer zu werfen und zu erklären, warum moderne KI-Systeme so viel Speicher benötigen. KI-Modelle enthalten eine enorme Anzahl von Parametern, und diese Parameter müssen gespeichert, geladen und durch das System bewegt werden, während die Berechnungen stattfinden.
Das ist eines der Themen, das bei KI-Hardware immer wieder auftaucht. Die Rechenleistung ist dramatisch gestiegen, aber diese Rechenleistung mit Daten zu versorgen, ist inzwischen zu einem eigenen Problem geworden. Der Prozessor mag durchaus in der Lage sein, die Arbeit zu erledigen, aber nur dann, wenn der Rest des Systems mithalten kann.
NAND verschwindet nicht, aber KI-Server sind heute auf mehr als nur Flash angewiesen
Angesichts unseres Hintergrunds war NAND-Flash für uns ein ziemlich naheliegender Ausgangspunkt.
KI macht NAND keineswegs überflüssig. Ganz im Gegenteil. Modelle, Trainingsdaten, Datenbanken und generierte Informationen benötigen alle persistenten Speicher, und Flash bleibt dabei enorm wichtig. Aber KI-Server sind heute auf deutlich mehr als nur NAND-Flash angewiesen, denn Speicherkapazität ist nur ein Teil des Problems.
Eine SSD kann eine enorme Menge an Informationen speichern, aber der Prozessor kann nicht einfach mit voller Geschwindigkeit direkt auf allem rechnen, was auf einer SSD liegt. Die Daten müssen durch verschiedene Ebenen der Speicherhierarchie bewegt werden, und jede dieser Ebenen hat ihr eigenes Verhältnis aus Kapazität, Geschwindigkeit und Kosten.
KI hat diese Hierarchie sehr viel sichtbarer gemacht.
Was ist High Bandwidth Memory und warum ist KI darauf angewiesen?
High Bandwidth Memory, normalerweise als HBM abgekürzt, hat sich von einer eher spezialisierten Speichertechnologie zu einem Begriff entwickelt, der bei Diskussionen über KI-Hardware regelmäßig auftaucht.
Dafür gibt es einen guten Grund.
In unserer Erklärung darüber, was High Bandwidth Memory ist und warum es für KI so wichtig ist, haben wir uns das Problem angesehen, das HBM lösen soll. Moderne GPUs können eine außergewöhnlich hohe Anzahl von Berechnungen durchführen, doch herkömmliche Speicherarchitekturen können zum Flaschenhals werden, wenn diese Prozessoren kontinuierlich mit enormen Datenmengen versorgt werden müssen.
HBM platziert extrem schnellen Speicher sehr nah am Prozessor und bietet eine wesentlich höhere Speicherbandbreite als herkömmliche Speicheranordnungen. Die Technik ist teuer und kompliziert, aber wenn man versucht, einen KI-Beschleuniger ständig mit Daten zu versorgen, kann die Bandbreite genauso wichtig sein wie die reine Rechenleistung.
Man kann sich das wie eine sehr schnelle Fabrik vorstellen. Die Maschinen innerhalb der Fabrik noch schneller zu machen, bringt nicht besonders viel, wenn die Laderampe das Rohmaterial nicht schnell genug anliefern kann.
Warum DRAM allein mit KI nicht mehr Schritt halten kann
Auch DRAM verschwindet nicht. Es gibt schlicht zu viele Daten.
Genau damit haben wir uns in unserem Artikel darüber beschäftigt, warum DRAM allein mit KI nicht mehr Schritt halten kann, denn die offensichtliche Lösung für einen Speichermangel scheint zunächst darin zu bestehen, einfach mehr Arbeitsspeicher einzubauen. Bei KI-Dimensionen wird das allerdings sehr schnell teuer und löst trotzdem nicht jedes Bandbreiten- und Kapazitätsproblem.
Hier beginnen die verschiedenen Ebenen des KI-Speichers mehr Sinn zu ergeben. HBM kann direkt in der Nähe des Prozessors eine außergewöhnlich hohe Bandbreite bereitstellen. DRAM stellt größere Pools schnellen Arbeitsspeichers zur Verfügung. NAND-Flash bietet eine wesentlich größere persistente Kapazität. Jede dieser Technologien erledigt etwas, das die anderen wirtschaftlich nicht sinnvoll leisten können.
KI ersetzt also nicht einfach eine Speicherart durch eine andere. Wenn überhaupt, zwingt sie Computer dazu, mehr verschiedene Speicherarten gleichzeitig einzusetzen.
Warum Festplatten für KI-Infrastruktur weiterhin entscheidend sind
Das hier ist vielleicht mein Lieblingswiderspruch in der gesamten Geschichte der KI-Hardware.
Wir verbringen so viel Zeit damit, über unglaublich ausgefeilte GPUs, HBM, NVMe-Speicher und fortschrittliche Halbleiterfertigung zu sprechen, und weiter unten in dieser Kette sitzt dann eine Technologie, die auf rotierenden Magnetscheiben basiert.
Die Festplatte ist sehr lebendig.
In unserem Artikel darüber, warum Festplatten für KI-Infrastruktur weiterhin entscheidend sind, haben wir uns mit den enormen Informationsmengen beschäftigt, die KI-Unternehmen aufbewahren müssen. Trainingsdatensätze, Modell-Checkpoints, Backups, Archive und andere große Datenmengen müssen nicht alle auf teurem Hochleistungs-Flash-Speicher liegen.
Irgendwann übernimmt die Wirtschaftlichkeit das Kommando.
Wenn Informationen im Petabyte-Bereich gespeichert werden, wird der Preis pro Terabyte plötzlich ziemlich wichtig. Festplatten gehören nach wie vor zu den wirtschaftlichsten Möglichkeiten, enorme Mengen an Online-Speicher bereitzustellen. KI mag zu den fortschrittlichsten Computertechnologien gehören, die wir je gebaut haben, aber offenbar braucht auch sie immer noch einen wirklich großen Schrank, in dem sie all ihre Sachen unterbringen kann.
Warum KI-Compute näher an den Speicher heranrückt
Seit Jahrzehnten ist die normale Computerarchitektur ziemlich geradlinig: Daten irgendwo speichern, in den Arbeitsspeicher verschieben, an den Prozessor schicken und dort etwas damit machen.
Das funktioniert wunderbar, bis die Menge der bewegten Daten gewaltig wird.
Unser Artikel darüber, warum KI-Compute näher an den Speicher heranrückt, beschäftigt sich mit einer interessanten Antwort auf dieses Problem. Anstatt riesige Datensätze ständig innerhalb eines Systems hin und her zu bewegen, beginnen einige Architekturen damit, Teile der Berechnung näher dorthin zu verlagern, wo sich die Daten bereits befinden.
Dahinter steckt eine einfache Logik. Daten zu bewegen kostet Zeit, Bandbreite und Energie. Wenn man die Entfernung reduzieren kann, über die Daten transportiert werden müssen, lässt sich manchmal die Effizienz des gesamten Systems verbessern, ohne einfach nur einen schnelleren Prozessor auf das Problem zu werfen.
Auch hier verändert KI die traditionelle Definition von Computerleistung. Die schnellste Komponente ist nicht unbedingt die Antwort. Manchmal entsteht die größere Verbesserung dadurch, dass einfach weniger Daten bewegt werden.
KV-Cache: Das KI-Speicherreservoir, das GPUs nicht austrocknen lässt
KV-Cache klingt zunächst nach einem dieser Themen, die man problemlos ignorieren kann, bis man merkt, dass es dabei hilft zu erklären, warum KI-Inferenz überraschend große Mengen an Speicher verbrauchen kann.
Wenn ein Sprachmodell eine Antwort generiert, möchte es nicht jedes Mal alles neu berechnen, was es bereits verarbeitet hat, sobald das nächste Token erzeugt wird. Der KV-Cache funktioniert dabei wie ein Speicherreservoir, das Informationen aus vorherigen Berechnungen aufbewahrt, damit das Modell sie erneut verwenden kann.
Das ist großartig für die Leistung. Kostenlos ist es allerdings nicht.
Wenn Gespräche länger werden und mehr Benutzer mit einem Modell interagieren, kann der Speicherbedarf des KV-Caches dramatisch wachsen. Wieder einmal landen wir aus einer anderen Richtung beim gleichen KI-Hardwareproblem: Wo bringt man all diese Informationen unter, und wie schnell bekommt man sie wieder zum Prozessor zurück?
Der KV-Cache ist ein gutes Beispiel dafür, warum ein Blick ausschließlich auf die technischen Daten einer GPU nicht besonders viel über die Leistung eines kompletten KI-Systems aussagt.
Offenbar landen wir immer wieder bei Arbeitsspeicher und Datenspeicher
Als wir diese Artikel geschrieben haben, gab es keinen Plan, daraus eine achtteilige KI-Serie zu machen. Die Themen kreuzten einfach immer wieder den Weg der Technologien, mit denen wir uns ohnehin beschäftigen.
Vielleicht ist genau das eigentlich der interessante Teil.
Nimmt man Chatbots, generierte Bilder und futuristische Vorhersagen einmal weg, wird künstliche Intelligenz zu einem gewaltigen Datenverarbeitungsproblem. Daten müssen gespeichert werden. Sie müssen bewegt werden. Sie müssen in den Arbeitsspeicher gelangen. Sie müssen die Prozessoren schnell genug erreichen, damit extrem teure Hardware nicht untätig herumsteht.
Plötzlich wirken NAND, DRAM, HBM, Festplatten, PCIe und Speicherarchitektur nicht mehr wie Nebenthemen. Sie sind Teil der Maschinerie, die moderne KI überhaupt erst möglich macht.
Und in letzter Zeit haben wir angefangen, sogar über die Hardware hinauszuschauen.
Unser neuerer Artikel Der größte KI-Engpass ist nicht Software – es sind Elektriker führt die Geschichte aus dem Serverraum heraus. Der Aufbau von KI-Infrastruktur erfordert enorme Mengen an elektrischer Energie, Kühlung und physischer Bauleistung. Irgendwann können die GPUs, der Arbeitsspeicher und die Speichersysteme auf der Laderampe stehen und trotzdem hat man noch ein Problem: Jemand muss die Infrastruktur bauen, die erforderlich ist, um das alles überhaupt einzuschalten.
Wahrscheinlich wird sich unsere KI-Berichterstattung auch weiterhin in diese Richtung entwickeln. Nicht jeder neuen KI-Ankündigung hinterherlaufen, sondern den Stellen folgen, an denen KI auf Speicher, Hardware und die physische Realität des Computings trifft.
Denn genau das sind normalerweise ohnehin die Teile der Geschichte, die uns interessieren.
