NPU-TOPS: Was sie über lokale KI auf einem Laptop aussagen – und was nicht

Eine NPU (Neural Processing Unit) ist eine spezialisierte Verarbeitungseinheit für bestimmte Operationen, die häufig in neuronalen Netzen vorkommen. In einem Laptop arbeitet sie neben der CPU und, sofern vorhanden, der GPU: Welche Einheit eine Aufgabe ausführt, hängt vom Modell, der Anwendung und der Softwareunterstützung ab. Das bedeutet nicht, dass jede als „KI“ bezeichnete Funktion automatisch auf der NPU läuft.

In der Praxis geht es um Spezialisierung, nicht um eine allgemeingültige Rangordnung. Die CPU übernimmt allgemeine Aufgaben und koordiniert das System; die GPU kann umfangreiche parallele Arbeitslasten ausführen; die NPU ist dafür ausgelegt, mit ihrer Architektur kompatible Arbeitslasten bei begrenztem Stromverbrauch zu beschleunigen. Eine leistungsstärkere NPU macht nicht den ganzen Computer schneller, und ihre Verfügbarkeit garantiert nicht, dass eine bestimmte Anwendung sie nutzt.

Ein möglicher Vorteil besteht darin, bestimmte Inferenzaufgaben auf dem Gerät auszuführen, statt immer auf einen entfernten Server angewiesen zu sein. Das kann bei Latenz, Verbindung und lokaler Datenverarbeitung helfen. Es bedeutet jedoch nicht, dass der Laptop jedes Modell offline und in derselben Qualität ausführen kann. Speicherplatz, Modellgröße und Implementierung der Anwendung bleiben entscheidend.

TOPS steht für trillions of operations per second, also Billionen Rechenoperationen pro Sekunde. Als Einheit beschreibt der Wert einen theoretischen Durchsatz an Operationen. In Hardwaredatenblättern dient er zur Beschreibung von KI-Beschleunigern; eine einzelne Zahl verrät jedoch nicht, welche Operationen gezählt werden, welche numerische Genauigkeit gilt oder unter welchen Bedingungen der Spitzenwert erreicht wird.

Qualcomm zufolge hängt die Interpretation von TOPS unter anderem von Taktfrequenz und Rechengenauigkeit ab. Deshalb sind zwei TOPS-Werte nicht unbedingt direkt vergleichbar, wenn Methode und bezogene Komponente nicht eindeutig angegeben sind. Der für eine NPU beworbene Spitzenwert ist außerdem nicht mit einem Messergebnis in einer Produktivanwendung gleichzusetzen.

TOPS ist auch keine Energieeinheit. Der Wert sagt weder, wie viele Watt das System verbraucht, noch wie viel Energie eine bestimmte Aufgabe benötigt oder wie viele Stunden der Akku hält. Ein hoher Wert kann unter bestimmten Bedingungen auf mehr Spitzenleistung hindeuten. Er beweist für sich genommen aber nicht, dass ein Laptop effizienter ist oder diese Leistung über eine längere Sitzung aufrechterhält.

Die Seiten und Dokumente der Hersteller zeigen, warum sich ein genauer Blick auf die vollständige Bezeichnung lohnt. Qualcomm nennt für die NPU der Snapdragon-X-Serie 45 TOPS und verweist dabei auf seinen Leitfaden zu KI-Kennzahlen. Microsoft legte in seiner Ankündigung von 2024 für die Kategorie Copilot+ PC eine Schwelle von 40 NPU-TOPS fest. Diese Vorgabe definiert eine Kompatibilitätskategorie und ist keine universelle Messgröße für die Qualität der Nutzererfahrung.

Bei Intel unterscheiden sich die Spezifikationen je nach Generation und Prozessor; in den Unterlagen können die NPU-Leistung und die Leistung anderer Komponenten getrennt aufgeführt sein. So unterscheidet etwa das Datenblatt des Lenovo ThinkBook 14 G8 IAL zwischen NPU-TOPS, GPU-Werten und einem Plattformgesamtwert. Plattformgesamtwerte dürfen nicht wie NPU-TOPS addiert oder verglichen werden, ohne zu prüfen, welche Einheiten der Wert umfasst.

Allgemeine Verweise auf AMDs Ryzen-AI-Familie reichen nicht aus, um allen Prozessoren eine Zahl zuzuordnen: Dafür muss das genaue Modell ermittelt und dessen Dokumentation geprüft werden. Eine sekundäre technische Quelle erläutert das Konzept Ryzen AI, doch das vorliegende Material enthält kein offizielles AMD-Datenblatt, das einen einheitlichen Zahlenvergleich über mehrere Generationen hinweg ermöglicht. Deshalb wird hier keine Tabelle mit Intel-, AMD- und Qualcomm-Werten so dargestellt, als beruhe sie auf derselben Methodik.

Eine NPU kann für die effiziente Ausführung bestimmter Arbeitslasten ausgelegt sein. Daraus lässt sich jedoch nicht die Akkulaufzeit eines Geräts ableiten. Der Akku versorgt das ganze System: Display, Arbeitsspeicher, Speicher, Verbindungen und weitere Komponenten ebenso wie CPU, GPU und NPU. Außerdem zählt, wie lange und mit welcher Intensität die einzelnen Einheiten aktiv sind. TOPS sagt keine Akkulaufzeit in Stunden voraus.

Auch die Temperatur lässt sich aus diesem Wert nicht ableiten. Thermisches Design, vom Hersteller konfigurierte Leistungsgrenzen, Gehäuse, Belüftung und gleichzeitig ausgeführte Aufgaben beeinflussen das Verhalten unter Dauerlast. Die verfügbaren Quellen enthalten keine vergleichbaren Messungen von Stromverbrauch, Temperatur oder Akkulaufzeit, bei denen dasselbe Modell und dieselbe Anwendung auf Intel-, AMD- und Qualcomm-Systemen laufen. Daher lässt sich nicht sagen, welche Plattform in diesem Szenario die Leistung am besten hält.

Zwischen dem Spitzenwert des Chips und dem Ergebnis im Alltag besteht ein weiterer Unterschied: Die Inferenz kann durch Speicher, Bandbreite, Modellkonvertierung oder Operationen begrenzt werden, die nicht auf der NPU laufen. Wird ein Teil der Arbeit von CPU oder GPU übernommen, ändern sich die Lastverteilung und der Gesamtverbrauch. Der Engpass kann außerhalb der NPU liegen, selbst wenn der TOPS-Wert ausreichend erscheint.

Bei einer lokalen KI-Aufgabe sollte zuerst geprüft werden, ob Anwendung und Modell den konkreten Beschleuniger unterstützen. Eine vorhandene NPU bedeutet nicht, dass das Betriebssystem oder jedes Programm sie verwendet. Auch die Laufzeitumgebung, Treiber und Toolversionen können eine Rolle spielen. Fehlt eine kompatible Softwarekette, kann der Wert im Datenblatt für den Arbeitsablauf des Nutzers wenig aussagekräftig sein.

Die im Mai 2024 von Microsoft angekündigte Vorgabe von 40 TOPS für Copilot+ PCs zeigt den Unterschied zwischen dem Erreichen eines Schwellenwerts und dem Messen einer Nutzererfahrung. Sie grenzt eine Geräteklasse und damit verbundene Funktionen ab. Sie garantiert jedoch weder, dass jedes lokale Modell läuft, noch dass eine Anwendung die NPU nutzt oder Antworten schneller liefert als eine andere Konfiguration.

Vor dem Kauf sollte die tatsächliche Arbeitslast feststehen, etwa Transkription, Kameraeffekte, Bildgenerierung oder die Ausführung eines lokalen Modells. Danach sind die Hardware- und Softwareanforderungen für diese Aufgabe zu prüfen. Wenn die Nutzung von einer bestimmten professionellen Anwendung abhängt, sind deren Kompatibilitätsliste und Ergebnisse mit dem vorgesehenen Modell hilfreicher als ein TOPS-Vergleich ohne Kontext.

Bei der Bewertung eines Datenblatts sollten die Prozessorspezifikationen von Aussagen über den gesamten Laptop getrennt werden. Prüfen Sie, ob die Zahl ausdrücklich der NPU zugeordnet ist, zum genauen Modell und zur Generation passt und nicht mit CPU- oder GPU-TOPS vermischt wurde. Nennt der Hersteller weder Rechengenauigkeit noch Messbedingungen, sollte der Wert als Spitzenkapazität mit begrenzter Aussagekraft behandelt werden.

Für die Kaufentscheidung zählen außerdem verfügbarer Speicher, kompatible Anwendungen, unterstützte Modelle und die Möglichkeit, die Aufgabe offline auszuführen. Sind Akkulaufzeit und Geräuschentwicklung wichtig, sollten unabhängige Tests desselben Geräts mit einer vergleichbaren Arbeitslast herangezogen werden. Ergebnisse eines allgemeinen Akkutests lassen sich nicht auf eine längere KI-Sitzung übertragen. Die hier zusammengestellten Quellen bieten keinen solchen Vergleichstest.

Eine kurze Prüfung kann Fehlschlüsse vermeiden:

• Ermitteln Sie das genaue Prozessormodell und Laptopmodell, nicht nur die Produktfamilie.
• Prüfen Sie, ob der veröffentlichte TOPS-Wert für die NPU oder die gesamte Plattform gilt.
• Suchen Sie, sofern verfügbar, nach Angaben zu Genauigkeit, Frequenz und Messbedingungen.
• Vergewissern Sie sich, dass Anwendung und Zielmodell die NPU nutzen können.
• Für Akkulaufzeit und Temperatur sind vergleichbare Testergebnisse nötig, kein TOPS-Wert.

Die praktische Schlussfolgerung ist einfach: TOPS liefert einen Kontextwert zum Rechenpotenzial, ersetzt aber keine Messung von Leistung, Effizienz oder Akkulaufzeit. Bei der Wahl eines Laptops für lokale KI sind die Kompatibilität mit der konkreten Arbeitslast und das gemessene Verhalten des Gesamtsystems wichtiger als eine einzelne Zahl.