Laptop-NPU und lokale Modelle: Warum TOPS allein nicht für den Chipvergleich ausreichen

Eine NPU (Neural Processing Unit) ist ein Beschleuniger für häufige Berechnungen in neuronalen Netzen. In einem Laptop kann sie kompatible Sprach-, Bild- oder Inferenzaufgaben übernehmen, während CPU und GPU andere Arbeiten ausführen. Ihr Nutzen hängt davon ab, ob Software sie unterstützt und ob das Modell sowie seine Berechnungsoperationen mit ihr ausgeführt werden können.

In technischen Datenblättern fällt oft der TOPS-Wert auf: Er gibt die theoretische Spitzenleistung in Billionen Operationen pro Sekunde an. Das ist eine nützliche Angabe zur Rechenkapazität unter bestimmten Bedingungen, aber kein Maß für Tokens pro Sekunde und kein Hinweis darauf, wie groß ein Modell sein darf, damit es in den Speicher passt. Auch Rechengenauigkeit, Speicherbandbreite und verfügbarer Arbeitsspeicher spielen eine Rolle.

Der praktische Vergleich lautet nicht einfach „mehr TOPS, besserer Laptop“. Ein Gerät vereint CPU, GPU und NPU, doch Anwendungen verteilen ihre Aufgaben nicht automatisch auf alle drei Einheiten. Ob die NPU tatsächlich arbeitet oder die CPU beziehungsweise GPU die Last übernimmt, hängt unter anderem von der Kompatibilität des Runtimes, der Treiber und der konkreten Modelloperationen ab.

Die verglichenen Plattformen gehören zu unterschiedlichen Generationen und Produktfamilien. Sie sind deshalb weder gleichwertige Produkte noch eine Rangliste kompletter Laptops. Qualcomm gibt für die Hexagon-NPU des Snapdragon X Elite bis zu 45 TOPS an; Intel nennt für entsprechende Konfigurationen des Core Ultra Series 2, auch Lunar Lake genannt, eine NPU-Leistung von bis zu 48 TOPS.

Die Ryzen-AI-300-Serie von AMD verwendet die XDNA-2-Architektur. TechInsights beziffert die NPU-Leistung dieser Serie auf 50 TOPS. Der Wert beschreibt die angegebene Kapazität der Plattform, garantiert aber keine identische Dauerleistung in jedem Laptop: Kühlung, Speicher, die konkrete Prozessorausführung und die Software beeinflussen das Ergebnis ebenfalls.

Die Werte sind keine Ergebnisse eines einheitlichen Vergleichstests mit gleicher Last, Präzision und Konfiguration. Sie begründen weder einen allgemeinen Sieger noch Aussagen zu Akkulaufzeit, Temperatur oder Textgenerierung. Für den Kauf zählt deshalb das konkrete Laptopmodell samt Arbeitsspeicher, Kühlung und Softwarekompatibilität.

Die angegebenen TOPS-Werte sollten als technische Eckdaten der jeweiligen Plattform verstanden werden, nicht als direkte Messung ihrer Leistung in einem bestimmten KI-Programm. Auch die Art der Berechnung und die Bedingungen, unter denen ein Spitzenwert erreicht wird, können sich unterscheiden. Ein Vergleich ist daher nur aussagekräftig, wenn er die zu bewältigende Aufgabe und die getestete Gerätekonfiguration einbezieht.

Die Parameterzahl eines Modells lässt sich nicht direkt in einen festen RAM-Bedarf umrechnen. Entscheidend sind unter anderem die Genauigkeit beziehungsweise Quantisierung der Gewichte, die Länge des verarbeiteten Kontexts und der zusätzliche Speicherbedarf während der Berechnung. Auch Betriebssystem und andere Anwendungen belegen Arbeitsspeicher. Die Parameterzahl allein sagt daher nicht, ob ein Modell auf ein Gerät passt.

Bei Intel Lunar Lake sitzt LPDDR5X-Speicher im Prozessorpaket. Die von MirrorFrog zusammengefassten Spezifikationen nennen für diese Generation Konfigurationen mit 16 oder 32 GB. Diese Angaben gelten für Lunar Lake, nicht pauschal für alle Core-Ultra-Prozessoren oder Intel-Laptops.

Qualcomm nennt für den Snapdragon X Elite Unterstützung für LPDDR5X. Welche Speichermenge tatsächlich eingebaut ist, hängt jedoch vom jeweiligen Laptophersteller und Modell ab. Prüfen Sie die RAM-Ausstattung des konkreten Geräts, ob sie erweitert werden kann und wie viel Speicher nach dem Start des Systems für das Modell übrig bleibt. Für lokale KI-Modelle ist dieser verfügbare Spielraum oft aussagekräftiger als der TOPS-Wert der NPU allein.

Auch die Speicherart und ihre Anbindung können sich auf den Ablauf auswirken. Wenn CPU, GPU und NPU auf gemeinsame Ressourcen zugreifen, steht nicht zwangsläufig der gesamte installierte RAM gleichzeitig für Modellgewichte und Zwischenergebnisse bereit. Die konkrete Architektur des Laptops und die Anforderungen der Anwendung bestimmen, wie viel Speicher tatsächlich nutzbar ist.

Bei einem Modell mit langem Kontext kann der Speicherbedarf während der Verarbeitung deutlich über dem Platz liegen, den die Gewichte allein beanspruchen. Zusätzliche Anwendungen und Hintergrundprozesse verringern den verfügbaren Spielraum weiter. Wer mehrere lokale Modelle ausprobieren will, sollte deshalb auch berücksichtigen, ob das Gerät genügend Reserve für das Betriebssystem und den übrigen Arbeitsalltag lässt.

Ein Laptop mit NPU führt nicht automatisch jedes KI-Programm über diesen Beschleuniger aus. Dafür muss die Software einen passenden Ausführungspfad für Hardware, Betriebssystem und Modell bereitstellen. Qualcomm beschreibt den Snapdragon X Elite als Windows-Plattform mit KI-Funktionen; daraus folgt jedoch nicht, dass jede externe Inferenzsoftware ohne Anpassung oder Konfiguration auf der Hexagon-NPU läuft.

In der Praxis ist zu unterscheiden zwischen einer System- oder Anwendungsfunktion, die eine Aufgabe an die NPU delegiert, und einem lokalen Modell, das über CPU oder GPU ausgeführt wird. Die Unterstützung kann sich mit neuen Treibern und Runtimes ändern. Prüfen Sie die Kompatibilität der konkreten Anwendung mit dem Laptopmodell, statt sich allein auf allgemeine KI-Angaben im Produktdatenblatt zu verlassen.

Die Prozessorarchitektur kann zusätzlich eine Rolle spielen. Der Snapdragon X Elite basiert auf Arm; bei einem bestimmten Programm sollte man daher prüfen, ob eine native Version verfügbar ist oder die Anwendung über Emulation läuft. Auch die Unterstützung angeschlossener Geräte und ihrer Treiber ist relevant. Eine NPU behebt keine Softwareinkompatibilität und garantiert nicht, dass eine Anwendung ihre Aufgaben auf mehrere Beschleuniger verteilt.

Selbst wenn ein Programm auf dem Laptop startet, muss es nicht die gewünschte Hardware nutzen. Manche Anwendungen benötigen eine bestimmte Betriebssystemversion, einen passenden Treiber oder ein kompatibles Modellformat. Vor dem Kauf lohnt es sich deshalb, die konkreten Anforderungen des eigenen Arbeitsablaufs zu prüfen und zu klären, ob die NPU-Unterstützung ausdrücklich für diese Anwendung und Plattform vorgesehen ist.

Wer zwischen Geräten mit unterschiedlichen Prozessorarchitekturen wählt, sollte außerdem den täglichen Einsatz mitdenken. Eine Anwendung kann auf einer Plattform nativ laufen und auf einer anderen auf Übersetzung angewiesen sein. Das kann sich auf Kompatibilität und Leistung auswirken; die NPU-Angabe allein gibt darüber keinen Aufschluss.

Ein Datenblatt hilft dabei, bestimmte Geräte auszuschließen oder zu bestätigen, dass eine Produktfamilie den gesuchten Beschleuniger enthält. Für die Geschwindigkeit eines konkreten Modells, den tatsächlich genutzten Beschleuniger oder die Akkulaufzeit unter einer bestimmten KI-Last reicht es jedoch nicht aus. TOPS sind ein Auswahlkriterium, kein Praxistest.

Geht es vor allem um integrierte Funktionen des Betriebssystems oder kompatibler Anwendungen, sollten Sie neben der NPU auch Softwareunterstützung und Programmvoraussetzungen vergleichen. Soll ein bestimmtes lokales Modell laufen, ist ein unabhängiger Test genau dieses Modells auf einer vergleichbaren Gerätekonfiguration hilfreicher. Dabei sollten Modellgröße, Quantisierung, Kontext und verwendeter Beschleuniger angegeben sein. Herstellerangaben zur Leistung sind als Angaben des Herstellers zu verstehen, nicht als universelle Testergebnisse.

Vor einem Aufpreis für das Label „AI PC“ sollten Sie folgende Punkte prüfen:

• Den genauen Prozessor und die konkrete Laptopvariante, nicht nur die Produktfamilie.
• Die installierte RAM-Menge, eine mögliche Erweiterbarkeit und den verfügbaren Speicherplatz für das Modell.
• Welchen Beschleuniger die gewünschte Software tatsächlich nutzt: NPU, GPU oder CPU.
• Die Kompatibilität mit dem benötigten Betriebssystem, Modell und Runtime.
• Ob vorhandene Leistungstests dieselbe Art von Aufgabe und eine vergleichbare Konfiguration abbilden.

Achten Sie bei unabhängigen Ergebnissen darauf, dass nicht nur der Prozessorname übereinstimmt. Zwei Laptops mit demselben Chip können sich bei Kühlung, Arbeitsspeicher und Leistungsgrenzen unterscheiden. Ein passender Test muss die Gerätekonfiguration und die verwendete Software nennen, damit sich seine Ergebnisse sinnvoll auf den eigenen Kauf übertragen lassen.

Auch die Nutzung im Alltag kann die Wahl verändern. Wer hauptsächlich Sprach- oder Bildfunktionen einer bestimmten Anwendung benötigt, sollte zuerst deren Hardwareunterstützung prüfen. Wer dagegen mit lokalen Modellen experimentiert, benötigt möglicherweise mehr Speicher und sollte sich an Tests der jeweiligen Modelle orientieren. Die passenden Kriterien hängen somit davon ab, welche KI-Aufgabe tatsächlich ausgeführt werden soll.

Snapdragon X Elite, Intel Core Ultra Series 2 und AMD Ryzen AI 300 weisen laut den genannten Angaben 45, bis zu 48 beziehungsweise 50 TOPS für ihre NPUs aus. Der Zahlenunterschied entscheidet den Kauf nicht allein. Er zeigt weder, welcher Laptop eine bestimmte Anwendung besser ausführt, noch wie viel Speicher für ein lokales Modell verfügbar bleibt.

Für Produktivitätsfunktionen, die mit der jeweiligen Software kompatibel sind, können Integration und Geräteunterstützung wichtiger sein als ein kleiner Unterschied bei den maximalen TOPS. Bei lokaler Inferenz zählen die vollständige Konfiguration, der verwendete Beschleuniger und Tests mit dem Zielmodell. Akkulaufzeit und Preis lassen sich ebenfalls nicht aus TOPS ableiten: Sie hängen vom konkreten Laptop und seinem Angebot ab.

Die praktische Regel lautet: Wählen Sie den Laptop nach der Aufgabe, die Sie tatsächlich ausführen wollen. Betrachten Sie TOPS als Teil der Spezifikationen, prüfen Sie die Speicherausstattung des konkreten Modells und suchen Sie nach nachvollziehbaren Tests für die Software, die Sie einsetzen möchten. Eine NPU im Chip ist keine Garantie dafür, dass jedes lokale KI-Modell schnell oder effizient läuft.