TOPS d’une NPU : ce qu’ils disent — et ne disent pas — de l’IA locale sur un ordinateur portable

Une NPU (Neural Processing Unit, ou unité de traitement neuronal) est un bloc de calcul spécialisé dans certaines opérations courantes des réseaux neuronaux. Dans un ordinateur portable, elle travaille avec le CPU et, le cas échéant, le GPU : le choix de l’unité qui exécute chaque tâche dépend du modèle, de l’application et de la prise en charge logicielle. Cela ne signifie pas que toutes les fonctions présentées comme de « l’IA » s’exécutent automatiquement sur la NPU.

Dans la pratique, il s’agit d’une répartition par spécialité, et non d’une hiérarchie universelle. Le CPU prend en charge les tâches générales et coordonne le système ; le GPU peut exécuter des charges parallèles de grande ampleur ; la NPU est conçue pour accélérer les charges compatibles avec son architecture tout en maîtrisant la consommation. Une NPU plus puissante n’accélère pas l’ensemble de l’ordinateur, et sa présence ne garantit pas qu’une application donnée l’utilisera.

L’avantage potentiel est de réaliser certaines inférences sur l’appareil, plutôt que de dépendre systématiquement d’un serveur distant. Cela peut améliorer la latence, la connectivité et le traitement local des données, mais ne signifie pas que le portable peut exécuter n’importe quel modèle hors ligne avec une qualité identique. La mémoire disponible, la taille du modèle et l’implémentation de l’application restent déterminantes.

TOPS signifie trillions of operations per second, soit des milliers de milliards d’opérations par seconde. En tant qu’unité, il exprime un débit théorique d’opérations. Les fiches techniques l’utilisent pour caractériser les accélérateurs d’IA, mais un chiffre isolé ne précise ni les opérations comptabilisées, ni la précision numérique employée, ni les conditions dans lesquelles le maximum est obtenu.

Qualcomm explique que l’interprétation des TOPS dépend notamment de la fréquence et de la précision des calculs. C’est pourquoi deux chiffres TOPS ne sont pas forcément comparables directement si la méthode et le composant concernés ne sont pas précisés. Le maximum annoncé pour la NPU ne doit pas non plus être confondu avec un résultat mesuré dans une application en production.

Les TOPS ne sont pas non plus une unité d’énergie. Ils n’indiquent pas la consommation du système en watts, l’énergie nécessaire à une tâche donnée ni le nombre d’heures d’autonomie. Un chiffre élevé peut signaler une capacité maximale supérieure dans certaines conditions, mais ne prouve pas à lui seul qu’un portable est plus efficace ou capable de maintenir ce rythme pendant une longue session.

Les pages et documents des fabricants montrent pourquoi il est utile de lire l’intitulé complet. Qualcomm présente une NPU de 45 TOPS pour la série Snapdragon X et associe ce chiffre à son guide sur les métriques de l’IA. Dans son annonce de 2024, Microsoft a fixé un seuil de 40 TOPS pour la NPU dans la catégorie Copilot+ PC. Cette exigence définit une catégorie de compatibilité ; ce n’est pas une mesure universelle de la qualité de l’expérience.

Chez Intel, les caractéristiques varient selon la génération et le processeur, et les documents peuvent présenter séparément les performances de la NPU et celles des autres composants. Par exemple, la fiche Lenovo du ThinkBook 14 G8 IAL distingue les TOPS de la NPU des valeurs du GPU et d’un total de plateforme. Il ne faut pas additionner ni comparer les totaux de plateforme comme s’il s’agissait de TOPS de NPU sans vérifier quelles unités sont incluses.

Pour AMD, les références générales à la famille Ryzen AI ne suffisent pas pour attribuer un chiffre à tous ses processeurs : il faut identifier le modèle exact et consulter sa documentation. Une source technique secondaire explique le concept de Ryzen AI, mais les éléments fournis ne comprennent pas de fiche officielle d’AMD permettant une comparaison numérique homogène entre générations. C’est pourquoi aucune table de chiffres Intel, AMD et Qualcomm n’est présentée comme si elle reposait sur une méthodologie commune.

Une NPU peut être conçue pour exécuter certaines charges efficacement, mais cela ne permet pas d’en déduire l’autonomie d’un appareil. La batterie alimente tout le système : écran, mémoire, stockage, connectivité et autres composants, ainsi que CPU, GPU et NPU. La durée et l’intensité d’activité de chaque unité comptent aussi. Les TOPS ne prédisent pas le nombre d’heures d’autonomie.

La température ne peut pas davantage être déduite de ce chiffre. La conception thermique, les limites de puissance configurées par le fabricant, le châssis, la ventilation et les charges simultanées influent sur le comportement dans la durée. Les sources disponibles ne fournissent pas de mesures comparables de consommation, de température ou d’autonomie lorsque le même modèle et la même application fonctionnent sur des systèmes Intel, AMD et Qualcomm. Il est donc impossible d’affirmer quelle plateforme maintient le mieux ses performances dans ce scénario.

Il existe aussi un écart entre le maximum de la puce et le résultat en pratique : l’inférence peut être limitée par la mémoire, la bande passante, la conversion du modèle ou des opérations qui ne s’exécutent pas sur la NPU. Si une partie du travail passe au CPU ou au GPU, la répartition de la charge et la consommation totale changent également. Le goulot d’étranglement peut se trouver ailleurs que dans la NPU, même lorsque le chiffre TOPS paraît suffisant.

Pour une tâche d’IA locale, il faut d’abord vérifier que l’application et le modèle prennent en charge l’accélérateur concerné. La présence d’une NPU ne signifie pas que le système d’exploitation ou chaque programme l’utilisera. Le fournisseur d’exécution, les pilotes et les versions des outils peuvent également jouer un rôle ; sans cette chaîne compatible, le chiffre de la fiche technique peut avoir peu d’importance pour le flux de travail de l’utilisateur.

L’exigence de 40 TOPS pour les Copilot+ PC, annoncée par Microsoft en mai 2024, illustre la différence entre respecter un seuil et mesurer une expérience. Elle permet de délimiter une catégorie d’ordinateurs et de fonctions associées, mais ne garantit ni que n’importe quel modèle local fonctionnera, ni qu’une application utilisera la NPU, ni que les réponses seront plus rapides qu’avec une autre configuration.

Avant d’acheter, définissez la charge réelle : transcription, effets de caméra, génération d’images ou exécution d’un modèle local, par exemple. Vérifiez ensuite les exigences matérielles et logicielles de cette tâche. Si votre usage dépend d’une application professionnelle précise, sa liste de compatibilité et ses résultats avec le modèle envisagé seront plus utiles qu’une comparaison de TOPS sans contexte.

Lors de l’examen d’une fiche technique, distinguez les caractéristiques du processeur des affirmations concernant le portable complet. Vérifiez que le chiffre est explicitement attribué à la NPU, qu’il correspond au modèle et à la génération exacts et qu’il n’a pas été mélangé aux TOPS du CPU ou du GPU. Si le fabricant ne précise ni la précision ni les conditions de mesure, considérez-le comme une capacité maximale dont la portée est limitée.

Pour choisir, examinez aussi la mémoire disponible, les applications compatibles, les modèles pris en charge et la possibilité d’effectuer la tâche hors ligne. Si l’autonomie et le bruit comptent, cherchez des tests indépendants du même appareil soumis à une charge équivalente ; ne transposez pas les résultats d’un test général de batterie à une session d’IA prolongée. Les sources rassemblées ici ne proposent pas d’essai comparatif de ce type.

Quelques vérifications rapides permettent d’éviter les conclusions erronées :

• Identifiez le modèle exact du processeur et du portable, pas seulement la famille commerciale.
• Vérifiez si les TOPS publiés concernent la NPU ou la plateforme entière.
• Recherchez la précision, la fréquence et les conditions de mesure lorsqu’elles sont disponibles.
• Vérifiez que l’application et le modèle visé peuvent exploiter cette NPU.
• Pour l’autonomie et la température, exigez des résultats de tests comparables, pas un chiffre TOPS.

La conclusion utile est simple : les TOPS donnent un repère sur le potentiel de calcul, mais ne remplacent pas un test de performance, d’efficacité ou d’autonomie. Pour choisir un portable destiné à l’IA locale, la compatibilité avec la charge précise et le comportement mesuré de l’appareil comptent davantage qu’un chiffre isolé.