Commencez par une tâche précise et reproductible

Pour savoir si un outil d’intelligence artificielle générative peut aider, inutile de commencer par une affirmation générale sur la « productivité ». Délimitez la question : réduit-il le temps nécessaire pour préparer un compte rendu de réunion, classer des demandes ou rédiger un premier brouillon sans faire baisser le niveau de qualité acceptable ? La réponse ne vaudra que pour cette tâche, ce type de contenu et les conditions que vous avez testés.

Choisissez une activité qui peut être répétée dans des conditions raisonnablement comparables et dont le résultat peut être vérifié. Avant de commencer, définissez ce qui constitue un travail terminé : par exemple, un résumé qui reprend les décisions, les personnes responsables et les échéances figurant dans des notes, sans ajouter d’informations absentes de celles-ci. Fixez les critères de qualité avant de comparer les résultats afin de ne pas les ajuster ensuite en faveur de la version que vous préférez.

Notez également les conditions susceptibles de modifier la comparaison : longueur et difficulté du contenu, familiarité avec la tâche, outil et version utilisés, ainsi que format demandé. Si les cas sont très différents, l’écart de temps peut s’expliquer par cette variation plutôt que par l’utilisation de l’IA. Pour une première vérification, utilisez des documents de test ou des informations que vous êtes autorisé à traiter.

Préparez deux tests comparables

Réalisez un essai sans IA et un autre avec l’outil choisi, en gardant le même objectif et en utilisant des contenus équivalents. Si vous ne disposez que d’un document, ne prenez pas exactement la première réponse comme point de départ du second essai : connaître déjà le contenu pourrait faciliter la répétition. Il vaut mieux tester deux cas similaires et, si vous recommencez l’exercice, alterner l’ordre dans lequel vous les traitez.

Dans le test avec assistance, délimitez ce que vous demandez au système et ce que vous faites vous-même. Conservez l’instruction utilisée et notez s’il a fallu la reformuler, fournir du contexte, attendre une réponse ou la corriger. Dans le test sans IA, comptez aussi le temps de préparation et de vérification. Comparez l’ensemble du processus, et pas seulement la vitesse de génération : une réponse rapide qui nécessite beaucoup de travail par la suite ne réduit peut-être pas l’effort total.

Un protocole simple aide à garder la comparaison ordonnée :

  1. Choisissez deux cas de difficulté similaire et définissez le résultat attendu.
  2. Mesurez le temps entre le début du travail et le moment où le résultat est vérifié et prêt.
  3. Notez séparément le temps consacré aux instructions, à la modification, à la vérification et aux corrections.
  4. Appliquez la même liste de critères de qualité aux deux résultats.

Un seul essai ne constitue pas un test concluant ; il donne uniquement un premier indice pour savoir s’il vaut la peine de répéter l’exercice.

Mesurez le temps, les corrections et la qualité

Notez le temps total pour chaque cas et, si possible, détaillez les différentes phases de travail. Incluez la préparation du contenu, la rédaction ou l’ajustement des instructions, la vérification de la réponse et la correction des erreurs. Notez également le nombre de corrections importantes nécessaires et les problèmes rencontrés : omissions, données inexactes, format inadapté ou contenu non étayé par les sources.

Comparez ensuite les résultats à l’aide d’une liste de vérification identique. Pour un résumé, vous pouvez vérifier si tous les points pertinents sont présents, si les noms et les chiffres correspondent à la source, si les faits et les incertitudes sont distingués et si la longueur demandée est respectée. Il n’est pas nécessaire de créer un système de notation complexe : les critères doivent simplement être observables et appliqués de la même manière aux deux versions.

Un modèle de base peut comprendre : tâche et date ; outil et version ; difficulté estimée ; temps total et temps par phase ; nombre de révisions ; erreurs importantes ; critères satisfaits ; et décision finale. Si une autre personne examine les résultats sans savoir lequel a été produit avec l’IA, une partie du biais peut être réduite, sans toutefois disparaître complètement. L’objectif n’est pas d’obtenir un chiffre universel, mais de vérifier si le gain de temps potentiel compense les révisions et le risque d’erreur.

Interprétez le résultat sans extrapoler

Si la version assistée est terminée plus tôt et atteint le même niveau de qualité, la conclusion doit se limiter à ce qui a été observé : dans ce test précis, l’outil a semblé faire gagner du temps sans détériorer les critères évalués. Cela ne prouve pas qu’il en ira de même pour d’autres tâches, d’autres personnes, des contenus plus complexes ou une organisation entière. Cela ne permet pas non plus d’attribuer toute amélioration exclusivement à l’IA : l’expérience acquise, l’ordre des essais ou les différences entre les cas peuvent avoir joué un rôle.

Si le temps diminue, mais que les omissions ou les vérifications augmentent, le chronomètre ne doit pas être le seul indicateur. Si la qualité s’améliore mais que le processus prend plus de temps, l’outil peut rester utile, même si l’avantage ne consiste pas à gagner du temps. Si le résultat dépend beaucoup de la formulation de l’instruction, consignez cette dépendance : apprendre à utiliser l’outil fait aussi partie du coût, au moins au début.

Répétez la comparaison sur plusieurs cas similaires avant de modifier un processus de travail. Conservez le protocole et notez tout changement d’outil ou de méthode afin de ne pas mélanger les résultats. Les analyses consacrées à l’IA et à l’emploi portent sur des phénomènes plus larges qu’un test individuel et ne remplacent pas la mesure d’une tâche précise. Une expérience personnelle peut éclairer une décision locale et révisable, mais elle ne suffit pas à étayer une affirmation générale sur la productivité.

Protégez les informations avant de tester

Avant de saisir du contenu professionnel, consultez les règles de votre organisation et la documentation officielle du service en matière de confidentialité. Vérifiez quelles données sont traitées, dans quels buts, pendant combien de temps elles pourraient être conservées et quels contrôles sont disponibles pour le type de compte concerné. Ne saisissez pas de données personnelles, de secrets d’affaires ni d’informations confidentielles sans autorisation et base appropriée ; supprimer les noms ne suffit pas toujours si le contexte permet d’identifier quelqu’un.

S’il n’est pas clair que vous pouvez utiliser un document réel, consultez la personne responsable de la sécurité, de la confidentialité ou de la conformité. Pour tester la procédure, utilisez un cas fictif ou du contenu public, à condition qu’il ne reproduise pas d’informations protégées. Ne supposez pas que les conditions d’un compte personnel sont les mêmes que celles d’un compte professionnel : vérifiez celles qui s’appliquent à l’outil et à la configuration concernés.

L’Organisation internationale du Travail a publié une édition actualisée de 2025 sur l’IA générative et l’emploi, qui porte sur un cadre du travail plus large que l’évaluation d’une tâche individuelle. De son côté, l’Agence espagnole de protection des données aborde les prompts comme un point potentiel d’exposition des données personnelles et de la confidentialité. Ces références ne remplacent ni les règles internes ni la documentation du service concerné : un test de performance n’autorise pas, à lui seul, le traitement des données utilisées.

Décidez s’il vaut la peine de répéter le test

À la fin, formulez la conclusion à l’aide de quatre éléments : tâche testée, conditions, résultat observé et principale limite. Par exemple : « Dans trois résumés de notes fictives, l’assistance a réduit le temps enregistré, mais tous les chiffres ont dû être vérifiés ; aucun document réel ni aucune autre tâche n’ont été testés. » C’est plus précis que d’affirmer que « l’IA augmente la productivité », car cela indique clairement ce qui a été mesuré et ce qui ne l’a pas été.

Répétez le test si les cas n’étaient pas comparables, si vous n’avez réalisé qu’un seul essai ou si de petites variations ont modifié le résultat. Il peut également être raisonnable de commencer par des tâches à faible risque et des critères de vérification clairs avant d’envisager des usages où une erreur aurait des conséquences importantes. Si l’avantage disparaît une fois la modification et la vérification comptabilisées, l’outil n’est peut-être pas intéressant dans ce processus précis, même s’il peut être utile dans un autre.

La décision finale peut être de conserver le processus manuel, d’intégrer l’outil avec une vérification humaine ou de réaliser un nouvel essai mieux contrôlé. Elle ne doit pas reposer sur un chiffre isolé : la qualité exigée, le coût de correction des erreurs, la sensibilité des données et la reproductibilité du gain de temps comptent également. La conclusion la plus solide est celle qui ne va pas au-delà de ce qui a réellement été observé.