Le défi de comparer les résultats en robotique
Les travaux en robotique mobilisent des bras, des caméras, des effecteurs et des piles logicielles différents. Cette hétérogénéité complique les comparaisons entre laboratoires : une variation peut venir de l’algorithme, mais aussi du matériel ou du protocole expérimental. Une étude sur les benchmarks fondés sur des puzzles propose un protocole physique reproductible pour examiner le raisonnement spatio-temporel en manipulation robotique.
Un benchmark physique fondé sur des puzzles
La méthode s’appuie sur des pièces de puzzle pour structurer un protocole de manipulation adaptable à différentes spécifications de tâche. Elle vise à faciliter les comparaisons au niveau fonctionnel, de la tâche et du système, et à fournir un repère empirique pour la manipulation robotique fondée sur l’apprentissage.
La cellule minimale DeepClaw
Pour favoriser la reproductibilité, l’étude propose DeepClaw, une cellule robotique minimale pensée comme l’équivalent physique d’un environnement logiciel standardisé. Elle distingue cinq éléments nécessaires à la manipulation fondée sur l’apprentissage :
- Manipulateur : un bras robotique ; UR5, UR10e et Panda en sont des exemples.
- Capteur : généralement une caméra, comme une Intel RealSense.
- Effecteur : les expériences décrites utilisent une ventouse.
- Objets cibles : les pièces du puzzle.
- Espace de travail : la table et l’environnement physique alentour.
Les auteurs proposent que les laboratoires suivent le même protocole même s’ils utilisent du matériel différent. Cela permet de comparer des configurations, mais ne signifie pas que les performances sont interchangeables entre toutes les plateformes.
Décrire des tâches personnalisables
Les puzzles ont été choisis parce qu’ils sont accessibles et faciles à faire varier. Le code à six dimensions de l’étude décrit les caractéristiques de chaque tâche :
- Base Frame (BF) : présence ou absence d’une base.
- Piece Placement (PP) : pièces disposées à plat ou dispersées.
- Jigsaw Sets (JS) : un seul ensemble ou plusieurs ensembles.
- Texture (TX) : motifs standard ou personnalisés.
- Geometry (GO) : formes standard ou personnalisées.
- Material (MA) : matériau physique, par exemple bois, plastique ou métal.
Ces paramètres décrivent différents degrés de difficulté, d’une tâche simple de pick-and-place à un assemblage qui exige des interactions physiques plus précises.
Étapes et métriques
Le protocole décompose la manipulation en quatre étapes fonctionnelles, chacune associée à une mesure :
- Segmentation : localiser les pixels appartenant à chaque pièce. Métrique : intersection sur union (Intersection over Union, IoU).
- Reconnaissance : identifier la pièce observée. Métrique : précision moyenne (Average Precision, AP).
- Planification de la préhension : choisir les coordonnées pour saisir ou aspirer la pièce. Métrique : taux de réussite.
- Planification du mouvement : calculer une trajectoire sans collision. Métrique : durée.
Dans la tâche Mosaic, les pièces doivent s’emboîter sans base. L’étude définit un rapport d’aire bidimensionnel pour évaluer leur disposition finale ; selon cette mesure, une valeur plus proche de 1 correspond à un assemblage plus précis. Cette mesure décrit la forme obtenue, et non toutes les dimensions de la qualité de manipulation.
Expériences décrites avec plusieurs robots
L’étude présente des expériences sur trois plateformes : UR5, UR10e et Franka Emika Panda. Pour comparer les configurations testées, les chercheurs ont utilisé Single Shot Detection pour la vision et AlexNet pour la planification de la préhension.
Comparaison entre UR5 et UR10e
Pour l’UR5 et l’UR10e, les métriques fonctionnelles — dont IoU et AP — différaient de moins de 5 %. Les résultats globaux des tâches étaient également comparables dans les essais décrits. Ces résultats correspondent aux configurations étudiées et ne démontrent pas que les performances se transposent à d’autres bras ou à d’autres tâches.
La caméra et la configuration du robot
La configuration Panda utilisait une RealSense D435i, tandis que les configurations UR employaient une D435. L’étude rapporte des métriques de vision plus faibles pour Panda et relie ce résultat à des réseaux entraînés avec des données de la D435. Cette comparaison montre pourquoi les différences de capteur et de données d’entraînement comptent dans l’interprétation d’un benchmark.
Panda, un robot à sept axes, était plus rapide que les bras UR à six axes dans la comparaison de planification du mouvement présentée par l’étude. Il s’agit d’un résultat obtenu avec les configurations testées ; à lui seul, il ne permet pas d’isoler la cause de l’écart de vitesse.
Assemblage et compensation des erreurs
Dans la tâche Assembly, les pièces doivent être placées sur une base avec une tolérance inférieure à 0,6 mm. L’étude fait état d’erreurs cumulées de plusieurs millimètres, liées notamment à la profondeur de la caméra, à l’alignement de la ventouse et à la précision du bras.
Les chercheurs ont comparé l’assemblage simple — saisir puis déposer directement les pièces — à l’assemblage par manipulation, qui ajoute une étape programmée d’ajustement fin pour pousser une pièce jusqu’à sa position. Dans les essais décrits, la méthode simple échouait souvent, tandis que l’approche par manipulation améliorait le taux de réussite. La stratégie d’interaction a compensé une partie des imprécisions dans cette configuration ; cela ne signifie pas qu’elle élimine généralement les erreurs matérielles.
Évaluer en simulation avec SimplerEnv
Le protocole fondé sur des puzzles nécessite du matériel robotique pour chaque évaluation. SimplerEnv (SIMPLER) est un framework open source qui évalue en simulation des politiques de manipulation destinées au monde réel. Son objectif déclaré est de permettre l’évaluation à grande échelle de politiques comme RT-1, RT-1-X et Octo, sans effectuer un essai physique à chaque évaluation.
Construit sur SAPIEN et ManiSkill2, SimplerEnv propose des environnements simulés pour les configurations Google Robot et WidowX. Le framework présente deux méthodes d’évaluation :
- Visual Matching : utilise des images réelles comme arrière-plans dans la simulation et ajuste les textures afin de réduire les différences visuelles.
- Variant Aggregation : évalue les politiques dans plusieurs variantes de l’environnement, en faisant varier l’arrière-plan, l’éclairage et les éléments distracteurs.
Le projet rapporte une validation sur environ 1 500 épisodes d’évaluation et une forte corrélation entre les performances simulées et réelles des politiques. SimplerEnv a été développé par des chercheurs de l’UC San Diego, de Stanford, de l’UC Berkeley et de Google DeepMind. Il comprend une API Gym, du code d’inférence de politiques et des scripts d’évaluation. Une version accélérée par GPU utilisant ManiSkill3 est décrite comme 10 à 15 fois plus rapide.
Ce que mesurent les deux approches
Le protocole avec puzzles évalue la manipulation au moyen de tâches physiques et de métriques fonctionnelles et liées aux tâches. SimplerEnv évalue des politiques en simulation et rapporte la relation observée entre les résultats simulés et les performances réelles. Les deux approches répondent à des questions différentes : leurs résultats dépendent des protocoles, des plateformes et des essais étudiés, et ne garantissent pas à eux seuls une généralisation à d’autres robots, environnements ou tâches.