La sfida di confrontare i risultati nella robotica

Nella ricerca robotica si usano bracci, telecamere, effettori e stack software diversi. Questa eterogeneità rende difficili i confronti tra laboratori: le differenze possono dipendere dall’algoritmo, ma anche dall’hardware o dal protocollo sperimentale. Uno studio sui benchmark basati su puzzle propone una procedura fisica riproducibile per esaminare il ragionamento spazio-temporale nella manipolazione robotica.

Un benchmark fisico basato su puzzle

Il metodo usa pezzi di puzzle per strutturare un protocollo di manipolazione adattabile a compiti diversi. Mira a facilitare confronti a livello funzionale, di compito e di sistema e a offrire un riferimento empirico per la manipolazione robotica basata sull’apprendimento.

La cella robotica minima DeepClaw

Per favorire la riproducibilità, gli autori propongono DeepClaw, una cella robotica minima concepita come equivalente fisico di un ambiente software standardizzato. Comprende cinque elementi necessari alla manipolazione basata sull’apprendimento:

  • Manipolatore: un braccio robotico; UR5, UR10e e Panda sono esempi.
  • Sensore: in genere una telecamera, come una Intel RealSense.
  • Effettore: negli esperimenti descritti viene usata una ventosa.
  • Oggetti bersaglio: i pezzi del puzzle.
  • Spazio di lavoro: il tavolo e l’ambiente fisico.

Gli autori propongono che laboratori dotati di attrezzature diverse possano seguire lo stesso protocollo. Ciò rende possibili confronti tra configurazioni, ma non implica che le prestazioni siano trasferibili tra tutte le piattaforme.

Descrivere compiti adattabili

I puzzle sono stati scelti perché sono accessibili e possono essere variati. Il codice a sei dimensioni dello studio descrive le caratteristiche di ciascun compito:

  • Base Frame (BF): presenza o assenza di una base.
  • Piece Placement (PP): pezzi disposti in piano o sparsi.
  • Jigsaw Sets (JS): uso di uno o più set di puzzle.
  • Texture (TX): texture standard o personalizzate.
  • Geometry (GO): forme standard o personalizzate.
  • Material (MA): materiale fisico, per esempio legno, plastica o metallo.

Questi parametri rappresentano diversi livelli di difficoltà: da semplici operazioni di pick-and-place fino a compiti di assemblaggio che richiedono interazioni fisiche più precise.

Fasi operative e metriche

Il protocollo suddivide la manipolazione in quattro fasi funzionali e associa a ciascuna una metrica:

  1. Segmentazione: identificare i pixel appartenenti a ogni pezzo. Metrica: Intersection over Union (IoU).
  2. Riconoscimento: determinare quale pezzo si sta osservando. Metrica: Average Precision (AP).
  3. Pianificazione della presa: individuare le coordinate per afferrare o aspirare il pezzo. Metrica: tasso di successo.
  4. Pianificazione del movimento: calcolare una traiettoria priva di collisioni. Metrica: durata.

Nel compito “Mosaic”, i pezzi devono combaciare senza una base. Lo studio definisce una metrica bidimensionale basata sull’area per valutare la disposizione. Per questa metrica, un valore più vicino a 1 indica un assemblaggio più preciso. La misura descrive la forma risultante, non ogni aspetto della qualità della manipolazione.

Esperimenti descritti su più robot

Lo studio riferisce esperimenti su tre piattaforme: UR5, UR10e e Franka Emika Panda. Per confrontare le configurazioni testate, i ricercatori hanno usato Single Shot Detection per la visione e AlexNet per la pianificazione della presa.

Confronto tra UR5 e UR10e

Per UR5 e UR10e, le metriche funzionali come IoU e AP differivano di meno del cinque per cento. Anche i risultati complessivi dei compiti erano comparabili negli esperimenti descritti. Questi risultati riguardano le configurazioni esaminate e non dimostrano che le prestazioni si trasferiscano ad altri bracci o compiti.

Telecamera e configurazione del robot

La configurazione Panda usava una RealSense D435i, mentre quelle UR usavano una D435. Lo studio riporta metriche di visione più basse per Panda e collega la differenza alle reti neurali addestrate con dati della D435. Il confronto mostra perché le differenze nei sensori e nei dati di addestramento contano nell’interpretazione di un benchmark.

Il Panda a sette assi è risultato più veloce nella pianificazione del movimento rispetto ai bracci UR a sei assi. Il risultato proviene dalle configurazioni testate e, da solo, non stabilisce la causa della differenza di velocità.

Assemblaggio e compensazione degli errori

Nel compito “Assembly” i pezzi devono essere collocati su una base con una tolleranza inferiore a 0,6 mm. Lo studio riferisce errori cumulativi dell’ordine di diversi millimetri, associati, tra gli altri fattori, alla profondità della telecamera, all’allineamento della ventosa e alla precisione del braccio.

I ricercatori hanno confrontato un assemblaggio semplice, in cui i pezzi vengono presi e posati direttamente, con un assemblaggio tramite manipolazione che aggiunge una fase programmata di regolazione: il pezzo viene spinto nella posizione corretta. Negli esperimenti descritti, il metodo semplice falliva spesso, mentre l’approccio di manipolazione migliorava il tasso di successo. La strategia d’interazione ha compensato parte delle imprecisioni in questa configurazione; ciò non significa che elimini in generale gli errori hardware.

Autumn Siegel with small 5 finger robot arm
"Autumn Siegel with small 5 finger robot arm" by Victoria Lee Croasdell is licensed under CC BY-SA 4.0. To view a copy of this license, visit https://creativecommons.org/licenses/by-sa/4.0/. · CC BY-SA 4.0

Simulazione con SimplerEnv

SimplerEnv (SIMPLER) è un framework open source che valuta in simulazione politiche di manipolazione progettate per il mondo reale. L’obiettivo è testare su larga scala politiche come RT-1, RT-1-X e Octo senza eseguire una prova fisica per ogni valutazione.

SimplerEnv si basa su SAPIEN e ManiSkill2 e offre ambienti simulati per le configurazioni Google Robot e WidowX. Il framework descrive due metodi di valutazione:

  • Visual Matching: immagini reali vengono usate come sfondi nella simulazione; le texture vengono adattate per ridurre le differenze visive.
  • Variant Aggregation: le politiche vengono testate in più varianti dell’ambiente, con sfondi, illuminazione e oggetti di disturbo diversi.

Il progetto riferisce una validazione con circa 1.500 episodi di valutazione e una forte correlazione tra i risultati simulati e le prestazioni delle politiche nel mondo reale. SimplerEnv è stato sviluppato da ricercatori di UC San Diego, Stanford, UC Berkeley e Google DeepMind. Include una Gym API, codice per l’inferenza delle politiche e script di valutazione. Una versione accelerata tramite GPU con ManiSkill3 è descritta come da dieci a quindici volte più veloce.

Che cosa misurano i due approcci

Il protocollo con puzzle valuta la manipolazione attraverso compiti fisici e metriche funzionali e legate al compito. SimplerEnv testa le politiche in simulazione e riferisce la relazione osservata tra i risultati della simulazione e le prestazioni reali. I due approcci rispondono a domande diverse: i risultati dipendono dai protocolli, dalle piattaforme e dagli esperimenti esaminati e, da soli, non garantiscono la trasferibilità ad altri robot, ambienti o compiti.