El reto de comparar resultados en robótica

La investigación en robótica utiliza brazos, cámaras, efectores y pilas de software diferentes. Esa heterogeneidad dificulta las comparaciones entre laboratorios: una variación en el resultado puede depender del algoritmo, pero también del hardware o de la configuración experimental. Un estudio sobre benchmarks con rompecabezas propone un protocolo físico reproducible para examinar el razonamiento espacio-temporal en la manipulación robótica.

Un benchmark físico basado en rompecabezas

El método emplea piezas de rompecabezas para estructurar un protocolo de manipulación que puede adaptarse a distintas especificaciones de tarea. Su objetivo es facilitar comparaciones funcionales y a nivel de tarea y sistema, además de ofrecer una referencia empírica para la manipulación robótica basada en aprendizaje.

La celda mínima DeepClaw

Para favorecer la reproducibilidad, el estudio propone DeepClaw, una celda robótica mínima concebida como equivalente físico de un entorno de software estandarizado. Distingue cinco elementos necesarios para la manipulación basada en aprendizaje:

  • Manipulador: un brazo robótico; UR5, UR10e y Panda son ejemplos.
  • Sensor: normalmente una cámara, como una Intel RealSense.
  • Efector: en los experimentos descritos se utiliza una ventosa.
  • Objetos objetivo: las piezas del rompecabezas.
  • Espacio de trabajo: la mesa y el entorno físico circundante.

Los autores proponen que los laboratorios sigan el mismo protocolo aunque utilicen hardware distinto. Esto permite comparar configuraciones, pero no implica que el rendimiento sea intercambiable entre todas las plataformas.

Describir tareas personalizables

Los rompecabezas se eligieron porque son accesibles y fáciles de variar. El código de seis dimensiones del estudio describe las características de cada tarea:

  • Base Frame (BF): presencia o ausencia de una base.
  • Piece Placement (PP): piezas dispuestas en plano o dispersas.
  • Jigsaw Sets (JS): un conjunto o varios conjuntos.
  • Texture (TX): gráficos estándar o personalizados.
  • Geometry (GO): formas estándar o personalizadas.
  • Material (MA): material físico, como madera, plástico o metal.

Estos parámetros permiten describir distintos grados de dificultad, desde una tarea sencilla de pick-and-place hasta un ensamblaje que exige interacciones físicas más precisas.

Etapas y métricas

El protocolo divide la manipulación en cuatro etapas funcionales, cada una asociada a una medida:

  1. Segmentación: localizar los píxeles que pertenecen a cada pieza. Métrica: intersección sobre unión (Intersection over Union, IoU).
  2. Reconocimiento: identificar la pieza observada. Métrica: precisión media (Average Precision, AP).
  3. Planificación de la recogida: elegir las coordenadas para agarrar o succionar la pieza. Métrica: tasa de éxito.
  4. Planificación del movimiento: calcular una trayectoria libre de colisiones. Métrica: tiempo.

En la tarea Mosaic, las piezas deben encajar sin una base. El estudio define una razón de área bidimensional para evaluar la disposición final; según esa medida, un valor más cercano a 1 corresponde a un ensamblaje más preciso. La medida describe la forma resultante, no todas las dimensiones de la calidad de la manipulación.

Experimentos descritos con varios robots

El estudio presenta experimentos en tres plataformas: UR5, UR10e y Franka Emika Panda. Para comparar las configuraciones probadas, los investigadores utilizaron Single Shot Detection para visión y AlexNet para la planificación de la recogida.

Comparación entre UR5 y UR10e

En UR5 y UR10e, las métricas funcionales —entre ellas IoU y AP— difirieron en menos del 5 %. Los resultados generales de las tareas también fueron comparables en las pruebas descritas. Estos resultados corresponden a las configuraciones estudiadas y no demuestran que el rendimiento se transfiera a otros brazos o tareas.

La cámara y la configuración del robot

La configuración Panda utilizó una RealSense D435i, mientras que las configuraciones UR emplearon una D435. El estudio informa de métricas de visión más bajas para Panda y relaciona ese resultado con redes entrenadas con datos de la D435. La comparación muestra por qué las diferencias entre sensores y datos de entrenamiento importan al interpretar un benchmark.

Panda, un robot de siete ejes, fue más rápido que los brazos UR de seis ejes en la comparación de planificación del movimiento que presenta el estudio. Es un resultado de las configuraciones probadas y, por sí solo, no permite aislar la causa de la diferencia de velocidad.

Ensamblaje y compensación de errores

En la tarea Assembly, las piezas deben colocarse sobre una base con una tolerancia inferior a 0,6 mm. El estudio informa de errores acumulados de varios milímetros, asociados, entre otros factores, a la profundidad de la cámara, la alineación de la ventosa y la precisión del brazo.

Los investigadores compararon el ensamblaje simple —recoger y colocar las piezas directamente— con el ensamblaje mediante manipulación, que añade un paso programado de ajuste fino para empujar una pieza hasta su posición. En las pruebas descritas, el método simple falló con frecuencia, mientras que el enfoque con manipulación mejoró la tasa de éxito. La estrategia de interacción compensó parte de las imprecisiones en esa configuración; el resultado no significa que el método elimine en general los errores del hardware.

Autumn Siegel with small 5 finger robot arm
"Autumn Siegel with small 5 finger robot arm" by Victoria Lee Croasdell is licensed under CC BY-SA 4.0. To view a copy of this license, visit https://creativecommons.org/licenses/by-sa/4.0/. · CC BY-SA 4.0

Evaluar en simulación con SimplerEnv

El protocolo con rompecabezas requiere hardware robótico para cada evaluación. SimplerEnv (SIMPLER) es un framework de código abierto que evalúa en simulación políticas de manipulación destinadas al mundo real. Su objetivo declarado es permitir la evaluación a escala de políticas como RT-1, RT-1-X y Octo sin realizar una prueba física en cada evaluación.

Construido sobre SAPIEN y ManiSkill2, SimplerEnv ofrece entornos simulados para las configuraciones Google Robot y WidowX. El framework presenta dos métodos de evaluación:

  • Visual Matching: utiliza imágenes reales como fondos en la simulación y ajusta las texturas para reducir las diferencias visuales.
  • Variant Aggregation: evalúa políticas en varias variantes del entorno, con cambios en el fondo, la iluminación y los elementos distractores.

El proyecto informa de una validación con aproximadamente 1.500 episodios de evaluación y de una fuerte correlación entre el rendimiento simulado y el real de las políticas. SimplerEnv fue desarrollado por investigadores de UC San Diego, Stanford, UC Berkeley y Google DeepMind. Incluye una API Gym, código para la inferencia de políticas y scripts de evaluación. Se describe una versión acelerada por GPU que utiliza ManiSkill3 como entre 10 y 15 veces más rápida.

Qué miden los dos enfoques

El protocolo con rompecabezas evalúa la manipulación mediante tareas físicas y métricas funcionales y de tarea. SimplerEnv evalúa políticas en simulación e informa de la relación observada entre los resultados simulados y el rendimiento real. Los dos enfoques responden a preguntas distintas: sus resultados corresponden a los protocolos, plataformas y pruebas estudiados, y no garantizan por sí solos la generalización a otros robots, entornos o tareas.