El Benchmark PhAIL Evalúa Modelos VLA en Tareas Reales de Robots de Almacén

PhAIL es un punto de referencia de IA física que mide qué tan bien los modelos de visión-lenguaje-acción (VLA) se desempeñan en tareas de robótica comercial. El creador lo desarrolló porque no pudo encontrar cifras de rendimiento honestas para estos modelos en aplicaciones prácticas.

Detalles del Punto de Referencia

El punto de referencia evalúa cuatro modelos VLA en la recolección de pedidos de contenedor a contenedor, una de las operaciones más comunes en almacenes:

• OpenPI/pi0.5
• GR00T
• ACT
• SmolVLA

Todas las pruebas utilizan el mismo equipo: un robot Franka FR3 con pinza Robotiq 2F-85 (configuración DROID), con objetos idénticos a lo largo de cientos de ejecuciones ciegas donde el operador no sabe qué modelo se está ejecutando.

Resultados de Rendimiento

El punto de referencia reveló brechas de rendimiento significativas:

• Rendimiento del mejor modelo: 64 unidades por hora (UPH)
• Humano teleoperando el mismo robot: 330 UPH
• Humano realizando la tarea manualmente: más de 1,300 UPH

Datos Abiertos y Metodología

Todo del punto de referencia está disponible públicamente:

• Cada ejecución con video sincronizado y datos de telemetría
• El conjunto de datos de ajuste fino utilizado para el entrenamiento
• Scripts de entrenamiento
• Un ranking abierto que acepta nuevas presentaciones

El creador está disponible para responder preguntas sobre la metodología, los modelos específicos evaluados u observaciones de las ejecuciones del punto de referencia.