PhAIL Benchmark Testa Modelos VLA em Tarefas Reais de Robôs de Armazém

PhAIL é um benchmark de IA física que mede o desempenho de modelos visão-linguagem-ação (VLA) em tarefas de robótica comercial. O criador o desenvolveu porque não conseguia encontrar números honestos de desempenho para esses modelos em aplicações práticas.

Detalhes do Benchmark

O benchmark testa quatro modelos VLA na separação de pedidos de caixa para caixa, uma das operações mais comuns em armazéns:

• OpenPI/pi0.5
• GR00T
• ACT
• SmolVLA

Todos os testes usam o mesmo equipamento: um robô Franka FR3 com garra Robotiq 2F-85 (configuração DROID), com objetos idênticos em centenas de execuções cegas onde o operador não sabe qual modelo está rodando.

Resultados de Desempenho

O benchmark revelou lacunas significativas de desempenho:

• Melhor desempenho do modelo: 64 unidades por hora (UPH)
• Humano teleoperando o mesmo robô: 330 UPH
• Humano executando a tarefa manualmente: mais de 1.300 UPH

Dados Abertos e Metodologia

Tudo do benchmark está disponível publicamente:

• Cada execução com vídeo sincronizado e dados de telemetria
• O conjunto de dados de fine-tuning usado para treinamento
• Scripts de treinamento
• Um ranking aberto que aceita novas submissões

O criador está disponível para responder perguntas sobre metodologia, os modelos específicos testados ou observações das execuções do benchmark.