PhAIL Benchmark Évalue les Modèles VLA sur des Tâches Réelles de Robotique d'Entrepôt

PhAIL est un benchmark d'IA physique qui mesure la performance des modèles vision-langage-action (VLA) sur des tâches robotiques commerciales. Son créateur l'a développé car il ne trouvait pas de chiffres de performance honnêtes pour ces modèles dans des applications pratiques.
Détails du benchmark
Le benchmark teste quatre modèles VLA sur la préparation de commandes entre bacs, l'une des opérations d'entrepôt les plus courantes :
- OpenPI/pi0.5
- GR00T
- ACT
- SmolVLA
Tous les tests utilisent le même équipement : un robot Franka FR3 avec une pince Robotiq 2F-85 (configuration DROID), avec des objets identiques sur des centaines d'exécutions à l'aveugle où l'opérateur ne sait pas quel modèle fonctionne.
Résultats de performance
Le benchmark a révélé des écarts de performance significatifs :
- Performance du meilleur modèle : 64 unités par heure (UPH)
- Humain téléopérant le même robot : 330 UPH
- Humain effectuant la tâche manuellement : plus de 1 300 UPH
Données ouvertes et méthodologie
Tout du benchmark est disponible publiquement :
- Chaque exécution avec vidéo synchronisée et données de télémétrie
- Le jeu de données de fine-tuning utilisé pour l'entraînement
- Les scripts d'entraînement
- Un classement ouvert acceptant de nouvelles soumissions
Le créateur est disponible pour répondre aux questions sur la méthodologie, les modèles spécifiques testés ou les observations tirées des exécutions du benchmark.
📖 Read the full source: HN AI Agents
👀 See Also

100 applications populaires rétro-conçues en spécifications de conception Markdown pour le clonage de l'interface Claude
Un dépôt open source fournit des spécifications de conception structurées en Markdown pour 100 applications iOS populaires, optimisées pour que Claude clone les interfaces de manière cohérente. Techniques clés : valeurs de couleur exactes, couverture des états, échelles d'espacement et graphes de navigation.

Clooks : Un environnement d'exécution de hooks persistants pour Claude Code
Clooks est un démon HTTP persistant qui gère la distribution des hooks Claude Code sans création de processus, réduisant la latence de ~34,6 ms à ~0,31 ms par invocation. Il inclut la migration automatique, des gestionnaires LLM avec modèles de prompts, la résolution des dépendances et l'empaquetage des plugins.
TextGen (text-generation-webui) devient une application de bureau native avec des builds portables
TextGen, l'alternative open source à LM Studio, est passé d'une interface web à une application de bureau sans installation pour Windows, Linux et macOS avec des versions portables, une confidentialité totale et une prise en charge avancée de la quantification.

Développement local d'IA avec Qwen3.6-27B et Opencode sur un 5090
Un utilisateur de Reddit partage son expérience de transition des outils de codage IA cloud (Claude Code, Cursor) vers une configuration locale utilisant Opencode + llama-server + Qwen3.6-27B avec un contexte de 128K sur une seule RTX 5090, citant la liberté vis-à-vis des limites d'utilisation et des risques liés aux comptes.