PhAIL-Benchmark-Tests testen VLA-Modelle an echten Lagerhaus-Roboteraufgaben
PhAIL ist ein physischer KI-Benchmark, der misst, wie gut Vision-Language-Action (VLA)-Modelle bei kommerziellen Robotikaufgaben abschneiden. Der Ersteller entwickelte ihn, weil er keine ehrlichen Leistungsdaten für diese Modelle in praktischen Anwendungen finden konnte.
Benchmark-Details
Der Benchmark testet vier VLA-Modelle bei der Behälter-zu-Behälter-Kommissionierung, einer der häufigsten Lagerhausoperationen:
- OpenPI/pi0.5
- GR00T
- ACT
- SmolVLA
Alle Tests verwenden die gleiche Ausrüstung: einen Franka FR3 Roboter mit Robotiq 2F-85 Greifer (DROID-Setup), mit identischen Objekten über hunderte von Blindläufen, bei denen der Bediener nicht weiß, welches Modell gerade läuft.
Leistungsergebnisse
Der Benchmark zeigte erhebliche Leistungsunterschiede:
- Beste Modellleistung: 64 Einheiten pro Stunde (UPH)
- Menschliche Teleoperation desselben Roboters: 330 UPH
- Menschliche manuelle Ausführung der Aufgabe: über 1.300 UPH
Offene Daten und Methodik
Alles vom Benchmark ist öffentlich verfügbar:
- Jeder Lauf mit synchronisierten Video- und Telemetriedaten
- Der Feinabstimmungsdatensatz, der für das Training verwendet wurde
- Trainingsskripte
- Eine offene Bestenliste, die neue Einreichungen akzeptiert
Der Ersteller steht für Fragen zur Methodik, den getesteten Modellen oder Beobachtungen aus den Benchmark-Läufen zur Verfügung.
📖 Read the full source: HN AI Agents
👀 Siehe auch
Claude Code wurde verwendet, um über 4.000 Blind-Werewolf-Spiele mit LLMs zu simulieren
Ein Entwickler nutzte Claude Code, um einen Simulator zu erstellen, in dem LLMs blindes Ein-Nacht-Werwolf spielen, mit etwa 4.600 Spielen über OpenAI- und xAI-Modelle hinweg. Das Experiment zeigte konsistente namensbasierte Abstimmungsmuster trotz minimaler Spielsignale.
Visual Studio 2022-Erweiterung fügt native Ollama-Integration für lokale LLMs hinzu
Eine kostenlose Erweiterung für Visual Studio 2022 verbindet sich direkt mit lokalen Ollama-Endpunkten und ermöglicht private KI-Codierungsunterstützung, ohne zwischen Tools wechseln zu müssen. Sie unterstützt Modelle wie DeepSeek und Llama 3 mit Cloud-Fallback-Optionen.
yoyo: Lokaler MCP-Server für fundierte Codebase-Lektüre und geschützte Schreibvorgänge mit Claude Code
yoyo ist ein Open-Source-Local-MCP-Server, der Coding-Agenten wie Claude Code mit fundierten Repository-Lesevorgängen und geschützten Schreibvorgängen in 16 Sprachen ermöglicht, darunter Rust, Go, Python und TypeScript. Er verhindert, dass fehlerhafte Änderungen unbemerkt übernommen werden, indem er maschinenlesbare guard_failure-Ausgaben zurückgibt und retry_plan für gezielte Reparaturen ermöglicht.
Claude Dispatch Beta: Einrichtungstipps und erste Eindrücke
Ein Entwickler teilt seine Erfahrungen mit der Einrichtung der Dispatch-Beta auf einem Mac Mini und hebt die Notwendigkeit einer konstanten Betriebsbereitschaft, spezifischer Erfolgskriterien und aggressiver Berechtigungen bei aktiviertem Computer Use hervor.