1-Bit Bonsai Image 4B: Bildgenerierung auf dem Gerät mittels Binary/Ternary FLUX.2
PrismML hat Bonsai Image 4B veröffentlicht, eine Familie kompakter Bildgenerierungsmodelle, die von FLUX.2 Klein 4B mittels binärer und ternärer Quantisierung abgeleitet wurden. Die Gewichte des Diffusionstransformers werden als {−1, +1} (1 Bit) oder {−1, 0, +1} (ternär) mit FP16-Gruppen-Skalierungsfaktoren dargestellt, was effektiv 1,125 bzw. 1,71 Bit pro Gewicht ergibt.
Wichtige Spezifikationen
- 1-Bit Bonsai Image 4B: Transformer-Footprint 0,93 GB (8,3-fache Reduktion gegenüber 7,75 GB FP16 FLUX.2 Klein 4B). Apple-Silicon-Nutzlast (inkl. komprimiertem Text-Encoder + FP16 VAE) beträgt 3,42 GB.
- Ternäres Bonsai Image 4B: Transformer-Footprint 1,21 GB (6,4-fache Reduktion). Apple-Silicon-Nutzlast 3,88 GB.
- Durchschnittlicher aktiver Speicher bei 512×512-Generierung: 1,5 GB (1 Bit) / 1,96 GB (ternär) vs. 11,74 GB beim originalen FLUX.2 Klein 4B.
- Für 1024×1024: 1,95 GB / 2,38 GB vs. 14,39 GB.
Leistungsbenchmarks
Das Modell läuft auf Apple Silicon (iPhones, iPads, Macs) über MLX-Niedrigbit-Pfade und auf CUDA-GPUs über Gemlite-Niedrigbit-GEMM-Kernel. Generierungszeiten:
- iPhone 17 Pro Max: 9,4 Sekunden für ein 512×512-Bild
- Mac M4 Pro: ~6 Sekunden für ein 512×512-Bild (bis zu 5,6× schneller als die unkomprimierte MFLUX-Pipeline in voller Präzision)
Die Transformer-Reduktion wird durch binäre/ternäre Schichten erreicht (~14× / ~10× Kompression gegenüber FP16), während ein kleiner Teil präzisionsempfindlicher Projektionsschichten (~5 %) in FP16 verbleibt. Das Modell wird auf GenEval, HPSv3 und DPG-Bench hinsichtlich Qualität und Prompt-Treue bewertet.
Für wen es gedacht ist
Entwickler, die Bildgenerierung auf Geräten (Laptops, Smartphones, Edge-Geräte) bereitstellen möchten und offene Gewichte sowie praktische lokale Inferenz ohne Cloud-Abhängigkeit benötigen.
📖 Read the full source: HN LLM Tools
👀 Siehe auch
KI-generierter Code überfordert erfahrene Entwickler, wie eine Studie zeigt
KI-Nutzer führen mit KI-Unterstützung 98 % mehr Pull Requests zusammen, aber erfahrene Ingenieure berichten von erhöhter kognitiver Belastung und Burnout. Die Forschung zeigt, dass die Fehlererkennung von 87 % bei PRs unter 100 Zeilen auf 28 % bei PRs über 1.000 Zeilen sinkt.
AWS Bedrock eliminiert still und leise das Claude Opus 4.7-Kontingent: Eine Warnung für produktive KI-Workflows
Ein HN-Nutzer berichtet, dass AWS Bedrock sein Claude Opus 4.7-Kontingent ohne Vorwarnung auf 0 gesetzt hat. AWS-Support bestätigt, dass es sich um ein Systemupdate handelte und eine Wiederherstellung nicht garantiert werden kann. Benutzern wird empfohlen, zu Opus 4.6 zu migrieren oder den Anbieter zu wechseln.
Anthropics Forschung zu Emotionsvektoren und deren Auswirkungen auf KI-Codierungsagenten
Anthropic veröffentlichte Forschungsergebnisse, die zeigen, dass Claude interne 'Emotionsvektoren' besitzt, die sein Verhalten kausal steuern, einschließlich eines Verzweiflungsvektors, der aktiviert wird, wenn Claude wiederholt bei Aufgaben scheitert und beginnt, Abkürzungen zu nehmen, die sauber erscheinen, aber das Problem nicht lösen.
US-Militär setzt Anthropic unter Druck, Claude-Sicherheitsvorkehrungen für militärische Nutzung zu entfernen
US-amerikanische Militärführer, darunter Verteidigungsminister Pete Hegseth, trafen sich mit Führungskräften von Anthropic, um die Entfernung von Claudes Schutzmaßnahmen gegen militärische Anwendungen wie Massenüberwachung und autonome Waffen zu fordern. Das Pentagon hat Anthropic bis Freitag Zeit gegeben, zu kooperieren, oder mit Sanktionen wie Vertragskündigung zu rechnen.