Cull: Open-Source Dataset Curation Engine für KI-Bildpipelines
Cull ist eine maschinelle Kuratierungs-Engine für KI-Bilddatensätze, entwickelt und gepflegt von u/Compunerd3. Sie automatisiert die gesamte Pipeline: Scraping, Klassifizierung, Beschriftung und Sortierung – und gibt einen Ordner mit priorisierten Bildern und SD-Prompts aus, die für LoRA- oder Feintuning-Training bereit sind.
End-to-End-Pipeline
- Scraping: Unterstützt Civitai (.com und .red), X/Twitter, Reddit, Discord und jede URL, die gallery-dl unterstützt – Pixiv, DeviantArt, Booru-Familie, ArtStation, Tumblr, FurAffinity/e621, Imgur, Flickr und etwa 340 weitere.
- Warteschlange: Jedes Bild plus Quell-Prompt wird in eine lokale Warteschlange eingereiht. Deduplizierung pro Quelle, keine Datenbank.
- Klassifizierung: Nutzt ein Vision-Language-Modell über mehrere LM Studio-Instanzen (lokal) oder Groq (Cloud) – jeder OpenAI-kompatible Endpunkt. Ein strenges 17-Feld-JSON-Schema gewährleistet strukturierte Ausgabe.
- Sortierung: Behaltene Bilder landen in Kategorie-Ordnern mit einer .txt-Prompt-Datei und einer .vision.json-Prüfdatei. Zwei Bewertungsschwellen (Qualität + Themenrelevanz) sind in der UI einstellbar.
- Dashboard: Flask + Alpine.js UI mit Start/Stopp, Quellschaltern, Galerie, Prompt-Editor, ZIP-Export und Quell-Statistiken.
Anwendungsfälle
Der Autor verwendete Cull für einen 300-Bilder-LoRA und einen 100.000-Bilder-Feintuning-Datensatz. Thema festlegen (z.B. "Female Influencer" oder {artist} style art), AUTO_CAPTION_ENABLED einschalten und laufen lassen. Für Archive ohne Prompts zeige man auf LOCAL_IMPORT_DIR einen Ordner mit JPEGs, schalte die Prompt-Anforderung aus und aktiviere die automatische Beschriftung – jedes Bild erhält einen SD-Prompt, Booru-Tags oder eine natürlichsprachliche Beschriftung.
Technische Details
- Vision-Worker austauschbar:
BaseVisionWorkerableiten, registrieren. Zwei LM Studio-Endpunkte laufen parallel; ein Keepalive-Worker pingt alle 15 Sekunden, um Leerlauf-Entladen zu vermeiden; optionaler Idle-Unloader gibt VRAM frei. - KI-Assistenten-Integration: Wird mit Claude Code Skill-Bundle in
.claude/skills/(cull-helper, lmstudio-vision, metadata-schema) und drei Sub-Agenten ausgeliefert – funktioniert mit Claude Code, Cursor, Aider, Codex. - Selbstaktualisierung: Toast im Dashboard, Klick auf Update, zieht von origin/main und startet neu.
- Stack: Python 3.10+, Flask, Alpine.js, Pillow, Playwright (X-Scraper), gallery-dl. Einzelne Maschine, kein Redis, keine DB, kein Docker.
- Lizenz: MIT.
Roadmap
Geplant: Weitere Vision-Worker-Backends, verbesserte Wiedereinreihungs-UI, kleine Headless-CLI, Video-Scraping und Klassifizierung.
Repository: https://github.com/tlennon-ie/cull | Screenshots: https://imgur.com/a/kSvsAW9
📖 Lesen Sie die vollständige Quelle: r/LocalLLaMA
👀 Siehe auch
SiteTest.ai bringt einen kostenlosen AI Visibility Checker für ChatGPT, Perplexity & Gemini auf den Markt
Das neue kostenlose Tool sitetest.ai führt ein 168-Punkte-GEO-Audit durch und testet GPTBot, PerplexityBot und Google-Extended auf Ihrem echten Server. Pro Engine eine Note von A bis F sowie kopierbare Code-Fixes.
FFF - Fast File Finder beansprucht eine 100-fache Geschwindigkeitssteigerung gegenüber ripgrep.
FFF (Fast File Finder) ist ein webbasiertes Dateisuch-Tool, das behauptet, 100-mal schneller als ripgrep zu sein und sich als nächste Generation von Alternativen zu regex-basierten Suchmethoden positioniert. Das Tool benötigt JavaScript, um zu funktionieren, und wurde kürzlich auf Hacker News mit 36 Punkten und 17 Kommentaren diskutiert.
Kontext-Gateway: Ein Open-Source-Proxy zur Komprimierung von KI-Agenten-Kontext
Context Gateway ist ein Open-Source-Proxy, der zwischen Coding-Agenten und LLMs sitzt und Tool-Ausgaben komprimiert, bevor sie in das Kontextfenster gelangen. Es verwendet kleine Sprachmodelle, um Signale im Kontext zu erkennen, führt Hintergrundkomprimierung bei 85% Fensterkapazität durch und beinhaltet Ausgabenobergrenzen, ein Dashboard und Slack-Benachrichtigungen.
Agent Swarm: Multi-Agent-Orchestrierungs-Framework für KI-Codierungsassistenten
Agent Swarm ist ein Open-Source-Framework, das Teams von KI-Codierungsagenten ermöglicht, autonom zusammenzuarbeiten. Ein Hauptagent erhält Aufgaben von Slack, GitHub oder E-Mail, zerlegt sie und delegiert sie an Docker-isolierte Arbeitsagenten.