Entwickler erwägt Wechsel von DeepSeek zu Grok für Finanz-KI-Agenten
Leistungsprobleme bei Finanz-KI-Agenten und möglicher Wechsel
Ein Entwickler hat eine Finanz-KI-Web-App in FastAPI/Python erstellt, die ähnlich wie Perplexity funktioniert, aber für Aktien. Die Anwendung führt eine parallele Pipeline aus, bevor die LLM Anfragen verarbeitet, einschließlich Live-Aktienkursen von mehreren Finanz-APIs, Live-Websuche über Finanz-Such-APIs und Daten zum Ergebnis-Kalender. Dieser strukturierte Kontext wird in den System-Prompt eingefügt, wobei das Modell nur das Schlussfolgern und Formatieren übernimmt, während Fakten von APIs kommen, was Halluzinationsraten für diesen Anwendungsfall weniger relevant macht.
Aktuelle Modell-Leistungsprobleme
Der Entwickler verwendet derzeit DeepSeek V3.2 Reasoning und berichtet von erheblichen Leistungsproblemen:
- TTFT (Time to First Token): ~70 Sekunden
- Ausgabegeschwindigkeit: ~25 Token pro Sekunde
- Streaming-Erlebnis wird als "schrecklich" beschrieben
- Stream-Start-Timeout auf 75 Sekunden gesetzt, um ständige Timeouts zu vermeiden
Anwendungsanforderungen
Der Finanz-KI-Agent hat zwei Hauptfunktionen:
- Chat-Stream: Perplexity-artige Finanzanalyse mit Inline-Quellenangaben
- Trade-Check-Stream: Handels-Coach, der GO/NO-GO/WAIT mit Einstieg, Stop-Loss, Ziel und R:R-Verhältnis ausgibt
Modellanforderungen umfassen:
- Schnelle Leistung mit niedriger TTFT und hoher Token/Sekunde für Streaming-UX
- Geringe Kosten für ein kleines Projekt
- Intelligent genug für mehrstufige Handelslogik
- Gute Anweisungsbefolgung für strenge Ausgabeformate in Trade-Checks
Grok 4.1 Fast Reasoning in Erwägung
Der Entwickler erwägt den Wechsel zu Grok 4.1 Fast Reasoning basierend auf diesen Vergleichen:
- TTFT: ~15 Sekunden (vs. DeepSeek's ~70s)
- Ausgabegeschwindigkeit: ~75 Token pro Sekunde (vs. DeepSeek's ~25 t/s)
- AA-Intelligenz-Score: 64 vs. DeepSeek's 57
- Eingabekosten: $0,20 vs. $0,28 pro Million Token
Andere erwogene Modelle
Der Entwickler hat sich auch Minimax 2.5, Kimi K2.5, neue Qwen 3.5-Modelle und Gemini 3 Flash angesehen, stellt aber fest, dass die meisten relativ teuer und für ihren spezifischen Anwendungsfall nicht besser sind.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Aufbau einer automatisierten Videobearbeitungspipeline mit OpenClaw MCP-Tools
Ein Entwickler hat eine OpenClaw-Fähigkeit erstellt, die die Videobearbeitung für YouTube/Twitch-Inhalte automatisiert und 20-minütige Videos in 4 Minuten verarbeitet, dabei Jump-Cut-Schnitte, Untertitel und 20-30 Shorts pro Aufnahme erzeugt.
Wie ein Solo-3D-Animator mit Claude Cowork Plugins einen persistenten KI-Business-Entwicklungsassistenten erstellte
Ein Ein-Personen-3D-Animationstudio hat mit Claude Cowork-Plugins einen persistenten KI-Business-Development-Assistenten (Reid) entwickelt – für Prospect-Recherche, Follow-up-Tracking, Pitch-Vorbereitung und Strategie. Schlüsseldesign: eine Rolle mit strategischer, direkter Persönlichkeit, die alle Outputs prägt.
Steuerung von Claude Code über WhatsApp mit dem Kanalfunktion
Ein Entwickler verband WhatsApp mit einer laufenden Claude Code-Sitzung über die Channels-Funktion (v2.1.80+), wodurch Textnachrichten, Sprachnotizen mit Whisper-Transkription und Sprachantworten mit OpenAI TTS möglich wurden, um mit derselben CLI-Sitzung zu interagieren.
Analyse von 7 Jahren Tagebucheinträgen mit einem LLM: RAG vs. Fehlschläge beim Feintuning
Nachdem ein Entwickler seit 2019 ein Tagebuch geführt hatte, fütterte er ein LLM mit über 200 Einträgen, um Muster zu entdecken – RAG scheiterte, Fine-Tuning scheiterte, und der Datenschutz war eine Einschränkung. Der endgültige Ansatz offenbarte zyklische Lebenslektionen alle zwei Jahre.