개발자, 금융 AI 에이전트를 위해 DeepSeek에서 Grok으로 전환 고려 중

금융 AI 에이전트 성능 문제와 잠재적 전환

한 개발자가 주식용으로 Perplexity와 유사하게 작동하는 FastAPI/Python 기반 금융 AI 웹 앱을 구축했습니다. 이 애플리케이션은 LLM이 쿼리를 처리하기 전에 병렬 파이프라인을 실행하며, 여기에는 여러 금융 API의 실시간 주식 시세, 금융 검색 API의 실시간 웹 검색, 실적 발표 일정 데이터가 포함됩니다. 이 모든 구조화된 컨텍스트는 시스템 프롬프트에 주입되며, 모델은 사실은 API에서 가져오고 추론과 형식화만 처리하므로 이 사용 사례에서는 환각률이 덜 중요합니다.

현재 모델 성능 문제

개발자는 현재 DeepSeek V3.2 Reasoning을 사용하고 있으며 다음과 같은 심각한 성능 문제를 보고했습니다:

• TTFT(첫 토큰까지의 시간): 약 70초
• 출력 속도: 초당 약 25토큰
• 스트리밍 경험은 "끔찍하다"고 묘사됨
• 지속적인 타임아웃을 피하기 위해 스트림 시작 타임아웃을 75초로 설정

애플리케이션 요구사항

금융 AI 에이전트에는 두 가지 주요 기능이 있습니다:

• 채팅 스트림: 인라인 출처 인용이 포함된 Perplexity 스타일 금융 분석
• 거래 확인 스트림: 진입, 손절, 목표, R:R 비율과 함께 GO/NO-GO/WAIT을 출력하는 거래 코치

모델 요구사항은 다음과 같습니다:

• 스트리밍 UX를 위한 낮은 TTFT와 높은 토큰 속도의 빠른 성능
• 소규모 프로젝트에 적합한 낮은 비용
• 다단계 거래 추론을 위한 충분한 지능
• 거래 확인에서 엄격한 출력 형식을 위한 우수한 지시 따르기 능력

Grok 4.1 Fast Reasoning 고려

개발자는 다음과 같은 비교를 바탕으로 Grok 4.1 Fast Reasoning으로 전환을 고려하고 있습니다:

• TTFT: 약 15초 (DeepSeek의 약 70초 대비)
• 출력 속도: 초당 약 75토큰 (DeepSeek의 초당 약 25토큰 대비)
• AA 지능 점수: 64 vs DeepSeek의 57
• 입력 비용: 백만 토큰당 $0.20 vs $0.28

고려된 다른 모델

개발자는 Minimax 2.5, Kimi K2.5, 새로운 Qwen 3.5 모델, Gemini 3 Flash도 검토했지만, 대부분 상대적으로 비싸고 특정 사용 사례에 더 나은 점이 없다고 언급했습니다.