클로드를 활용한 맞춤형 AI 뉴스 파이프라인 구축하기

r/ClaudeAI에서 한 개발자가 매일 200개 이상의 기사를 처리하여 맞춤형 아침 브리핑을 생성하는 자체 구축 시스템을 공유했습니다. 이 파이프라인은 노이즈를 걸러내고 개인 관심사에 기반한 관련 콘텐츠만 전달합니다.

파이프라인 아키텍처

이 시스템은 5단계 워크플로우를 따릅니다:

• 수집: 12개의 RSS 피드가 산업 뉴스, 경쟁사 블로그, 서브레딧에서 야간에 콘텐츠를 가져와 매일 약 200개의 기사를 수집합니다.
• 점수 매기기: 각 기사는 속도와 비용 효율성을 위해 Claude Haiku를 사용해 개인 키워드 목록에 대한 관련성 점수를 받습니다. 0.4점 미만의 기사는 제거되어 200개에서 15-30개로 줄어듭니다.
• 분류: 점수가 매겨진 기사는 세 가지 카테고리로 분류됩니다: PASS(브리핑으로 이동), PARK(나중을 위해 저장), 또는 REJECT(폐기).
• 분석: PASS 기사는 요약보다는 실질적 의미에 초점을 맞춰 Claude Sonnet을 사용해 심층 분석을 받습니다. 분석은 다음과 같은 질문에 답합니다: "이것이 내 업무에 어떤 의미가 있는가? 내가 행동해야 할 것이 있는가? 무엇을 주시해야 하는가?"
• 브리핑: 모든 것이 Signal(이것에 대해 행동하라), Watch(이것을 모니터하라), Deferred(나중에 다시 보라)의 세 섹션으로 구성된 구조화된 아침 이메일로 컴파일됩니다. 이메일은 오전 6시 30분에 전달됩니다.

기술 스택 및 비용

구현에는 Python, FastAPI, 저장을 위한 Supabase, Claude API(Haiku + Sonnet), 이메일 전송을 위한 Resend가 사용됩니다. 이는 월 7달러의 Render 인스턴스에서 실행됩니다.

API 비용은 월 5달러 미만으로 유지되며, Haiku가 점수 매기기(몇 센트 비용)를 처리하고 Sonnet은 분류를 통과한 5-8개의 기사만 처리합니다. 개발자는 오디오 브리핑이 추가된다면 Deepgram이 가장 비싼 구성 요소가 될 것이라고 언급합니다.

주요 통찰

• 분석 단계보다 점수 매기기 단계가 더 중요합니다. 필터를 통해 너무 많은 콘텐츠가 통과하면 Claude가 노이즈를 요약하는 데 토큰을 낭비합니다. "필터가 제품이다."
• 명확한 섹션(Signal/Watch/Deferred)으로 구조화된 출력은 요약의 벽보다 더 유용함이 입증되었습니다. 개발자는 처음에 "이 10개 기사를 요약하라"를 시도했지만 읽기 어려웠던 반면, 각각 한 문장씩의 세 카테고리는 실제로 읽혔습니다.
• RSS는 수집 계층으로서 여전히 과소평가되고 있습니다. 대부분의 출판물, 서브레딧, GitHub 저장소는 여전히 RSS 피드를 제공하므로 가장 저렴하고 신뢰할 수 있는 옵션입니다.