주말에 AI로 방 찾기 앱 만들기: 브로커 스팸을 이기기 위해 레딧 데이터 스크래핑

한 개발자가 TruRent를 약 10시간 만에 구축했습니다. 목표는 인도 부동산 사이트(NoBroker, MagicBricks, 99acres)의 문제를 해결하는 것이었습니다. 이들 사이트는 '직접 주인' 필터를 적용해도 약 70%가 중개인 스팸입니다. 반면 Reddit에는 정직한 주인 매물이 있지만 검색이 어렵습니다. 해결책? Reddit을 스크래핑하고 매물에 대해 대화형 AI로 질문할 수 있는 서비스입니다.

작동 방식

• 스택: Next.js 16과 Anthropic에 raw fetch 사용 — SDK 없이 스트리밍 루프를 완전히 제어합니다.
• 모델: Claude Haiku 4.5. Sonnet이 필요하지 않은 작업이며 Haiku는 5배 저렴합니다.
• 도구: search와 get_details 두 가지만 사용합니다. 비교와 순위는 모델이 직접 처리하며 별도 도구를 쓰지 않습니다. 도구가 많을수록 실패 가능성이 높아집니다.
• 스트리밍: NDJSON을 브라우저로 전송. SSE 파싱보다 쉽습니다.
• 스크래핑 파이프라인: PullPush API로 Reddit 게시글을 가져온 후, Haiku로 원시 텍스트에서 구조화된 매물 정보를 추출하고 Nominatim으로 지오코딩합니다.

수치

• 1,412개 게시글 스크래핑
• 약 600개가 로컬 사전 필터 통과
• 실제 매물은 131개에 불과 — 데이터셋은 작지만 파이프라인은 소스에 무관합니다. 페처만 바꾸면 나머지는 그대로입니다.

핵심 설계 결정

개발자는 의도적으로 적은 수의 도구를 사용하고, 모델이 더 풍부한 도구 출력을 통해 추론하도록 했습니다. 비교와 순위는 별도 도구가 아닌 모델의 텍스트 생성 과정에서 이루어집니다. 이는 실패 모드를 줄이고 비용을 낮춥니다. 같은 원칙: 모델이 단순히 필터링하는 것이 아니라 생각하게 하라.

데모 사용해보기: https://trurent-five.vercel.app/