스므리티: 대화 흐름의 일탈을 방지하기 위한 LLM 추론 상태 관리용 Git 스타일 시스템

Smriti는 긴 워크플로우에서 LLM 대화 드리프트 문제를 해결하는 오픈소스 시스템입니다. 상호작용을 하나의 긴 채팅 기록으로 취급하는 대신, Git에서 코드를 관리하듯이 관리할 수 있는 추론 상태로 취급합니다.

핵심 문제

긴 AI 워크플로우에서 대화는 종종 작은 변화를 통해 미묘하게 드리프트합니다: 가정이 바뀌고, 부수적인 경로가 탐색되며, 해석이 변경되거나, 모델이 약간 벗어난 상태에서 추론을 시작합니다. 이는 그럴듯하지만 잘못 정렬된 응답으로 이어집니다. 전통적인 옵션인 되돌리려 시도하거나 처음부터 다시 시작하는 것 모두 단점이 있습니다.

Smriti 작동 방식

이 시스템은 추론 상태에 대해 Git과 유사한 작업을 제공합니다:

• 좋은 상태 저장 - 드리프트가 발생하기 전에
• 나중에 해당 상태 복원 - 이후 드리프트가 유입되지 않도록
• 동일한 지점에서 다른 방향으로 분기
• 두 추론 경로 비교
• 다른 모델 간 상태 전달 - 처음부터 모든 것을 다시 설명하지 않고

최근 추가 기능

• 가정을 상태의 일급 구성 요소로 포함
• 체크포인트 검토 - 모순과 숨겨진 가정을 표면화
• 아티팩트 - 체크포인트가 채팅 요약뿐만 아니라 실제 계획, 코드 조각 또는 추론 대상 출력을 포함할 수 있도록

주요 차이점

이것은 단순히 마크다운 파일이나 채팅 기록을 저장하는 것이 아닙니다. 시스템은 모델이 다음에 볼 상태를 제어하여 다음을 가능하게 합니다:

• 알려진 좋은 상태로 깔끔하게 복귀
• 현재 추론 경로 외부에 이후 턴 유지
• 원본 스레드를 오염시키지 않는 대안 탐색
• 지저분한 하나의 기록이 아닌 구조화된 상태에서 전진

창작자는 이 접근 방식이 워크플로우가 더 에이전트적으로 변함에 따라 더 유용해진다고 언급합니다. 장기 실행 시스템은 시간이 지남에 따라 추론 상태를 검사 가능하고, 복구 가능하며, 덜 혼란스럽게 만들 방법이 필요하기 때문입니다.