スムリティ：会話の逸脱を防ぐためのLLM推論状態を管理するGitライクなシステム

Smritiは、長いワークフローにおけるLLM会話のドリフト問題に対処するオープンソースシステムです。対話を単なる長いチャット履歴として扱うのではなく、Gitのコードのように管理できる推論状態として扱います。

核心的な問題

長いAIワークフローでは、会話は小さな変化を通じて微妙にドリフトすることがよくあります：仮定が変化したり、脇道が探索されたり、解釈が変わったり、モデルが少しずれた状態から推論を始めたりします。これにより、もっともらしいが意図とずれた応答が生じます。従来の選択肢——軌道修正を試みるか、最初からやり直すか——にはどちらも欠点があります。

Smritiの仕組み

このシステムは、推論状態に対してGitのような操作を提供します：

• 良好な状態を保存（ドリフトが起こる前に）
• 後でその状態を復元（後のドリフトが混入しないように）
• 同じ地点から異なる方向に分岐
• 2つの推論パスを比較
• 状態を異なるモデル間で引き継ぐ（すべてを一から再説明する必要がない）

最近の追加機能

• 仮定を状態の第一級要素として扱う
• チェックポイントレビュー（矛盾や隠れた仮定を表面化）
• 成果物（チェックポイントにチャット要約だけでなく、実際の計画、スニペット、推論対象の出力を含められる）

重要な違い

これは単なるMarkdownファイルやチャット記録の保存ではありません。システムはモデルが次に見る状態を制御し、以下を可能にします：

• 既知の良好な状態へのクリーンな復帰
• 後のターンを現在の推論パスの外に保持
• 元のスレッドを汚染することなく代替探索を実施
• 1つの乱雑な記録ではなく、構造化された状態から前進

作成者は、ワークフローがより自律的になるほどこのアプローチが有用になると指摘しています。長期間実行されるシステムには、推論状態を検査可能で回復可能にし、時間とともに混沌としないようにする方法が必要だからです。