ベースレイヤー：AIメモリシステムのためのオープンソース行動圧縮パイプライン

BaseLayerは、AIメモリシステムで使用するために、テキストソースから構造化されたアイデンティティデータを抽出するオープンソースの行動圧縮パイプラインです。このツールは、あらゆるモデルやメモリシステムが利用できる信念、行動、緊張、矛盾を含むアイデンティティ概要を作成し、すべての主張が元の事実に遡及可能です。

主な詳細

現在、パイプラインは処理にClaudeを使用しています。APIコストは、小規模データセットで<$1、大規模データセットで<$5であり、事実抽出から最終的な概要作成までの全プロセスをカバーします。

このシステムは、複数のデータ規模と種類でテストされています：

• 二次被験者からのわずか8つの個人日記エントリ
• GPT会話エクスポート（3万件以上のメッセージ）
• ウォーレン・バフェットの年次株主への手紙（35万語）を含む大規模文書コーパス
• ハワード・マークスの投資メモ（60万語）
• フランクリン、ダグラス、ルーズベルト、ウルストンクラフトの詳細な自伝

概要作成プロセスには、圧縮されたアイデンティティデータの俳句、ソネット、オーパス形式など、複数の出力形式が含まれます。

すべての研究、ベンチマーク、ドキュメント、例は、プロジェクトのウェブサイトとGitHubリポジトリで入手できます。開発者は、進化、課題、研究、将来の改善に関するフィードバックを積極的に求めています。