BaseLayer : Pipeline de Compression Comportementale Open-Source pour les Systèmes de Mémoire IA

BaseLayer est un pipeline de compression comportementale open-source qui extrait des données d'identité structurées de sources textuelles pour une utilisation dans les systèmes de mémoire d'IA. L'outil crée un profil d'identité contenant les croyances, comportements, tensions et contradictions que tout modèle ou système de mémoire peut utiliser, chaque affirmation étant traçable jusqu'aux faits sources.

Détails clés

Le pipeline utilise actuellement Claude pour le traitement. Les coûts d'API sont <1$ pour les petits ensembles de données et <5$ pour les grands, couvrant l'ensemble du processus de l'extraction des faits à l'assemblage final du profil.

Le système a été testé sur plusieurs échelles et types de données :

• Aussi peu que 8 entrées de journal personnel d'un sujet secondaire
• Exports de conversations GPT (30 000+ messages)
• Grands corpus documentaires incluant les lettres annuelles aux actionnaires de Warren Buffett (350 000 mots)
• Mémos d'investissement de Howard Marks (600 000 mots)
• Autobiographies denses de Franklin, Douglass, Roosevelt et Wollstonecraft

Le processus d'assemblage du profil inclut plusieurs formats de sortie : versions haïku, sonnet et opus des données d'identité compressées.

Toutes les recherches, benchmarks, documentations et exemples sont disponibles sur le site web du projet et le dépôt GitHub. Le développeur recherche activement des retours sur l'évolution, les difficultés, la recherche et les améliorations futures.