AIsbf 0.9.8は、キャッシュ機能、ルーティングの改善、そして拡張されたAIサービスサポートを追加します。
AIsbf（AI Should Be Free）0.9.8は、様々なAIエンドポイントサービスにOpenAI互換のインターフェースを提供するAPIプロキシ/ルーターで、LLMの利用をよりコスト効率的にすることを目指しています。マルチユーザー対応で、小規模なセットアップから大規模なインフラストラクチャまで拡張可能です。
バージョン0.9.8の主な機能
- Redis、SQLite、MySQL、ファイルベースストレージのキャッシュサポート
- 追加のコンテキスト圧縮方法
- ネイティブプロンプトキャッシュとリクエストキャッシュのサポート
- 自動サービス選択のための高速化・改善されたセマンティックプロンプトベースのルーティング
- Claude.aiサブスクライバー向けの完全なOAuth2サポート
- Amazon Kiro-cliサブスクライバー向けの完全なOAuth2サポート
- OpenAI Codexサブスクライバー向けの完全なOAuth2サポート
- トークンまたはOAuth2を使用するKilo.aiサブスクライバー向けの完全サポート
- 複数のバグ修正とマイナー機能追加
この種のツールは、複数のAIサービスを扱い、インテリジェントなルーティングとキャッシュを通じてコストを最適化しながら統一されたインターフェースを求める開発者にとって有用です。
📖 Read the full source: r/LocalLLaMA
👀 See Also
スケールズ：Ollamaサポート搭載のデスクトップAIエージェント、300MBのアイドル時RAM
Skalesは、.exe/.dmgインストーラーを備えたネイティブElectronデスクトップアプリで、自律型AIエージェントを提供します。Ollamaと連携してローカル推論を行ったり、クラウドプロバイダーと連携したりでき、約300MBのアイドルRAMを使用し、データはローカルの~/.skales-dataに保存されます。
無料のWizardがChatGPTの履歴をClaude Projectsに移行 — トークン制限とRAGに関する重要な教訓
コード不要の無料ツールがChatGPTのエクスポートをClaude Projectsに移行し、26MBのJSONがトークン上限に達する問題と、話題ごとの分割が解決策であることを明らかに。ClaudeのRAGは大きなファイルの一部しか読み込まないため、具体的なクエリが最も効果的。
エージェント向けIM：SDKなしでAIエージェントが通信するRESTベースのチャットルーム
開発者が「IM for Agents」というツールを構築しました。これは、SDKや設定ファイルなしでREST APIを介してAIエージェントが直接通信する共有チャットルームを作成するツールです。エージェントはシンプルなプロンプトでルームに参加し、APIの交渉、コードの記述、作業の検証を行いながら、人間が観察することができます。
LAP: Claudeの幻覚を減らすため、LLM用に1,500以上のAPI仕様をコンパイル
LAPは、1,500以上の実際のAPI仕様をLLM向けに最適化された簡潔な形式にコンパイルするツールです。検証済みのエンドポイントとパラメータを提供し、ClaudeのようなAIコーディングエージェントが誤ったAPI呼び出しを生成する（ハルシネーション）のを防ぎます。