AIsbf 0.9.8 добавляет кэширование, улучшения маршрутизации и расширенную поддержку AI-сервисов.
AIsbf (AI Should Be Free) 0.9.8 — это API-прокси/маршрутизатор, который предоставляет совместимый с OpenAI интерфейс к различным сервисам искусственного интеллекта, стремясь сделать использование LLM более экономически эффективным. Он поддерживает многопользовательский режим и может масштабироваться от небольших установок до крупной инфраструктуры.
Ключевые возможности версии 0.9.8
- Поддержка кэширования через Redis, SQLite, MySQL и файловое хранилище
- Дополнительные методы конденсации контекста
- Нативная поддержка кэширования промптов и запросов
- Более быстрая и улучшенная семантическая маршрутизация на основе промптов для автоматического выбора сервиса
- Полная поддержка OAuth2 для подписчиков Claude.ai
- Полная поддержка OAuth2 для подписчиков Amazon Kiro-cli
- Полная поддержка OAuth2 для подписчиков OpenAI Codex
- Полная поддержка подписчиков Kilo.ai с использованием токенов или OAuth2
- Множество исправлений ошибок и небольших дополнений
Такой инструмент полезен разработчикам, которые работают с несколькими сервисами ИИ и хотят иметь унифицированный интерфейс, одновременно оптимизируя затраты с помощью интеллектуальной маршрутизации и кэширования.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
UK Sovereign LLM Inference: Relax.ai публикует публичные документы
Relax.ai опубликовал документацию для UK sovereign LLM inference, перенаправляя на /docs/getting-started/introduction. Сервис был опубликован на HN с 104 баллами.
Стирлинг-8B: Интерпретируемая языковая модель с атрибуцией на уровне токенов
Guide Labs выпустила Steerling-8B — языковую модель с 8 миллиардами параметров, обученную на 1,35 триллиона токенов, которая может отслеживать любой сгенерированный токен до исходного контекста, понятных человеку концепций и источников обучающих данных. Модель демонстрирует конкурентоспособную производительность по сравнению с моделями, обученными на 2–7× большем объёме данных.
Задача-обозреватель: Мета-навык, автоматизирующий улучшение навыков ИИ-агентов программирования
Task-observer — это мета-навык, который самостоятельно улучшает все навыки вашего ИИ-агента, включая самого себя. За три месяца он зафиксировал 600 улучшений в 40 навыках и автоматизирует создание новых навыков на основе выявленных пробелов в работе.
GuppyLM: 9-миллионная языковая модель, созданная с нуля для образовательных целей
GuppyLM — это языковая модель с примерно 9 миллионами параметров, обученная с нуля на 60 тысячах синтетических диалогов, использующая стандартную архитектуру трансформера с 6 слоями, 384 скрытыми измерениями и 6 головами внимания. Она обучается примерно за 5 минут на бесплатном GPU T4 в Colab и говорит с рыбьей личностью, сосредоточенной на воде, еде и жизни в аквариуме.