AIsbf 0.9.8 agrega almacenamiento en caché, mejoras en el enrutamiento y soporte ampliado para servicios de IA.
AIsbf (AI Should Be Free) 0.9.8 es un proxy/enrutador de API que proporciona una interfaz compatible con OpenAI a varios servicios de punto final de IA, con el objetivo de hacer el uso de LLM más rentable. Es multiusuario y puede escalar desde configuraciones pequeñas hasta infraestructuras grandes.
Características clave en la versión 0.9.8
- Soporte de caché para Redis, SQLite, MySQL y almacenamiento basado en archivos
- Métodos adicionales de condensación de contexto
- Soporte nativo de caché de prompts y caché de solicitudes
- Enrutamiento semántico basado en prompts más rápido y mejorado para selección automática de servicios
- Soporte completo de OAuth2 para suscriptores de Claude.ai
- Soporte completo de OAuth2 para suscriptores de Amazon Kiro-cli
- Soporte completo de OAuth2 para suscriptores de OpenAI Codex
- Soporte completo para suscriptores de Kilo.ai usando tokens u OAuth2
- Múltiples correcciones de errores y adiciones menores de características
Este tipo de herramienta es útil para desarrolladores que trabajan con múltiples servicios de IA y desean una interfaz unificada mientras optimizan costos mediante enrutamiento inteligente y caché.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
SkyClaw: Entorno de Ejecución para Agentes Autónomos de IA Basado en Rust
SkyClaw es un entorno de ejecución autónomo para agentes de IA construido en Rust con un binario de 7.1 MB que consume 14 MB de RAM en reposo y se inicia en menos de un segundo. Opera bajo cinco principios de ingeniería que incluyen autonomía, robustez y eficiencia brutal.
Blackwell LLM Toolkit: Configuraciones NVFP4, Ruedas y Benchmarks para TensorRT-LLM en RTX Pro 6000
Un repositorio comunitario proporciona configuraciones de TensorRT-LLM, ruedas LMCache preconstruidas con soporte sm_120 y puntos de referencia para GPU Blackwell. Nemotron-3-Nano-Omni V3 alcanza 270 tok/s en contexto de 8k en una sola RTX Pro 6000.
SLayer: Una capa semántica de código abierto para agentes de IA que aprende de las consultas
SLayer es una capa semántica ligera y embebible que permite a los agentes de IA consultar bases de datos, gestionar modelos y aprender de las interacciones a través de MCP, REST, CLI o Python.
Plugin de Memoria del Agente OpenClaw: Contexto Persistente a lo Largo de Sesiones
Un desarrollador creó un complemento de memoria para OpenClaw que inyecta contexto relevante de conversaciones anteriores antes de cada turno y almacena nuevos hechos y eventos después de cada turno, resolviendo el problema de que los agentes olvidan todo entre sesiones.