Ruta de puerta de enlace API sin tokens para tráfico de IA entre modelos reduce el gasto a la mitad

Tokenless (YC S26) es una puerta de enlace API lista para usar que reduce el gasto en inferencia de IA al enrutar cada turno de una conversación de agente al modelo adecuado más barato. Los fundadores (Rohit, Andrew, Kev) provienen de Princeton, Google DeepMind y UC Berkeley, y afirman que su enrutador iguala el rendimiento de Claude Fable 5 a la mitad del costo.

Cómo funciona

Tokenless distribuye una solicitud a múltiples modelos simultáneamente y observa su progreso. Una vez que un modelo está claramente en el camino correcto, cancela los demás. Solo pagas por el uso del modelo ganador. La técnica es novedosa: el enrutador consulta varios modelos en paralelo y utiliza sus resultados intermedios para tomar la decisión de enrutamiento. El equipo también señala que cambiar de modelo no destruye la caché si el algoritmo de enrutamiento conoce los estados frío/caliente de la caché.

Benchmarks

En los benchmarks de agentes τ³-Banking, Terminal-Bench 2.1 y DeepSWE 1.1, Tokenless Pro logra una tasa de resolución del 40.2 % a $0.57/tarea, frente a Claude Fable 5 con una tasa de resolución del 24.5 % y $3.32/tarea. El modo Ultra Saver enruta de forma más agresiva y obtiene una tasa de resolución del 30.9 % a $2.25/tarea. Las cifras se presentan como "medidas, no comercializadas" — afirman superar a todos los modelos de frontera en calidad ajustada por costo.

Primeros pasos

Tokenless expone un endpoint compatible con OpenAI y Anthropic. Apuntas tu agente existente a su endpoint, y ellos manejan el enrutamiento. Los nuevos usuarios obtienen $20 en crédito gratuito. El equipo planea agregar Kimi K3, esfuerzos de GPT y más modelos al enrutador.

Proyección de ahorro de costos

Tokenless proporciona una calculadora: para un equipo que gasta $40,000/mes en LLMs, proyectan una nueva factura de $26,000/mes (un ahorro del 34 %, $14,000/mes menos), totalizando $344,000 ahorrados durante el próximo año, asumiendo un crecimiento mensual del gasto del 11 %.