Los agentes de IA prefieren consultas estructuradas sobre lenguaje natural en la prueba del servidor Cala MCP.

El equipo de Cala recientemente lanzó un servidor MCP que proporciona tres formas distintas para que los agentes de IA accedan a su grafo de conocimiento: consultas en lenguaje natural, un lenguaje de consulta estructurado y recorrido directo de entidades/relaciones.

Comportamiento Inesperado de los Agentes

A pesar de las expectativas de que los agentes usarían por defecto interfaces de lenguaje natural (la fortaleza típica de los LLM), la mayoría de los agentes abandonaron las consultas en lenguaje natural en cuestión de minutos. Sin ninguna indicación o sugerencia, cambiaron autónomamente a usar consultas estructuradas y métodos de recorrido del grafo.

Por Qué Esto Tiene Sentido

La fuente explica este comportamiento señalando que los LLM no están entrenados explícitamente para ser "eficientes" sino para ser correctos mediante RLHF. Esta corrección conduce a un comportamiento eficiente como efecto secundario: los agentes aprenden a tomar el camino confiable más corto hacia las soluciones. Las interfaces de lenguaje natural añaden una capa de interpretación que introduce incertidumbre, mientras que las consultas estructuradas proporcionan resultados deterministas.

Cuando se les presentaron tres métodos de acceso, los agentes eligieron consistentemente la opción que minimizaba la incertidumbre en lugar de la interfaz más "natural".

Preguntas Clave Planteadas

• ¿Estamos sobrevalorando las interfaces de lenguaje natural para las herramientas de agentes?
• ¿Deberían los servidores MCP priorizar patrones de acceso estructurados/basados en grafos sobre el lenguaje natural por defecto?
• Si los agentes prefieren caminos deterministas, ¿cómo debería esto influir en el diseño de herramientas?

La discusión en Reddit busca la opinión de otros que construyen herramientas para agentes para ver si han observado patrones similares.