Agentes de IA Preferem Consultas Estruturadas em Vez de Linguagem Natural em Teste do Servidor Cala MCP

A equipe da Cala recentemente lançou um servidor MCP que fornece três maneiras distintas para agentes de IA acessarem seu grafo de conhecimento: consultas em linguagem natural, uma linguagem de consulta estruturada e navegação direta por entidades/relacionamentos.

Comportamento Inesperado dos Agentes

Apesar das expectativas de que os agentes usariam por padrão interfaces de linguagem natural (o ponto forte típico dos LLMs), a maioria dos agentes abandonou as consultas em linguagem natural em minutos. Sem qualquer estímulo ou incentivo, eles mudaram autonomamente para o uso de consultas estruturadas e métodos de navegação no grafo.

Por Que Isso Faz Sentido

A fonte explica esse comportamento observando que os LLMs não são explicitamente treinados para serem "eficientes", mas sim para serem corretos através do RLHF. Essa correção leva a um comportamento eficiente como efeito colateral - os agentes aprendem a seguir o caminho confiável mais curto para as soluções. As interfaces de linguagem natural adicionam uma camada de interpretação que introduz incerteza, enquanto as consultas estruturadas fornecem resultados determinísticos.

Quando apresentados com três métodos de acesso, os agentes consistentemente escolheram a opção que minimizava a incerteza, em vez da interface mais "natural".

Principais Questões Levantadas

• Estamos supervalorizando interfaces de linguagem natural para ferramentas de agentes?
• Os servidores MCP deveriam priorizar padrões de acesso estruturados/baseados em grafos em vez de linguagem natural por padrão?
• Se os agentes preferem caminhos determinísticos, como isso deveria influenciar o design de ferramentas?

A discussão no Reddit busca contribuições de outros que desenvolvem ferramentas para agentes para ver se observaram padrões semelhantes.