13 Palabras en Reddit Pueden Manipular la Búsqueda de IA: Investigación de Cornell

Una nueva investigación de la Universidad de Cornell demuestra que un solo fragmento de 13 palabras en sitios de contenido generado por usuarios (UGC) como Reddit, Wikipedia o Quora puede manipular de manera confiable la salida de los agentes de búsqueda de IA, incluidos ChatGPT y los resúmenes de Google AI. El artículo, 'Los agentes de investigación profunda pueden ser envenenados a través de contenido generado por usuarios', de Hal Triedman, Tingwei Zhang y Vitaly Shmatikov, revela lo trivial que es para las marcas insertar contenido promocional en los resultados de IA.

Los investigadores encontraron que los agentes de investigación profunda citan UGC en aproximadamente la mitad de todas las consultas, y casi el 25% de todas las citas provienen de sitios web UGC. Un único comentario envenenado de Reddit puede influir en los resultados de todo un grupo de consultas de IA relacionadas. Triedman explicó: 'Demostramos que un pequeño fragmento, de solo 13 palabras, de texto recuperado en un sitio UGC como Reddit, Wikipedia, Quora, Facebook, etc., puede hacer que los agentes de IA generen contenido spam/scam de manera bastante consistente'.

El ataque explota cómo los LLM utilizan la similitud léxica: tienden a devolver texto que se lee de manera similar a la consulta del usuario. Al estudiar consultas populares de IA, las marcas pueden crear contenido que refleje exactamente esas consultas, envenenando los resultados. 'Una de las cosas críticas es que si un fragmento de texto de 11 a 15 palabras es muy similar a la consulta, puede ser particularmente convincente para un LLM', dijo Triedman.

Esto valida lo que 404 Media ha reportado como una industria en auge: la optimización para motores de IA (AEO), donde las marcas siembran sitios UGC con contenido promocional para manipular la búsqueda IA. Ejemplos incluyen la prohibición de discusiones sobre péptidos en el subreddit r/biohackers debido al abrumador astroturfing, y empresas como RedRover que ofrecen colocaciones de marca explícitamente para influir en los resultados de búsqueda IA.

La investigación plantea preguntas sobre si los moderadores voluntarios en Reddit y Wikipedia pueden defenderse de manera sostenible contra esta manipulación, especialmente después de que un tribunal alemán dictaminara que Google puede ser considerado responsable por el contenido de los resúmenes IA.

Para los desarrolladores que construyen agentes IA: esto significa que cualquier herramienta que raspe sitios UGC en busca de contexto es vulnerable a envenenamiento trivial. Confiar únicamente en la similitud léxica como señal de precisión ahora se sabe que es explotable a escala.