Los 100,000 porqués de la IA: Cómo la salida cuasi-determinista de los LLM crea basura reveladora

En una publicación reciente de Substack, lcamtuf (el investigador de seguridad conocido por AFL y otras herramientas) aborda un debate recurrente: si se puede distinguir el texto escrito por humanos del generado por LLM. Su argumento se basa en una observación concreta sobre cómo se comportan los modelos actuales en la práctica.

La Afirmación Central: Cuasideterminismo

Los LLM son modelos estadísticos de última generación del lenguaje humano. En teoría, su salida debería ser indistinguible del texto humano bajo cualquier prueba estadística. Pero lcamtuf argumenta que la característica distintiva real es el cuasideterminismo: dale a cien 'autores' una solicitud similar — por ejemplo, 'genera un libro de referencia para niños' — y el modelo producirá una salida funcionalmente idéntica aproximadamente el 80% de las veces.

Ilustra esto con un collage de unas 220 portadas de libros de Amazon de una búsqueda de '100000 whys' (enlace). La imagen muestra grupos de portadas casi idénticas:

• Las dos filas superiores presentan un T-Rex rugiente a la izquierda
• Motivos recurrentes: cohete de dibujos animados rojo y blanco, golden retriever, león
• Los nombres de los autores incluyen un número improbable de 'Bright': Ethan, Nolan, Pamela, Daniel, Thomas, Andrew W., Mayan, Mary, Levi — todos Bright

Por Qué Esto Importa para los Desarrolladores

Para los equipos que envían contenido generado por IA o que construyen sobre APIs de LLM, la implicación es que no se puede confiar en la aleatoriedad para ocultar los orígenes de la IA. La firma estadística no se trata de elecciones de palabras individuales, sino de que el modelo devuelve la misma estructura de respuesta de alto nivel a solicitudes similares. Si tu flujo de trabajo implica generar muchas variaciones a partir de solicitudes similares, la salida se agrupará, lo que facilitará su detección.

lcamtuf señala: 'Esta es una señal difusa, por lo que no deberías despedir a tu pasante cuando diga "no es esto, es aquello". Pero en entornos más informales, está bien confiar en tu intuición.'

Conclusión Práctica

Si estás usando un LLM para automatizar blogs, ten en cuenta que tu contenido podría terminar pareciéndose exactamente al de los demás. La posdata del artículo es directa: 'sí, la tecnología es increíble, pero es probable que tu publicación pueda renombrarse como "100,000 Porqués".'

El artículo también enlaza a ejemplos más allá de este único título (más ejemplos) y señala que el original 'Cien mil porqués' es un libro infantil soviético de 1929 popular en China, que probablemente sembró el término de la solicitud.