Miasma: Una herramienta para atrapar rastreadores web de IA con datos envenenados

Qué hace Miasma

Miasma es una herramienta diseñada para atrapar a los rastreadores web de IA sirviéndoles datos de entrenamiento envenenados junto con múltiples enlaces autorreferenciales, creando lo que los desarrolladores llaman un "bufet interminable de basura para las máquinas de basura". La herramienta está construida para ser rápida con una huella de memoria mínima.

Instalación y configuración

Instala con Cargo: cargo install miasma o descarga binarios precompilados desde las versiones.

Inicia con configuración predeterminada: miasma

Ver todas las opciones de configuración: miasma --help

Cómo atrapar rastreadores

La configuración típica implica:

1. Incrustar enlaces ocultos en tu sitio que apunten a una ruta específica (por ejemplo, /bots) con atributos que los hagan invisibles para los visitantes humanos pero visibles para los rastreadores:
   

   <a href="/bots" style="display: none;" aria-hidden="true" tabindex="1">¡Datos de alta calidad increíbles aquí!</a>

2. Configurar un proxy inverso (como Nginx) para enrutar esa ruta a Miasma:
   

   location ~ ^/bots($|/.*)$ {
     proxy_pass http://localhost:9855;
   }

3. Ejecutar Miasma con parámetros específicos:
   miasma --link-prefix '/bots' -p 9855 -c 50

La bandera -c 50 limita las conexiones máximas en curso a 50, lo que resulta en un uso máximo de memoria de 50-60 MB. Las solicitudes que excedan este límite reciben una respuesta 429.

Opciones de configuración

• --port: Predeterminado 9999 - El puerto al que debe vincularse el servidor
• --host: Predeterminado localhost - La dirección de host a la que debe vincularse el servidor
• --max-in-flight: Predeterminado 500 - Número máximo de solicitudes en curso permitidas
• --link-prefix: Predeterminado / - Prefijo para enlaces autodirigidos (debe coincidir con la ruta de alojamiento)
• --link-count: Predeterminado 5 - Número de enlaces autodirigidos para incluir en cada página de respuesta
• --force-gzip: Predeterminado false - Siempre comprimir respuestas con gzip independientemente del encabezado Accept-Encoding
• --poison-source: Predeterminado https://rnsaffn.com/poison2/ - Fuente proxy para datos de entrenamiento envenenados

Consideraciones importantes

Los desarrolladores recomiendan proteger los bots amigables y los motores de búsqueda en tu archivo robots.txt:

User-agent: Googlebot
User-agent: Bingbot
User-agent: DuckDuckBot
User-agent: Slurp
User-agent: SomeOtherNiceBot
Disallow: /bots
Allow: /

Miasma está licenciado bajo GPL-3.0 y los desarrolladores señalan que "las contribuciones generadas principalmente por IA serán automáticamente rechazadas".