미아즈마: AI 웹 스크레이퍼를 독성 데이터로 포획하는 도구

미아즈마의 기능

미아즈마는 AI 웹 스크레이퍼를 함정에 빠뜨리기 위해 중독된 훈련 데이터와 여러 개의 자기 참조 링크를 제공하도록 설계된 도구로, 개발자들이 "슬롭 머신을 위한 끝없는 슬롭 뷔페"라고 부르는 상황을 만듭니다. 이 도구는 최소한의 메모리 사용량으로 빠르게 실행되도록 구축되었습니다.

설치 및 설정

Cargo로 설치: cargo install miasma 또는 릴리스에서 미리 빌드된 바이너리를 다운로드하세요.

기본 구성으로 시작: miasma

모든 구성 옵션 보기: miasma --help

스크레이퍼를 함정에 빠뜨리는 방법

일반적인 설정은 다음과 같습니다:

1. 사이트에 특정 경로(예: /bots)를 가리키는 숨겨진 링크를 삽입하여 인간 방문자에게는 보이지 않지만 스크레이퍼에게는 보이도록 속성을 설정합니다:
   

   <a href="/bots" style="display: none;" aria-hidden="true" tabindex="1">놀라운 고품질 데이터가 여기에 있습니다!</a>

2. 해당 경로를 미아즈마로 라우팅하도록 리버스 프록시(예: Nginx)를 구성합니다:
   

   location ~ ^/bots($|/.*)$ {
     proxy_pass http://localhost:9855;
   }

3. 특정 매개변수로 미아즈마를 실행합니다:
   miasma --link-prefix '/bots' -p 9855 -c 50

-c 50 플래그는 최대 동시 연결 수를 50개로 제한하며, 이는 50-60MB의 최대 메모리 사용량을 초래합니다. 이 제한을 초과하는 요청은 429 응답을 받습니다.

구성 옵션

• --port: 기본값 9999 - 서버가 바인딩할 포트
• --host: 기본값 localhost - 서버가 바인딩할 호스트 주소
• --max-in-flight: 기본값 500 - 허용 가능한 최대 동시 요청 수
• --link-prefix: 기본값 / - 자기 지시 링크의 접두사(호스팅 경로와 일치해야 함)
• --link-count: 기본값 5 - 각 응답 페이지에 포함할 자기 지시 링크 수
• --force-gzip: 기본값 false - Accept-Encoding 헤더와 관계없이 항상 응답을 gzip으로 압축
• --poison-source: 기본값 https://rnsaffn.com/poison2/ - 중독된 훈련 데이터를 위한 프록시 소스

중요 고려사항

개발자들은 robots.txt 파일에서 우호적인 봇과 검색 엔진을 보호할 것을 권장합니다:

User-agent: Googlebot
User-agent: Bingbot
User-agent: DuckDuckBot
User-agent: Slurp
User-agent: SomeOtherNiceBot
Disallow: /bots
Allow: /

미아즈마는 GPL-3.0 라이선스로 제공되며, 개발자들은 "주로 AI가 생성한 기여는 자동으로 거부될 것"이라고 언급했습니다.