AI가 Rust로 PHP 엔진을 작성, PHP-src 테스트의 17% 통과 및 WordPress 렌더링 성공

러스트를 모르는 누군가가 AI에게 PHP 인터프리터를 러스트로 만들게 했습니다. 그 결과물인 Phargo는 SQLite 데이터베이스에서 26KB WordPress 프론트 페이지를 제공합니다. 이 엔진에는 PHP의 실제 C 소스 코드가 한 줄도 포함되어 있지 않습니다. 러스트로 처음부터 작성된 인터프리터로, AI 에이전트가 생성했습니다. 인간의 역할은 테스트 실행, 점수 확인, "계속" 또는 "퇴보했으니 다시 봐"라고 말하는 것으로 축소되었습니다.

이 실험은 PHP 자체 테스트 스위트를 공정한 오라클로 사용합니다. 30년 동안 축적된 약 22,000개의 .phpt 파일로, DateTime의 일광절약 시간 계산부터 부동소수점에 대한 var_dump()까지 모든 것을 다룹니다. 현재 통과율: 22,037개 중 3,844개(17.4%). 스위트에는 범위를 벗어난 C 확장 테스트(GD, curl, SOAP, MySQL 드라이버)가 포함되어 있기 때문에 현실적인 최대치는 약 40-45%입니다. 프로젝트는 0에서 시작하여 실패 히스토그램을 통해 상승합니다. AI가 가장 큰 실패 테스트 클러스터를 식별하고, 수정을 구현하고, 전체 22,000개 테스트 스위트(~7분)를 실행하고, 숫자가 증가하면 커밋합니다. 사람의 코드 리뷰는 필요하지 않습니다.

현장에서 얻은 교훈

초기 진행은 미묘한 버그로 인해 정체되었습니다: 줄 끝(Line ending) 문제. 테스트 코퍼스가 CRLF 줄 끝으로 Windows에서 체크아웃되었고, 스코어보드는 출력을 바이트 단위로 비교하여 모든 여러 줄 테스트가 자동으로 실패했습니다. PHP 자체 테스트 러너는 비교 전에 정규화합니다. 한 줄의 정규화 코드로 수백 개의 테스트가 통과되었습니다. 교훈: 측정 자체를 측정하세요. 여러분의 오라클은 여러분을 연결하는 하네스만큼 정직합니다.

또 다른 발견: 일부 오래된 회귀 테스트는 PHP의 신중하게 격리된 CI 내에서 실행되도록 설계된 터무니없는 구조를 할당하거나 무한 생성기로 확장됩니다. 그러한 테스트 중 하나가 개발 머신을 강제로 재시작했습니다. 이제 프로젝트는 CI 전용 폭탄으로 알려진 테스트를 필터링합니다.

루프

• AI가 전체 코퍼스에 대해 실패 히스토그램을 실행하여 가장 큰 수정 가능한 클러스터를 찾습니다.
• AI가 수정을 구현합니다.
• 스코어보드가 모든 ~22,000개 테스트를 실행합니다(~7분).
• 숫자가 증가하면: 커밋, 푸시, 반복.
• 숫자가 감소하면: 사람이 "음, 퇴보했네, 다시 봐"라고 말합니다.

인간의 임무는 본질적으로 조준입니다. 마치 중세 왕이 해군 차트를 검토하듯 터미널 출력을 읽고, 개발자의 가장 강력한 문구인 "좋아 보여, 계속"을 입력하는 것입니다.