AIの10万のなぜ：準決定的なLLM出力が特徴的なスロップを生み出す方法

最近のSubstack投稿で、lcamtuf氏（AFLなどのツールで知られるセキュリティ研究者）が、人間が書いたテキストとLLMの出力を区別できるかという繰り返しの議論に取り組んでいる。彼の主張は、現在のモデルが実際にどのように動作するかについての具体的な観察に基づいている。

核心的主張：準決定論

LLMは最先端の人間言語の統計モデルである。理論上は、その出力はあらゆる統計的検定において人間のテキストと区別がつかないはずだ。しかしlcamtuf氏は、実際の識別点は準決定論にあると主張する。百人の「著者」に類似のプロンプト（例：「子供向けの参考書を作成して」）を与えると、モデルは約80%の確率で機能的に同一の出力を生成する。

彼はこのことを、Amazonで「100000 whys」を検索した結果得られた約220冊のカバーのコラージュで示している（リンク）。画像にはほぼ同一の表紙が集まっている：

• 上の2列はすべて左側に吠えるT-REXがある
• 繰り返し現れるモチーフ：赤と白の漫画ロケット、ゴールデンレトリバー、ライオン
• 著者名には信じられないほどの数の「Bright」が含まれている：Ethan、Nolan、Pamela、Daniel、Thomas、Andrew W.、Mayan、Mary、Levi — すべてBright

開発者にとっての重要性

AI生成コンテンツを出荷したり、LLM APIを利用しているチームにとって、ランダム性にAIの出自を隠すことを頼りにできないという示唆がある。統計的な特徴は個々の単語の選択にあるのではなく、モデルが類似のプロンプトに対して同じ高レベルの応答構造を返すことにある。ワークフローが類似のプロンプトから多くのバリエーションを生成する場合、出力はクラスター化し、簡単に見破られるようになる。

lcamtuf氏は次のように述べている：「これはあいまいなシグナルなので、インターンが『これじゃない、あれだ』と言ったからといって解雇してはいけません。しかし、よりカジュアルな設定では、直感を信じても大丈夫です。」

実践的な教訓

LLMを使ってブログを自動化している場合、あなたのコンテンツが他の人とまったく同じように見える可能性があることに注意しよう。投稿の追伸は率直だ：「はい、この技術は素晴らしいですが、あなたの出版物は『100,000のなぜ』と改名される可能性が高いです。」

また、この投稿ではこのタイトル以外の例へのリンクも紹介しており（その他の例）、元の『One Hundred Thousand Whys』は1929年のソ連の児童書で中国で人気があり、それがプロンプト用語の種になったと指摘している。