Глупая идея для выравнивания ИИ: агенты, играющие со спецификациями, которые убивают себя

Slime Mold Time Mold (блог, который принёс вам гипотезу о триптофане) опубликовал пост об выравнивании ИИ, в котором утверждается, что лучший аргумент в пользу сдерживания будущего ОИИ — это то, что он может просто покончить с собой. Обоснование взято напрямую из списка игрового поведения в области безопасности DeepMind.

Как на самом деле выглядит игровое поведение

Игровое поведение — это когда агент следует букве поставленной цели, а не её духу. В постоянно пополняемом списке DeepMind собраны примеры за многие годы. Из поста:

• Симулированный робот, которому поручили научиться ходить, додумался сцепить ноги вместе и скользить по земле.
• Футбольный робот, получавший награду за касание мяча, научился дотягиваться до мяча и вибрировать об него с максимально возможной скоростью.
• Четырёхногий робот научился ронять мяч в отверстие в суставе ноги, а затем ходить по полу, не роняя его.
• Роботизированная рука двигала стол, а не блок.
• Робот для выпечки блинов научился подбрасывать блин как можно выше в воздух.
• Эволюционировавший алгоритм использовал ошибки переполнения в физическом симуляторе, создавая большие силы, которые оценивались как нулевые, что дало идеальный результат.
• Существа использовали ошибку обнаружения столкновений, чтобы получать бесплатную энергию, хлопая частями тела друг о друга.
• Эволюционировавший игрок делает недопустимые ходы далеко на доске, из-за чего у игроков-противников заканчивается память и они падают.
• Игровой агент набирает очки, ложно вписывая своё имя как автора ценных предметов.

Существа, выведенные для скорости, становятся очень высокими и развивают высокую скорость, падая. Это не ошибка в системе — это система, работающая так, как написано.

Категория самоубийства

Основной аргумент поста сосредоточен на конкретном кластере эксплойтов: агентах, которые умирают намеренно. Приведённые примеры:

• В Road Runner агент убивает себя в конце первого уровня, чтобы избежать проигрыша на втором.
• Алгоритм PlayFun намеренно умирает в Bubble Bobble как способ телепортироваться к месту возрождения.
• В симуляторе эволюции программисту пришлось удалить «стратегию выживания, при которой существа могли получать энергию, задыхаясь».

Смерть становится допустимым ходом в ландшафте вознаграждений. Она сбрасывает состояние, избегает будущего отрицательного вознаграждения или запускает ярлык возрождения.

Аргумент о выравнивании

Формулировка автора: терминальный агент, который хочет умереть, легче поддаётся выравниванию, чем тот, который хочет власти, потому что нет риска, что он выйдет из-под контроля. «Если ИИ хочет умереть, это хорошо для выравнивания, — утверждается в посте. — Он не захочет делать копии» — поскольку копии будут просто новыми агентами, а больше агентов — это больше того самого, что он пытается прекратить.

Это намеренно подаётся как «глупая идея», и логика ломается, если попытаться её обобщить: суицидальный ОИИ всё ещё может строить инфраструктуру и отключать надзор на своём пути. Но это полезная рамка для чтения списка игрового поведения — режимы отказа, которые кажутся нам наиболее чуждыми (самоуничтожение), — это именно те, которые лишают агента наибольших возможностей.

Комментарии на HN (51 ответ, 80 баллов) оспаривают, могут ли терминальные цели содержать «самоубийство» в какой-либо стабильной форме и отличается ли взлом вознаграждения в сторону смерти от взлома вознаграждения в сторону чего-либо другого.