Сегодняшний тренд в разработке ИИ сводится к тому, чтобы задать самообучающимся системам ряд ограничений, которые в будущем сдержат роботов от “восстания” - не только буквального, характерного для научной фантастики, но и от применений обретенного интеллекта в целях, отличных от запланированных.

Исследователи из DeepMind Google и Института будущего человечества опубликовали статью об “аварийной кнопке” “Safely Interruptible Agents”, которая не даст самообучающимся системам усваивать “плохие уроки”. Проблематику считают серьезной многие, например, Илон Маск пожертвовал $10 млн Институту будущего человечества. 

Например, вполне очевидно, что не всем роботам и не во всех обстоятельствах следует полагаться на людей. Если человек поднимет устройство с пола и перенесет его туда, где роботу самое место, машина может сделать из этого неверный вывод, например, о том, что следует пренебречь алгоритмами поиска оптимального пути, вместо этого подъезжая к людям и становясь им под ноги. Если же признать такое действие “ошибкой”, робот начал бы убегать от любого человека, а не только от желающих его передвинуть.

Разумеется, когда речь заходит о введении ограничений в деятельность роботов, трудно представить более точные формулировки, чем Законы Азимова. Для того, чтобы три закона робототехники действовали в реальности, потребуется ИИ, способный определить то, что такое “вред”.

Инициатива Google интересна тем, что ученые начинают задумываться о том, как роботы “мыслят”, вместо того, чтобы закладывать эти мысли извне. Для того, чтобы ограничить насилие, эволюция создала для людей ряд весьма сложных механизмов, включая рефлексию, а не ограничилась тем, что вписала это на уровне бездоказательного тезиса.  

Современные роботы не знают, что такое “хорошо”, а что такое “плохо”, а их способность переписывать собственный код содержит ряд ограничений. В частности, такой процесс ограничен задачами, поставленными перед роботом, машина попросту стремится оптимизировать свою примитивную деятельность в рамках заданных условий. Для того, чтобы обрести истинную свободу, ИИ потребуется учиться самостоятельно - далеко не всегда под надзором людей. И для того, чтобы не повторить ряд апокалиптических сюжетов из научно-фантастических фильмов, роботам потребуется “красная кнопка”, а также ряд дополнительных ограничений.