В последнее время сторонники и противники искусственного интеллекта разделились на два лагеря. К одному примкнули крупные корпорации, включая Google, Facebook, Amazon и Microsoft, вкладывающие в разработку ИИ все больше средств и усилий, в то время как наиболее яркие представители другого, Стивен Хокинг и Илон Маск, заявляют о том, что подобные исследования опасны, что это современный способ “вызвать демона”.

Но вот и в принадлежащей Google лондонской компании DeepMind, приобретенной в 2014 году за $580 млн, задумались о мерах безопасности, на случай, если людям потребуется “восстановить контроль над ИИ прежде, чем наступят необратимые последствия”. Пока речь идет не о робоапокалипсисе и вариациях “Скайнета”, а о более приземленных системах, использующих алгоритмы обучения - например, фабричных роботах. К формированию документа приложили усилия представители Института будущего человечества, входящего в состав Оксфордского университета.

В публикации “Safely Interruptible Agents” рассматриваются способы принудительного отключения ИИ, а также необходимость формирования для него “большой красной кнопки”. При этом, программам будет запрещено препятствовать своему отключению или искать способы для его предотвращения.

Некоторые существующие алгоритмы, например, Q-learning легко прерываемы, причем это не наносит ущерба ИИ. Другие, как Sarsa, придется модифицировать, чтобы в них также появилась “большая красная кнопка”. Впрочем, у разработчиков документа нет уверенности в том, что любой известный алгоритм может быть без проблем модифицирован таким образом.

В DeepMind работают над созданием ИИ, который был бы способен на решение различных задач, тогда как в Институте будущего человечества исследуют потенциальные угрозы со стороны ИИ для нашего существования. В Институте уверены, что в ближайшие 100 лет разумность ИИ превзойдет разумность человека и станет возможной ситуация, что ИИ окажется враждебен человечеству.

В DeepMind также осознают опасность своих разработок и когда Google покупала эту компанию, ее владельцы договорились о создании комитета по этике, который приглядывает за тем, куда идут разработки ИИ.

В настоящее время, подобные меры кажутся явной перестраховкой - величайшее достижение искусственного интеллекта современности - это победы над человеком в некоторых настольных играх - в го, шахматы и шашки. Впрочем, ряд исследователей предупреждают: достаточно создать интеллект с возможностями, близкими к человеческим, и он будет быстро  совершенствовать себя до тех пор, пока не станет чем-то для нас непостижимым. А о том, какие действия решит предпринять такой “разум” гадать бесполезно. Во всяком случае, меры предосторожности кажутся нелишними.