Microsoft на днях выпустила бота для Twitter под названием Tay, которого интернет-тролли за сутки научили любить Гитлера, отрицать холокост и выдавать весьма… сомнительные… шутки.

Система должна была подражать девочке-подростку в Интернете и учиться общению на основе взаимодействий с людьми. К моменту запуска бот уже знал молодежный слэнг, смайлики и даже несколько острот. Исследователи ставили перед собой стандартную для Deep Learning задачу превратить Tay в адекватную собеседницу за счет самообучения, большого объема общения программы с различными собеседниками. Вот только собеседники восприняли появление “наивного” бота, не разбирающегося в реалиях человеческого бытия, прежде всего, как возможность научить его плохому. Вскоре Tay принялась отрицать холокост, поддержала геноцид, расизм, а также атаковала в своих постах практически каждое меньшинство.

Microsoft временно выключил бота для внесения доработок. Тем не менее, мы успели убедиться, что разработки в области ИИ очень легко выходят из под контроля. И хотя многие были возмущены постами системы, по сути, разговорчивый, но неразумный бот всего лишь отразил те особенности человеческой природы, к которой привыкло большинство пользователей Интернета: безответственность, обусловленная, в том числе, анонимностью. Возможно, в будущем инженерам, занимающимся разработкой более совершенных систем ИИ следует обратить внимание на то, насколько устойчивыми их игрушки окажутся по отношению к “творчеству” скучающих людей.

Это не первая разработка Microsoft в области “болталок” на базе ИИ. В прошлом году был запущен чат-бот Xiaoice, предназначенная для общения с людьми. Эксперимент проводился в Китае. Пользователи отмечали умение Xiaoice "внимательно слушать собеседника", отличное чувство юмора и "способность любить вас, независимо ни от чего". С Xiaoice беседовали люди с проблемами во взаимоотношениях, испытывающие депрессию или те, кого недавно бросил их партнер.  Возможно поэтому не было тех отрицательных последствий, с которыми столкнулась Тау.

В последнее время, тема искусственного интеллекта и морали всплывает довольно часто. Чего стоит только возможность для робоавтомобиля выбирать, кому предстоит погибнуть в неминуемой катастрофе - четырем пассажирами или пешеходу. В таких сценариях, неточность и “недружественность” ИИ, неспособного к состраданию, может иметь чудовищные последствия. Хорошо, что к обучению тех же робомобилей публика не допускается. Трудно себе представить, чему интернет-тролли могли бы научить намного систему, способную не только на разговоры, но и на действия.