ИИ, построенные на основе алгоритмов глубинного обучения, во многих случаях работают эффективно, но при этом даже их создатели не могут объяснить, почему они принимают то или иное решение. Команда разработчиков из Берклиевского университета, Университета Амстердама, подразделения исследований в области ИИ Facebook и MPI смогли научить ИИ пояснять принимаемые им решения. Для этого использован так называемый мультимодальный подход к объяснению — алгоритм ссылается на факты, которые он использовал для выбора ответа на вопрос, он также поясняет, как эти факты были интерпретированы.

Алгоритм, обученный на 18 тысячах изображений, взятых из Youtube, проверили на тесте, с которым уверенно справляются дети в возрасте 9 лет. Системе предъявлялся вопрос и изображение. ИИ выдавал ответ и мультимодальное объяснение, — и то, и другое указывало на визуальные факты, которые были задействованы для принятия решения, а также сопровождал решение текстовыми пояснениями.

ИИ справился с большинством, но не со всеми заданиями. В частности, он не сумел определить, улыбается ли человек на снимке или нет. Он также не смог отличить человека, который занимался покраской комнаты, от человека, использующего пылесос. То, что при этом ИИ объяснял свои решения, даёт разработчикам возможность узнать, почему были сформированы неверные решения. Неясно, есть ли при этом возможность как-то скорректировать систему принятия решений.

Тем не менее сам факт того, что процесс доставания кролика из шляпы теперь сопровождается объяснением, как устроен фокус, позволит людям с большим доверием относиться к использованию систем глубинного обучения. Подробнее о системе мультимодальных объяснений можно почитать здесь (англ., pdf).