Исследователи из Google Brain обнаружили ахиллесову пяту систем машинного зрения

23.07.2016

По данным тестирования на больших базах с фотографиями различных объектов, системы машинного зрения лучше справляются с их распознаванием, чем человек. Вот только исследователи обнаружили класс "состязательных изображений", которые вводят систему в заблуждение. 

Одно из наиболее существенных достижений в области современной науки - это успехи в области машинного зрения. Всего за несколько лет, несколько поколений технологий машинного обучения практически полностью изменили способы, которыми компьютеры "видят". 

Машины уже превосходят людей по части распознавания лиц и различных объектов. Это позволило буквально революционировать множество областей применения, опирающихся на машинное зрение, такие - как вождение автомобиля, мониторинг безопасности и т.п. Машинное зрение на сегодня обеспечивает сверхчеловеческие способности. 

На этом благостном фоне торжества науки неожиданно вырисовалась серьезная проблема. Исследователи систем машинного зрения начали замечать некоторые неприятные недочеты. Похоже, что современные алгоритмы машинного зрения имеют Ахиллесову пяту, - их легко обмануть, если слигка модифицировать предъявляемое машине изображение. Интересно, что человек по-прежнему без особого труда справился бы с распознаванием объекта на модифицированной картинке. 

Такого рода модифицированные изображения уже окрестили "состязательными". И они представляют собой существенную угрозу для систем машинного зрения. "Достаточно нанести на лицо человека небольшие помарки и система машинного зрения "узнает" в нем другого человека. Если эту же "задачку" предъявить человеку, он легко справится с правильным распознаванием", - рассказывают исследователи: Алексей Куракин и Samy Bengio из Google Brain и Jan Goodfellow из OpenAI. 

Область машинного зрения - сравнительно молодая ветвь науки, не удивительно, что о "состязательных изображениях" пока что известно немного. Пока что никто не знает, как создавать их оптимальным образом, почему они обманывают системы машинного зрения, как защитить роботов от такого рода атак.

Сегодня проблему начали изучать благодаря работам Куракина и ко., которые провели систематический анализ конкурентных изображений. Исследование показало, насколько уязвимы современные системы машинного зрения к такого рода атакам.

Команда начала работать со стандартной базой данных, предназначенной для тестирования систем машинного зрения, известной как ImageNet. Это корпус изображений, классифицированных согласно изображенным на них объектам. Стандартная практика машинного обучения предусматривает, что часть этой базы данных "скармливается" алгоритму распознавания в качестве обучающей выборки, а на оставшейся части проверяется качество работы обученного алгоритма.

Качество алгоритмов измеряется путем подсчета того, насколько часто алгоритм корректно справляется с классификацией - выдавая верный ответ в составе 5 вариантов, или точный ответ в виде одного-единственного варианта (это называют top 5 accuracy или top 1 accuracy). 

Одна из лучших систем машинного зрения на сегодня - это Google Inception v3, который дает уровень ошибок top 5 accuracy около 3.46%. У среднего человека этот показатель находится на уровне около 5%, поэтому принято говорить о Inception v3, как об алгоритме, возможности которого превосходят человеческие. 

Куракин и ко. создали базу данных "конкурентных" изображений, модифицировав 50 тысяч изображений из ImageNet тремя различными способами. Они основаны на той идее, что нейронные сети обрабатывают информацию с тем, чтобы "привязать" каждую следующую картинку к какому-то классу изображений. Объем информации, которая для этого необходима, называют кросс-энтропией, которая характеризует степень сложности распознавания.    

Первый алгоритм вносит небольшие изменения в картинку способом, который пытается максимизировать ее кросс-энтропию. Второй алгоритм - это просто итерации первого алгоритма для дальнейшего искажения первичного изображения. 

Оба этих алгоритма вносят такие изменения в картинку, которые затрудняют ее корректную классификацию. "Эти методы могут приводить к несущественным ошибкам классификации, например, путать один подвид хаски с другим подвидом", - говорят исследователи.

Третий алгоритм призван внести в каждую картинку еще один вид искажений. Он модифицирует изображение так, чтобы система машинного зрения ошиблась с классификацией так, чтобы картинка была отнесена к классу, который наиболее далек от истинного класса. "Наименее похожий класс обычно мало чем похож на истинный класс, поэтому данный метод атаки приводит к более интересным ошибкам, например, система может идентифицировать собаку, как самолет", - рассказывают Куракин и ко. 

Они проверили, насколько хорошо алгоритм Google Inception v3 справляется с классификацией 50 тысяч конкурентных изображений.

Два простых алгоритма, вносящих искажения, обеспечили существенное снижение показателей top 5 и top 1 accuracy. А третий алгоритм - "метод наименьшего подобия" быстро снизил точность узнавания изображений до 0 для всех 50 тысяч предъявленных системе картинок. (Не указывается, насколько успешными были попытки заставить алгоритм приходить к тому или иному "заданному" неверному выводу). 

В любом случае, конкурентные картинки - это существенная угроза для существующих систем компютерного зрения. Единственное, что может успокаивать, так это то, что конкурентые изображения в экспериментах поступали в систему машинного зрения уже в готовом "предобработанном" виде.

В реальных условиях, система цифровых камер также вносит изменения в наблюдаемую картину. Не может ли быть так, что вносимые прохождением тракта цифровой камеры искажения будут нейтрализовывать искажения, внесенные в картинку для того, чтобы сделать ее конкурентной?  Насколько надежны эти алгоритмы к тем трансформациям, которые осуществляются в реальном мире?

Для того, чтобы протестировать это, Куракин и его коллеги распечатали все конкурентные изображения, а также их оригиналы и сфотографировали их вручную смартфоном Nexus 5. Затем они "скормили" преобразованные конкурентные изображения системе машинного зрения.  

Куракин и его коллеги рассказывают, что метод наименьшего сходства достаточно уязвим для такого рода преобразований, тогда как другие оказываются вполне устойчивыми. Другими словами, алгоритмы конкурентных изображений действительно являются угрозой системам компьютерного зрения в реальном мире. "Существенная часть конкурентных изображений, созданных с использованием нашей сети неверное классифицируется системой даже после прохождения через цифровую камеру". 

Интересная работа, которая выявила уязвимость используемых алгоритмов машинного зрения. И впереди еще немало работы. Куракин и его коллеги планируют разработать методы создания конкурентных картинок и для других систем машинного видения. 

Все это заставляет задуматься людей, занятых в области компьютерной безопасности. Системы машинного зрения сегодня лучше людей справляются с распознаванием лиц, поэтому естественно, что ожидается их повсеместное использование - от разблокирования смартфонов и входных дверей до замены паспортов и получения доступа к банковскому счету. Но работы группы Куракина показывают, что есть возможность без особого труда обмануть такие системы.

За несколько последних лет мы узнали, насколько хорошо могут работать системы машинного зрения. А теперь стоит отметить, насколько легко они могут быть обмануты.  

+ + 

Статью Алексея Куракина и его соавторов можно найти здесь: http://arxiv.org/abs/1607.02533  

 

Источник: technologyreview.com
Источник иллюстраций: pixabay.com

  Публикации

Последние материалы

Метки
AGV ai AMR ARM BVLOS DARPA DIY DIY (своими руками) DJI eVTOL Lely pick-and-place RPA VTOL аватары авиация автоматизация автомобили автомобили и роботы автономные агродроны аддитивные технологии андроиды анималистичные АНПА антропоморфные Арт архитектура аэромобили аэропорты аэротакси безопасность безработица и роботы беспилотники бионика бионические больницы будущее бытовые роботы вакансии вектор вертолеты видео внедрения роботов внутритрубная диагностика водородные военные военные дроны военные роботы встречи высотные выставки газ Германия глайдеры горнодобыча городское хозяйство господдержка гостиницы готовка еды Греция грузоперевозки группы дронов гуманоидные дайджест Дания доение роботизированное доильные роботы дом домашние роботы доставка доставка беспилотниками доставка и роботы дронизация дронопорты дроны Европа еда железные дороги животноводство жилище захваты земледелие игрушки идеи измерения Израиль ИИ ИИ - вкратце инвентаризация Индия Иннополис инспекция интервью интерфейсы инфоботы Ирак Иран искусственный интеллект испытания исследования история Италия Казахстан как заработать Канада квадрупеды кейсы киборгизация кино Китай коботы коллаборативные роботы колонки коммунальное хозяйство компании компоненты конвертопланы конкурсы конспекты конструкторы концепты кооперативные роботы космос культура курьезы курьеры лабораторные роботы Латвия лесоустройство лизинг линки логистика люди и роботы магазины машинное обучение медицина медицина и роботы металлургия мнения мобильные роботы модульные мойка море морские мусор мусор и роботы навигация надводные наземные военные роботы налоги наука научные научные роботы необычные нефтегаз нефть Нидерланды Новая Зеландия Норвегия носимые роботы ОАЭ образование образовательная робототехника обучающие роботы общепит общепит и роботы общество Объединенное Королевство октокоптеры онлайн-курсы робототехники опрыскивание офисные охрана и беспилотники охрана и роботы парники патенты персональные роботы пищепром пляжи ПО подводные подводные роботы подземные пожарные пожарные роботы поиск полевые роботы полезные роботы полиция помощники Португалия порты последняя миля потребительские роботы почта право презентации пресс-релизы применение беспилотников применение дронов применение роботов прогнозы проекты производство производство дронов происшествия промышленность промышленные роботы противодействие беспилотникам псевдоспутники работа развлечения и беспилотники развлечения и роботы разгрузка разработка распознавание речи растениеводство регулирование регулирование дронов регулирование робототехники рекорды рисунки робомех робомобили роботакси роботизация робототехника роботрендз роботренды роботы роботы и автомобили роботы и мусор роботы и обучение роботы и развлечения роботы и строительство роботы телеприсутствия роботы-транспортеры робошум рои рой Россия Руанда сад садоводство сайт RoboTrends.ru сбор урожая сборка заказов сварка связь сделки сельское хозяйство сенсоры сервисные роботы синтез речи склады склады и роботизация смартроботы соревнования сортировка сотрудничество софт-роботика социальная робототехника социальные социальные роботы спорт спорт и дроны спорт и роботы спутниковая статистика строительство судовождение США такси телеком телеприсутствие теплицы теплосети термины терроризм тесты технологии техносказки тилтроторы ТНПА торговля транспорт транспортные роботы тренды трубопроводы трубопроводы и роботизация уборка Украина уличные роботы участники рынка фотограмметрия Франция химия хобби-беспилотники ховербайки Хождение цифры частоты чатбот шагающие роботы Швейцария Швеция шоу экзоскелеты эко-дроны экология электроника энергетика этика (робоэтика) Южная Корея юмор Япония

Подписка: RSS, Email, Telegram
  Информация