Преамбула

Мы, участники настоящей конвенции, принимая во внимание, что:

(1) на современном этапе перед человечеством стоит глобальная цель определения пути его развития на ближайшие десятилетия;

(2) осмысление роли научно-технического прогресса и определение предлагаемых им возможностей, а также оценка рисков и последствий его влияния на мировой порядок, государства, экономику, общество и человека является одной из первоочередных задач современности;

(3) в рамках научно-технического прогресса в последние десятилетия стали активно развиваться и находить повсеместное применение киберфизические системы различного назначения, включая роботов;

(4) человечество возлагает большие надежды на развитие робототехники и искусственного интеллекта, которые объективно способны решить многие накопившиеся проблемы и придать новый толчок развитию мирового сообщества;

(5) в условиях открывающихся перспектив нельзя игнорировать потенциальные опасности и угрозы, которые могут возникнуть в связи использованием новых технологий робототехники и искусственного интеллекта;

(6) нельзя исключить сценарии массового использования роботов и искусственного интеллекта, которые могут иметь катастрофические последствия для существующего мироустройства или всей человеческой расы;

(7) несмотря на рост количества роботов и киберфизических систем, в целом мировое сообщество до сих пор не выработало универсальных представлений о правилах взаимодействия в связи с их использованием;

(8) не может не вызывать обеспокоенность то, что до сих пор отсутствуют какие-либо договоренности или правила относительно использования роботов с повышенной степенью опасности, которые в силу своей конструкции и назначения способны причинить вред значительному количеству людей;

(9) представления значительной части людей об отношениях человека и разумного робота формируются, преимущественно, массовой культурой и зачастую ограничены законами робототехники Айзека Азимова, что может привести к заблуждению относительно того, что указанные законы будут повсеместно учитываться при разработке всех киберфизических систем;

(10) хотя несколько государств в мире на протяжении последних лет начали развивать законодательство о роботах, международное право и большинство национальных правовых систем не предлагают специальных моделей и механизмов регулирования общественных отношений в связи с использованием роботов;

(11) в сложившихся условиях возникает потребность в оперативной консолидации усилий всех заинтересованных государств, представителей инновационного бизнеса, международного научного сообщества и экспертов для выработки общих подходов, правовых и этических норм в сфере создания, развития, внедрения, использования и распространения киберфизических систем,

пришли к пониманию о том, что необходимо объединить усилия в создании настоящей Конвенции — открытого для развития документа, к участию в обсуждении и совершенствовании которого приглашаются все заинтересованные лица.

Цель настоящей Модельной конвенции заключается в том, чтобы определить основные проблемы, которые могут возникнуть в обществе и правовой системе в связи с активным развитием киберфизических систем; обобщить ряд основных правил робототехники, высказанных в разное время различными экспертами; обозначить возможные направления решения существующих и (или) ожидаемых проблем; инициировать дискуссию между экспертами разных стран для выработки единых этических и правовых представлений о правилах создания и использования роботов и искусственного интеллекта.

 

ВВОДНЫЕ ПОЛОЖЕНИЯ

Статья 1. Субъекты робототехники

Участниками процессов создания, внедрения или использования роботов и киберфизических систем с искусственным интеллектом являются исследователи, разработчики, лица, финансирующие исследования и разработки в сфере робототехники, а также производители, собственники, владельцы, операторы роботов, органы государственной власти и любые регулирующие органы, а также пользователи и иные лица, взаимодействующие с роботами и киберфизическими системами, в том числе с искусственным интеллектом.

Статья 2. Объекты робототехники

К объектам робототехники относятся все категории роботов в самом широком их понимании независимо от их назначения, степени опасности, мобильности или автономности, а также киберфизические системы с искусственным интеллектом в любой форме. При этом если иное прямо не вытекает из текста настоящей Модельной конвенции, далее термин «робот» будет трактоваться в самом широком смысле и для целей Модельной конвенции включать в себя также роботизированные механизмы и киберфизические системы, в том числе с искусственным интеллектом.

Статья 3. Терминология

Содержание понятия «робот» и смежных с ним, таких как «роботизированный механизм» или «умный робот», определяется в соответствии с общепринятым значением этих понятий в конкретной стране и (или) применительно к конкретной модели робота. В случае если значения этих понятий не определены, могут быть использованы существующие международные стандарты, в частности, ISO 8373:2012 «Роботы и робототехнические устройства. Термины и определения».

Статья 4. Универсальность правил

Правила создания, внедрения и использования роботов адресованы всем субъектам робототехники.

Статья 5. Национальные нормы

Участники процессов создания, внедрения и использования роботов обязаны знать и соблюдать требования законодательства, действующего там, где роботы используются или планируется их использование («применимое законодательство»), а также учитывать иные применимые правила, включая этические и религиозные нормы.

 

ПРАВИЛА БЕЗОПАСНОСТИ РОБОТОВ

Статья 6. Принцип безопасности роботов

Создание, внедрение и использование роботов должно осуществляться при условии максимального обеспечения безопасности человека, общества и государства, а также непричинения вреда человеку, человечеству, живым существам и всей их среде обитания.

Статья 7. Запрет причинения вреда по инициативе роботов

Если иное не установлено настоящей Модельной конвенцией, не допускается создание роботов, способных по собственной инициативе целенаправленно причинять человеку вред; условия, порядок и последствия причинения вреда имуществу человека определяются применимым законодательством.

Статья 8. Ограничение причинения вреда разумными роботами

Разумные роботы не должны причинять вред человеку и человечеству, а также допускать, чтобы их бездействием был причинен вред, если только причинение вреда не является вынужденным и оправданным, способствующим предотвращению еще большего вреда. При этом понятие вреда определяется исходя из той информации, которая имеется в распоряжении разумного робота.

Статья 9. Правило равных рисков

Во всех процессах, проходящих с использованием роботов, человек не должен подвергаться большему риску причинения вреда его жизни или здоровью, чем риск, с которым он столкнулся бы в этих же процессах без участия роботов.

Статья 10. Информированность об опасности роботов

Вся информация об опасности, которую любой робот несет для человека, общества и окружающей среды, должна быть открытой, бесплатной и легкодоступной любому субъекту робототехники.

Статья 11. Защита конфиденциальной информации

Доступ к информации, собираемой и обрабатываемой роботами, и ее использование не должны нарушать неприкосновенность частной жизни человека и (или) режимы охраны иных видов конфиденциальной информации в соответствии с применимым законодательством.

Статья 12. Защита роботов от несанкционированного доступа

Роботы должны быть оснащены системой защиты от несанкционированного физического и электронного доступа к их системам и механизмам.

Статья 13. Роботы с повышенной степенью опасности

К эксплуатации роботов, потенциально способных причинить человеку существенный, в том числе смертельный, вред в силу своей конструкции и назначения (медицинские роботы, имплантируемые устройства, высокоавтоматизированные транспортные средства, военные роботы и т. д.), должны быть установлены повышенные требования по защите от несанкционированного доступа третьих лиц. Субъекты робототехники должны исходить из презумпции опасности таких роботов, а полномочные органы власти должны устанавливать соответствующие требования и контролировать их выполнение на территории, относящейся к их юрисдикции.

Статья 14. Управление роботами с повышенной степенью опасности

Потенциально негативное воздействие роботов с повышенной опасностью на человека, обусловленное их конструкцией и назначением, должно осуществляться только под прямым управлением другого человека.

Статья 15. Контролируемость роботов человеком

Роботы должны быть в максимально возможной и оправданной степени, в зависимости от специфики назначения конкретного вида робота, быть контролируемыми человеком напрямую или опосредованно.

Статья 16. «Черный ящик»

Роботы должны постоянно фиксировать и хранить информацию об условиях своего функционирования и всех совершаемых ими действиях («черный ящик»). Доступ к этой информации должен предоставляться лицам, несущим ответственность за действия и надлежащее функционирование роботов, а также компетентным органам власти в порядке, установленном применимым законодательством.

Статья 17. «Красная кнопка»

Роботы, физически взаимодействующие с людьми и не находящиеся под прямым управлением человека, должны иметь функцию моментального или аварийного отключения по требованию («красная кнопка»).

 

ОБЩИЕ ПРАВИЛА СОЗДАНИЯ РОБОТОВ

Статья 18. Создание общего блага

Разработчики и производители роботов, а также иные лица, причастные к процессу создания роботов («создатели роботов») должны по возможности стремиться к тому, чтобы создаваемые ими роботы могли приносить максимальное благо как можно большему числу людей.

Статья 19. Ответственное отношение к последствиям внедрения роботов

Создатели роботов, а также лица, финансирующие исследования и разработки в сфере робототехники, должны понимать, что их деятельность не носит сугубо технический характер, ответственно относиться к тем социальным и экономическим явлениям и обстоятельствам, которые могут возникнуть как результат внедрения роботов, и стремиться предотвращать связанные с ними любые серьезные негативные последствия.

Статья 20. Приоритет безопасности

При создании роботов цель обеспечения безопасности человека должна всегда превалировать над всеми иными целями и задачами.

Статья 21. Возможность соблюдения Модельной конвенции

Создатели роботов должны обеспечить конструктивную возможность соблюдения правил, указанных в настоящей Модельной конвенции (с учетом их возможных корректировок, изменений и дополнений).

 

ОБЩИЕ ПРАВИЛА ИСПОЛЬЗОВАНИЯ РОБОТОВ

Статья 22. Соблюдение прав человека и общепринятых норм морали и нравственности

В процессе использования роботов независимо от наличия или отсутствия специального правового регулирования должны соблюдаться фундаментальные права человека и общепринятые нормы морали и нравственности.

Статья 23. Уважение человеческого достоинства.

Человек не должен умалять человеческое достоинство своим обращением с роботами.

Статья 24. Предотвращение несанкционированного вреда, причиняемого роботом

Человек, имеющий возможность предотвратить или остановить несанкционированное (в том числе случайное) причинение вреда роботом другому человеку, обязан предпринять для этого все возможные меры, не связанные с риском для собственной жизни или здоровья.

Статья 25. Идентификация робота

Информация о том, что какое-либо устройство или объект является роботом, должна быть донесена до любого взаимодействующего с ним человека или другого робота, за исключением случаев, когда это продиктовано обстановкой либо не требуется исходя из назначения и специфических условий применения конкретной формы робота.

Статья 26. Ограничение поведения роботов

Функционирование роботов должно быть принципиально предсказуемым для их создателей и пользователей, соответствовать их конструкции и назначению, быть безопасным и контролируемым.

Статья 27. Информированность о функционировании роботов

Функционирование роботов должно осуществляться таким образом, чтобы взаимодействующие с ним субъекты робототехники могли понимать порядок функционирования этих роботов либо иметь возможность получения достаточной информации об этом в момент взаимодействия.

Статья 28. Ответственность за выполнение правил функционирования роботов

Если иное не следует из положений применимого законодательства и конкретных обстоятельств, ответственность за выполнение правил функционирования роботов возложена на создателей роботов, а также на любое иное лицо, которое может своими действиями повлиять на их выполнение.

Статья 29. Роботы как субъекты права

Роботы могут выступать в гражданском обороте как самостоятельные лица, в том числе выступать собственниками других роботов, если это прямо установлено применимым законодательством.

 

ПРАВИЛА РАЗРАБОТКИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Статья 30. Ответственное отношение

Разработчики, исследователи и лица, финансирующие исследования в сфере искусственного интеллекта, а также в смежных областях, обязаны учитывать общественные настроения и не вправе пренебрегать тем мнением, что технологии искусственного интеллекта могут иметь необратимые для человечества последствия и нести в себе экзистенциальные риски.

Статья 31. Презумпция опасности искусственного интеллекта

Разработчики, исследователи и лица, финансирующие исследования в сфере искусственного интеллекта, а также в смежных областях, должны исходить из презумпции опасности искусственного интеллекта, подразумевая, что созданная или создаваемая технология искусственного интеллекта является опасной для человека, пока не доказано иного.

Статья 32. Осознанное взаимодействие

Любое взаимодействие человека с искусственным интеллектом не должно осуществляться без информирования и согласия человека.

Статья 33. Применение положений Конвенции к искусственному интеллекту

Приведенные в настоящей Модельной конвенции положения о роботах должны применяться к киберфизическим системам с искусственным интеллектом с учетом их конструктивных особенностей.

 

ОГРАНИЧЕНИЯ ПРИ ИСПОЛЬЗОВАНИИ ВОЕННЫХ РОБОТОВ

Статья 34. Применимость гуманитарных правил ведения войны

Использование роботов в военных целях не может осуществляться в нарушение общепринятых в мире гуманитарных правил ведения войны.

Статья 35. Ограничения в целях соблюдения гуманитарных правил ведения войны

Роботы, создаваемые в военных целях, должны иметь изначально заложенные в них и не поддающиеся изменениям ограничения, соответствующие положениям международного гуманитарного права, ограничивающего методы и средства ведения войны, независимо от того, на какой территории роботы будут применяться.

Статья 36. Непричинение вреда мирному населению

Роботы, применяемые в военных целях, не должны использоваться для причинения вреда мирному населению. При использовании роботов в военных целях необходимо также всеми возможными при данных обстоятельствах способами исключить либо минимизировать причинение роботами вреда жизни и здоровью живой силе противника.

Статья 37. Ответственность за преступления, совершенные с использованием роботов

Ответственность за совершенные роботами военные преступления определяется в соответствии с правилами, применимыми для военных преступлений, совершенными людьми, контролирующими этих роботов. Государства должны стремиться устанавливать нормы, когда использование роботов при совершении военных преступлений будет считаться отягчающим обстоятельством.

 

РАЗВИТИЕ ПРАВИЛ РОБОТОТЕХНИКИ И ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Статья 38. Добровольное применение

До тех пор, пока положения настоящей Модельной конвенции не будут носить обязательный характер, субъекты робототехники вправе указывать на добровольное применение всех или отдельных положений настоящей Конвенции.

Статья 39. Сфера использования Модельной конвенции

Правила настоящей Конвенции могут использоваться в любой юрисдикции и любым сообществом участников процессов создания, внедрения и использования роботов как основа для унификации правил создания и использования роботов.

Статья 40. Содействие разработке общепринятых международных правил

Субъекты робототехники должны способствовать международному сотрудничеству в разработке общепринятых правил создания, внедрения и использования роботов, а также в гармонизации стандартов робототехники, применение которых было бы возможно в максимально большом количестве юрисдикций.

Статья 41. Содействие созданию наднационального института

Для эффективного, гармоничного и безопасного развития робототехники и искусственного интеллекта должны быть созданы межгосударственные и негосударственные институты, в том числе при уже существующих международных объединениях и организациях.

Статья 42. Развитие Модельной конвенции

Положения настоящей Конвенции подлежат обсуждению, корректировкам, изменениям и дополнениям с тем, чтобы они в максимальной степени отражали текущие представления о роботах и искусственном интеллекте в человеческом обществе и соответствовали общепринятым правилам и нормам, которые должны действовать в сфере робототехники и искусственного интеллекта.

+ +

Есть комментарии? Присылайте в редакцию!