Часто задаваемые вопросы об автономных системах вооружений

Автономные системы вооружений, или, как их часто называют, «роботы-убийцы», — это системы вооружений, которые после приведения в действие способны выбирать и поражать цели без участия человека.

«Без участия человека» означает, что человеку достаточно привести такую систему вооружений в действие ― работать она сможет самостоятельно. Автономные системы вооружений оснащены датчиками, которые реагируют на тепло, свет и движение, определяют форму и скорость. Полученные при помощи них данные используются системой для сопоставления потенциальной цели с общим профилем цели. В него могут входить такие характеристики военного транспортного средства, как форма, скорость, тепловая и радиолокационная сигнатура. 

Если система решит, что характеристики обнаруженного объекта соответствуют заранее заданным, она может самостоятельно нанести по нему удар, даже если в момент атаки человек не выбирал именно эту цель.

Да, автономные системы вооружений действительно уже существуют. К ним относятся, например: 

• системы противовоздушной и противоракетной обороны, в том числе корабельные зенитно-артиллерийские комплексы и наземные системы обороны военных баз, которые способны автономно обнаруживать, отслеживать и перехватывать управляемые и неуправляемые ракеты, а также артиллерийские мины быстрее, чем человек;
• системы активной защиты танков, которые автоматически обнаруживают и уничтожают летящие в танк снаряды и ракеты;
• некоторые боеприпасы с сенсорной системой инициирования: они разбрасывают оснащенные датчиками суббоеприпасы, которые находят и поражают цели, например бронетехнику, при этом человеку не нужно выбирать каждую конкретную цель;
• некоторые барражирующие боеприпасы, которые, по имеющимся данным, способны обнаруживать на местности и поражать соответствующие заранее заданным характеристикам цели, например радары. 

Сегодня большинство таких систем вооружений функционирует на основе «предустановленных алгоритмов» и, как правило, применяется в контролируемой среде и только против отдельных видов военных объектов — ракет и других снарядов, а также военных радаров и кораблей. Однако МККК обеспокоен тем, что автономные системы вооружений оснащают все более сложными моделями искусственного интеллекта, а также тем, что вооруженные силы, по-видимому, заинтересованы в ослаблении ограничений на то, где и против каких целей могут применяться такие вооружения. В результате последствия применения автономных систем вооружений могут стать еще более непредсказуемыми, а гражданское население и гражданские объекты в ходе вооруженных конфликтов окажутся в серьезной опасности.

Применение автономных систем вооружений вызывает серьезную обеспокоенность с гуманитарной, правовой и этической точек зрения, поскольку такие системы способны выбирать и поражать цели без участия человека. Эта обеспокоенность связана не только с тем, что представляет собой сама технология, поэтому вряд ли получится решить данную проблему лишь путем технической доработки или изменения конструкции таких вооружений.

1. Угроза гуманитарного характера: опасность распространения автономных систем вооружений и эскалации конфликтов. Как и любой другой вид вооружений, автономные системы будут распространяться и использоваться в нарушение международного гуманитарного права (МГП), в том числе негосударственными вооруженными группами и преступными организациями. И действительно, вероятность распространения автономных систем вооружений весьма высока, поскольку становятся все более доступными датчики, программное обеспечение и другие имеющиеся в свободной продаже компоненты таких систем. Также существует опасность того, что применение автономных систем вооружений повлечет за собой эскалацию конфликтов, поскольку оно позволяет значительно ускорить процесс выбора и поражение целей, практически не оставляет возможности вмешательства человека и последующей деэскалации и сопряжено с повышенным риском просчета.

    

2. Проблемы правового характера: трудности в обеспечении соблюдения международного гуманитарного права и международного права прав человека. Поскольку автономные системы вооружений выбирают и поражают цели без участия человека, оператору трудно предугадать, при каких обстоятельствах будет осуществляться нападение, и понять, будут ли при нем соблюдены нормы МГП, особенно в тех случаях, когда такие системы применяются в густонаселенных районах, и обстановка может быстро измениться. В будущем выполнить эту задачу станет еще труднее, ведь автономные системы вооружений становятся все более сложными (а последствия их применения, следовательно, ― все менее предсказуемыми).

    

   В связи с этим повышается риск нарушения при нападении предусмотренных МГП принципов проведения различия, соразмерности и принятия мер предосторожности, согласно которым необходимо проводить оценку текущих условий с учетом контекста. Такую оценку нельзя свести к простому сбору технических данных, а ее результаты ― заранее заложить в систему. Для того чтобы определить, является ли тот или иной человек гражданским лицом, принимающим непосредственное участие в боевых действиях, готов ли комбатант сдаться (или имеет иное основание для предоставления ему защиты) и будет ли предполагаемый ущерб гражданским лицам и объектам чрезмерным, необходимо глубокое понимание обстановки, а также намерений человека, его поведения и других факторов. Достичь такого понимания путем машинных расчетов невозможно.

    

   Ситуация становится еще сложнее, когда не вполне понятно, как система работает, и невозможно спрогнозировать последствия ее применения: если пользователь не может должным образом понять, предвидеть и объяснить поведение и последствия применения автономной системы вооружений, оценить законность ее использования будет невозможно. Кроме того, осложняется решение вопросов, касающихся ответственности и подотчетности в случаях незаконного нанесения ущерба. 

    

3. Этический вопрос: передача машинам ответственности за принятие решений, от которых зависит чья-то жизнь. Наряду с гуманитарными и правовыми соображениями существует фундаментальный этический вопрос: можем ли мы допустить, чтобы машина решала, жить человеку или умирать? Ценность человеческой жизни способен осознать только человек. Только он может давать чему-либо моральную оценку и проявлять сдержанность. Машины же выбирают того или иного человека в качестве цели, основываясь на данных, полученных при помощи датчиков, и на том, соответствует ли он профилю цели. Таким образом, человек воспринимается лишь как набор показателей, и решение о применении против него летальной силы принимает не другой человек, а машина. Хотя системы вооружений и становятся все более точными, положения дел это не меняет. По мнению МККК, чтобы урегулировать эту проблему, необходимо выполнить свой моральный долг и сохранить значимый человеческий контроль над процессом принятия решений, касающихся жизни и смерти.

МГП уже применяется к автономным системам вооружений. Однако МККК считает, что существующие нормы должным образом не отражают всех гуманитарных, правовых и этических соображений, касающихся таких систем. Поэтому мы призываем принять новые юридически обязательные международные нормы, которые запрещали бы неприемлемые автономные вооружения и устанавливали строгие ограничения на все остальные автономные системы вооружений.

Автономные вооружения сами по себе не являются незаконными. Однако существующие нормы МГП распространяются на применение таких вооружений, как и любых других.

МГП запрещает конкретные виды вооружений, например те, которые неизбирательны по своей сути. К ним относятся, в частности, те автономные системы вооружений, которые функционируют не вполне понятным образом (это явление называют проблемой «черного ящика»), что мешает оператору понять, предсказать и объяснить последствия их работы. Это в свою очередь не позволяет пользователю направить такое оружие на конкретную военную цель и, в сущности, лишает человека возможности контролировать последствия применения таких вооружений, что делает их по сути неизбирательными.

Кроме того, при нападении с применением любого вида вооружений должны соблюдаться нормы МГП, касающиеся ведения боевых действий: целью нападения должны быть конкретные военные объекты; предполагаемым последствием нападений не должно быть нанесение чрезмерного сопутствующего ущерба гражданскому населению и гражданским объектам; должны приниматься все возможные меры предосторожности, чтобы избежать нанесения ущерба гражданскому населению и гражданским объектам. Однако в случае автономных вооружений сделать все это будет непросто: пользователь не знает, по кому или чему система решит нанести удар и когда и где он будет нанесен, и не может выбирать цель, место и время удара. Эти параметры будут определяться самой системой (оснащенной теми или иными датчиками, исполнительными устройствами и программным обеспечением) на основе анализа оперативной обстановки.

Тогда каким образом оператору автономной системы вооружений сделать так, чтобы удары с ее применением наносились исключительно по законным военным целям, а не по гражданскому населению, по раненым или сдающимся военнослужащим? Как ему не допустить чрезмерного сопутствующего ущерба с учетом того, что за время, прошедшее с момента приведения системы в действие и до нанесения ею удара, ситуация могла измениться? И что делать, если цель окажется гражданским объектом? Согласно МГП, в такой ситуации необходимо сделать все, чтобы отменить или приостановить нападение, но в случае автономных вооружений это, вероятно, будет невозможно.

По-видимому, соблюдение упомянутых правовых обязательств в случае автономных систем вооружений будет возможным только в том случае, если на определенные виды таких вооружений будет наложен запрет, а в отношении применения других будут введены строгие ограничения, позволяющие сузить круг возможных последствий.

Поэтому МККК и многие другие призывают принять новые юридически обязательные международные нормы, которые запрещали бы предназначенные для поражения живой силы автономные системы вооружений, действие которых невозможно спрогнозировать, и устанавливали бы строгие ограничения для всех остальных автономных систем вооружений.

Не все дроны, используемые в качестве оружия, относятся к автономным вооружениям.

Ударный дрон с дистанционным управлением, оператор которого сам выбирает цель и принимает решение о нанесении удара, не относится к автономным вооружениям. Однако в том случае, если после приведения в действие дрон самостоятельно, без участия человека выбирает цель и наносит по ней удар, он будет считаться автономным оружием.

Главное отличие дрона, являющегося автономным оружием, от дрона, не являющегося таковым, состоит в том, что первый обладает автономией при осуществлении критически важных функций ― выборе цели и нанесении по ней удара.

Не все автономные системы вооружений оснащены искусственным интеллектом (ИИ).

Системы вооружений в зависимости от их сложности могут обладать разной степенью автономности. Они не всегда оснащены такими технологиями искусственного интеллекта, как, например, машинное обучение (благодаря которому система выявляет закономерности на основе результатов анализа данных и учитывает эти закономерности при выполнении тех или иных задач). Системы противовоздушной обороны, в частности, могут быть автономными, но, как правило, в них используется не ИИ, а простое программное обеспечение, основанное на определенных правилах.

В других системах вооружений может использоваться ИИ, но не при выборе и поражении целей. Поэтому, например, система вооружений, оснащенная системой навигации на основе ИИ, не будет автоматически считаться автономной.

Автономные системы вооружений самых разных видов ― от систем обороны, которые автоматически сбивают ракеты, до барражирующих боеприпасов и боеприпасов, оснащенных сенсорной системой инициирования, ― уже стали частью современной реальности. МККК обеспокоен тенденцией увеличения максимальной площади и длительности применения автономных систем вооружений, числа видов целей, которые они могут поражать, а также тем, что автономные вооружения оснащаются все более сложными технологиями искусственного интеллекта.

Вследствие военно-технического прогресса спрогнозировать поведение автономных систем вооружений в тех или иных условиях становится еще труднее, что в ходе вооруженного конфликта создает серьезную опасность для гражданского населения и гражданских объектов.

Хотя поборники новых оружейных технологий утверждают, что их применение в ходе боевых действий может способствовать более строгому соблюдению норм МГП и минимизации рисков, которым подвергается гражданское население, мы не видели и не видим этому подтверждений.

По нашим наблюдениям, во многих текущих конфликтах по всему миру, где применяются наиболее технологически продвинутые средства ведения боевых действий, положение гражданского населения ничуть не лучше. Напротив, мы отмечаем, что гражданским лицам и объектам наносится колоссальный ущерб, разрушения достигают катастрофических масштабов, и это совершенно неприемлемо. Новые технологии, о которых так много говорят, не способствуют повышению точности нанесения ударов и соблюдению принципов проведения различия и принятия мер предосторожности. Они лишь приводят к тому, что масштабы разрушений растут с невиданной скоростью, и страдают прежде всего мирные жители.

В результате этого обстановка становится все менее предсказуемой, повышаются риски нанесения ущерба гражданскому населению, и все более очевидной становится необходимость наложить четкие запреты и ограничения на автономные системы вооружений, чтобы сохранить защиту, которую должно гарантировать МГП.

Автономные системы вооружений, предназначенные для поражения живой силы, ― это системы вооружений, способные самостоятельно выбирать человека в качестве цели и наносить по нему удар.

Такие системы вызывают особую обеспокоенность МККК, поскольку факторы, которые указывают на статус человека в вооруженном конфликте, ― например, готов ли он сдаться, ранен ли он или принимает непосредственное участие в боевых действиях, ― следует интерпретировать в зависимости от ситуации, а значит, машине будет чрезвычайно трудно определить этот статус. Кроме того, статус может быстро меняться, а его неверное определение может повлечь за собой трагические последствия.

Поэтому весьма трудно представить себе реальную ситуацию, при которой боевое применение автономной системы вооружений против человека не было бы сопряжено с существенным риском нарушения норм МГП.

Наряду с оперативными и правовыми соображениями существует фундаментальный вопрос: можем ли мы допустить, чтобы машина решала, жить человеку или умирать? Ценность человеческой жизни способен понять и признать только человек. Машина же выбирает того или иного человека в качестве цели, основываясь на данных, полученных при помощи датчиков, и на том, соответствует ли он профилю цели. Таким образом, человек воспринимается лишь как набор показателей. Оператор такой системы лишается возможности повлиять на принятое ею решение, дать ему моральную оценку и проявить сдержанность. Эта ситуация этически недопустима― насколько бы точными ни были новые технологии вооружений.

Опыт применения других видов вооружений, предназначенных для поражения живой силы (например, противопехотных мин), показывает: даже если в теории их можно использовать, не нарушая МГП, на практике так почти никогда не происходит. Поэтому самое практичное и эффективное решение ― их полный и недвусмысленный запрет, который учитывался бы вооруженными силами и гарантировал необходимую защиту комбатантам и гражданскому населению.

запретить?

Автономные системы вооружений непредсказуемого действия ― это такие системы вооружений, действие и последствия применения которых человек не может понять, спрогнозировать и объяснить. К ним относятся, в частности, автономные системы вооружений, в которых технологии искусственного интеллекта используются таким образом, что понять и объяснить действие этих систем становится невозможно (это явление называют проблемой «черного ящика»). 

Непредсказуемость действия некоторых автономных систем вооружений, в сущности, означает отсутствие какого-либо влияния человека на последствия их применения. Это позволяет отнести такие системы к оружию неизбирательному по своей сути, которое, в свою очередь, запрещено МГП.

Поэтому самое практичное и эффективное решение – полный запрет автономных систем вооружений непредсказуемого действия, который позволил бы следовать принципу проведения различия ради защиты гражданского населения и соблюдения закона войны.

Сегодня очевидно, что системы вооружений становятся все более автономными, а ограничения, связанные с их применением, ослабляются. Продолжает увеличиваться число задач, которые способны выполнять такие системы, но это не значит, что их следует делегировать машинам. 

Президент МККК Мирьяна Сполярич и Генеральный секретарь ООН Антониу Гутерриш 25 августавыступили с совместным обращением, в котором вновь призвали государства срочно принять новые международные нормы в области автономных систем вооружений. Они отметили, что сегодня человечество как никогда близко к той этически недопустимой ситуации, когда машина сама может выбирать людей в качестве цели.

Во время, когда сами ученые и инженеры, разрабатывающие автономные системы вооружений, бьют тревогу и призывают ввести нормативные ограничения, мир не может позволить себе ждать, пока использование таких систем не станет повсеместным: из-за промедления ограничения утратят актуальность в связи с развитием технологий и практикой их применения. 

Если мировое сообщество не примет своевременных мер по выработке четких правовых и этических ограничений, неприемлемые виды автономных вооружений будут и дальше разрабатываться и распространяться. В случае широкого распространения подобных вооружений снизить уровень угрозы для гражданских лиц и безопасности во всем мире будет гораздо сложнее.

2026 г. станет определяющим. VII Конференция по рассмотрению действия Конвенции о конкретных видах обычного оружия, запланированная на 16–20 ноября 2026 г., даст государствам чрезвычайно важную возможность перейти от обсуждений к переговорам о подготовке новых международных норм для регулирования автономных систем вооружений. К автономным вооружениям применяются существующие принципы МГП, однако принятие новых норм может позволить установить конкретные ограничения, пока нежелательная практика не стала повсеместной.

МККК призывает государства провести переговоры по вопросу разработки международного документа, имеющего обязательную юридическую силу и предусматривающего:

• запрет двух видов автономных систем вооружений:
  • систем вооружений непредсказуемого действия, то есть прежде всего таких систем, где используются те или иные формы искусственного интеллекта, способные принимать разные решения в одних и тех же условиях;
  • систем вооружений, предназначенных для непосредственного поражения живой силы (так называемых «противопехотных» автономных систем вооружений);
    • наложение ограничений на все остальные виды автономных вооружений, в том числе ограничение допустимых целей теми, которые по своей сути являются военными, ограничение района действия, продолжительности, условий и масштаба применения такого оружия, а также внедрение эффективных мер для его нейтрализации, деактивации и уничтожения.

МККК подчеркивает, что разработка этих норм имеет чрезвычайно важное значение с точки зрения минимизации гуманитарных, правовых и этических рисков, связанных с автономными системами вооружений. Мы не призываем полностью запретить все автономные системы вооружений и применение в системах вооружений искусственного интеллекта, поскольку признаем, что технологии ИИ могут использоваться, например, в системах навигации вооружений для повышения их точности.