Получить помощь
Статья

Вопросы и ответы: искусственный интеллект (ИИ) в военной сфере

AI_AWS_cover
ICRC

В настоящее время наблюдается гонка вооружений в области разработки и применения новых технологий в военном деле, в том числе технологий искусственного интеллекта (ИИ). Вместо того чтобы укреплять безопасность гражданских лиц, оказавшихся на поле боя, эти технологии часто ведут к повышенному риску и причиняют существенный ущерб.

Что такое ИИ в военной сфере?

ИИ в военной сфере предполагает использование искусственного интеллекта в военных системах и в боевых действиях, в том числе в автономных системах вооружений, системах принятия военных решений, в операциях и в качестве инструмента наращивания потенциала в киберсреде, а также в материально-тыловом обеспечении, сборе и анализе разведданных.

Распространяется ли международное гуманитарное право на ИИ в военной сфере?

Да. МГП распространяется на все средства и методы ведения войны, включая использование технологий ИИ. Любое применение силы должно соответствовать принципам и нормам МГП, таким как проведение различия (между гражданскими лицами и объектами с одной стороны и комбатантами и военными объектами — с другой), соразмерность и принятие мер предосторожности.

Почему МККК обеспокоен использованием ИИ в военной сфере?

МККК обеспокоен тем, что использование ИИ в военной сфере может ускорить темп и увеличить масштабы боевых действий, снизить предсказуемость и ограничить контроль человека над применением силы, что создаст серьезный риск для гражданского населения.

Системы ИИ особенно уязвимы в случае сбоя во враждебной среде, где неприятель постарается сознательно предпринять попытку введения в заблуждение или взломать системы, например посредством нарушения целостности данных или использования слабых мест противоположной стороны.

МККК настаивает на человекоцентричном подходе, поскольку именно люди — а не машины — несут юридическую ответственность за принятие решений, связанных с применением силы. Человеческое суждение необходимо для того, чтобы обеспечить соблюдение МГП и защиту гражданских лиц. Системы ИИ должны помогать человеку в принятии решений, а не ограничивать и не заменять его в выполнении этой задачи.

Какие основные сферы применения ИИ в военном деле вызывают особое беспокойство?


МККК определил три сферы применения ИИ в военном деле, которые создают существенный риск.

  1. Автономные системы вооружений: после приведения в действие такие системы способны самостоятельно выбирать и поражать цели без дальнейшего участия человека.
  2. Системы принятия решений на базе ИИ: эти системы обрабатывают огромные объемы данных в помощь лицам, принимающим решения в военной сфере, но использование подобных систем сопряжено с риском в связи с присущими им ненадежностью и непредсказуемостью, а также ввиду склонности человека чрезмерно доверять результатам их работы.
  3. ИИ в информационно-коммуникационных технологиях: ИИ всё активнее используется при проведении операций в киберсреде и интегрируется в киберпотенциал, что может привести к увеличению масштаба кибератак, изменить их характер и мощь, особенно в плане неблагоприятного воздействия на гражданских лиц и гражданскую инфраструктуру.
     

Могут ли технологические компании становиться военными целями, если они оказывают поддержку в ведении боевых действий?

В рамках МГП технологические компании и их работники считаются гражданскими лицами и объектами, если не доказано иное, и пользуются защитой от нападений. Однако право на такую защиту может быть утрачено, если сотрудники компании будут вести определенную деятельность или если имущество компании будет использоваться определенным образом. Например, если конкретная инфраструктура или сервисы технологической компании используются воюющей стороной с целью внести реальный вклад в ведение боевых действий и если их полное или частичное уничтожение, захват или нейтрализация в текущих обстоятельствах дает конкретное военное преимущество неприятелю, то такая компания становится военной целью. 

В связи с этим МККК призывает технологические компании тщательно оценивать возможности применения своих товаров и услуг в вооруженном конфликте. Кроме того, компаниям следует принять меры, направленные на то, чтобы избежать пособничества в нарушении МГП и снизить риск, который их технологии могут представлять для гражданских лиц.

Взаимодействует ли МККК с технологическими компаниями, которые занимаются разработкой систем ИИ для использования в военных целях?

Да, МККК активно взаимодействует с технологическими компаниями и другими заинтересованными лицами, участвующими в разработке систем ИИ. Цель такого взаимодействия состоит в том, чтобы ознакомить компании с МГП, в том числе обсудить, каким образом их услуги и деятельность могут создавать риск причинения ущерба их сотрудникам, имуществу и клиентам. Кроме того, беседы касаются возможностей проектирования и доработки систем ИИ в целях содействия соблюдению МГП и уменьшения вреда гражданскому населению

Surveillance capacities of AI as used in warfare

Автономные системы вооружений

  • Автономные системы вооружений — это такие системы вооружений, которые способны после приведения в действие выбирать цели и применять к ним силу без дальнейшего участия человека. 

    Понятие «без участия человека» означает, что после того, как человек приводит систему в действие, она использует данные, полученные из окружающей среды через датчики, которые способны, к примеру, реагировать на тепло, свет, движение, форму, скорость и иные данные цели, и сверяет потенциальные цели с общим «портретом цели». Этот портрет может определяться на основе таких характеристик, как форма, инфракрасное излучение, эффективная отражающая поверхность или скорость военной техники.

    ИИ присутствует не во всех автономных системах вооружений. Такие системы варьируются от простых до очень сложных и работают с применением и без применения ИИ, в том числе машинного обучения (вид ИИ-системы, которая изучает закономерности на основе данных, а затем использует эти закономерности для выполнения определенной задачи). Система противовоздушной обороны может быть автономной, но обычно в этом случае используется простое программное обеспечение, основанное на заданных правилах, а не ИИ.

    МККК обеспокоен очевидной тенденцией к внедрению в автономные системы вооружений всё более сложных систем ИИ, что усугубляет опасения по поводу непредсказуемости результатов такой интеграции.

    Некоторые системы вооружений не являются автономными, но тоже включают ИИ: например, программное обеспечение может управлять такими функциями, как наблюдение или навигация. Система принятия решений на базе ИИ может предоставлять данные для системы вооружений, но сама по себе не являться автономной системой вооружений, если принятие решения остается прерогативой человека.

  • Автономные системы вооружений могут выбирать цели и атаковать без участия человека, что затрудняет пользователям прогнозирование результатов и оказание на них влияния. Такая непредсказуемость повышает риск неизбирательных или иных нападений, нарушающих международное гуманитарное право (МГП). Автономные системы вооружений испытывают затруднения с проведением различия между гражданскими лицами и участниками боевых действий, с пониманием того, что боец ранен или сдается, и с толкованием сложных ситуаций.

    Больше всего МККК обеспокоен развертыванием автономных систем вооружений в сложной обстановке, особенно в населенных районах, где отличить военные цели от гражданских лиц и объектов существенно труднее.

  • Да. Некоторые автономные системы уже используются вооруженными силами. В качестве примера можно назвать системы противоракетной обороны, установленные на военных судах, которые самостоятельно определяют и поражают приближающиеся ракеты. Такие системы обычно функционируют в контролируемой среде и нацелены на уничтожение четко определенных военных объектов. 

    Наметилась четкая тенденция к расширению автономности систем вооружений, и военные проявляют интерес к ослаблению ограничений, связанных с местом применения подобных видов оружия и возможными целями. Особое беспокойство вызывает у МККК перспектива появления автономных систем вооружения с интегрированным ИИ, который не позволит прогнозировать их действие и последствия, или систем, направленных на применение силы непосредственно против человека. Подобные системы создают неприемлемый риск для гражданских лиц, а также для раненых, больных, потерпевших кораблекрушение или желающих сдаться в плен участников боевых действий. 

    Автономные системы вооружений могут быть относительно недорогими и несложными в разработке. При существующем уровне развития технологий препятствия для их создания минимальны, что повышает риск их распространения.

  • Автономные системы вооружений для поражения живой силы — это вооружения, способные выбирать в качестве непосредственной цели людей и наносить по ним удары. 

    По мнению МККК, эти системы вызывают особое беспокойство, поскольку признаки, указывающие на статус человека в вооруженном конфликте, — например, готов ли он сдаться, ранен ли он или является непосредственным участником боевых действий, — в весьма значительной мере зависят от обстоятельств, в связи с чем его распознавание машинными средствами является чрезвычайно сложной задачей. Кроме того, этот статус может очень быстро меняться, а ошибки в его определении, как правило, влекут за собой трагические последствия.

    Таким образом, трудно представить себе реальную боевую ситуацию, в которой применение автономных систем вооружений против людей не создаст значительную опасность нарушения МГП.
    Кроме того, встает серьезный вопрос этического плана по поводу фактического делегирования машине вопросов жизни и смерти. Ценность, присущую человеческой жизни, способен признать и понять только человек.

    Процесс, лежащий в основе работы автономных систем вооружений для поражения живой силы, превращает людей в точки на графике. Это подрывает основополагающий принцип, запрещающий сводить человека к статусу объекта.

    Опыт применения других видов вооружений для поражения живой силы (например, противопехотных мин) показывает, что даже если в теории их можно использовать, не нарушая МГП, на практике так почти никогда не происходит. Следовательно, самым практичным и эффективным решением является их полный запрет, который обеспечит военным ясность и стабильность и гарантирует необходимую защиту участникам боевых действий и гражданскому населению.

  • Непредсказуемыми называют автономные системы вооружений, которые не позволяют пользователю-человеку понять, спрогнозировать и объяснить принципы и результаты их работы. В качестве примера можно привести автономные системы вооружений, в которые интегрирован ИИ, делающий их работу непрозрачной (проблема «черного ящика»).

    Фактически это приводит к утрате контроля над последствиями применения оружия, что делает его неизбирательным по самой своей сути.

  • Сейчас наблюдается явное давление в сторону повышения автономности систем вооружений и расширения спектра их рабочих характеристик. В отсутствие своевременного определения четких правовых и этических ограничений на мировом уровне возникает риск создания и распространения неприемлемых видов автономного оружия. При широком применении подобных вооружений снизить уровень угрозы для гражданских лиц и мировой безопасности будет гораздо сложнее.

    Седьмая конференция по рассмотрению действия Конвенции о запрещении или ограничении применения конкретных видов обычного оружия, назначенная на 16—20 ноября 2026 г., дает государствам чрезвычайно важный шанс начать переговоры по вопросу разработки нового юридически обязывающего документа, регулирующего автономные системы вооружений.
     

  • МККК призывает государства провести переговоры по вопросу разработки юридически обязывающего международного документа, регулирующего автономные системы вооружений и предусматривающего:

    •    запрет непредсказуемого автономного оружия — распространяется на автономное оружие, последствия применения которого невозможно прогнозировать или контролировать с достаточной степенью надежности, что с высокой вероятностью относится к системам, включающим в себя недетерминированные виды ИИ;
    •    запрет автономного оружия для поражения живой силы — распространяется на автономное оружие, предназначенное или применяемое для нанесения ударов непосредственно по людям;
    •    ограничение разработки и применения всех остальных видов автономных вооружений — касается типов целей, а также географического охвата, продолжительности, обстоятельств и масштабов применения таких вооружений.

    В 2024 г. МККК представил на рассмотрение Генеральному секретарю Организации Объединенных Наций свои соображения по поводу решения сопутствующих проблем и устранения опасений, которые вызывают автономные системы вооружений с точки зрения гуманитарных аспектов, права, безопасности, технологий и этики, а также по поводу роли человека в применении силы.

Системы принятия решений на базе ИИ

  • Эти системы анализируют большие объемы данных для содействия принятию решений в военной сфере, однако их использование сопряжено с риском ввиду принципов работы ИИ и дефицита качественных данных о конкретной обстановке в условиях вооруженных конфликтов.

    Кроме того, их использование вызывает вопросы, связанные с предвзятостью автоматизации — склонностью человека чрезмерно доверять рекомендациям или результатам работы машины, особенно в напряженной обстановке или в условиях дефицита времени. В связи с этим есть вероятность, что пользователи будут автоматически применять продукты деятельности ИИ, не пытаясь рассуждать самостоятельно.

    К тому же во враждебной среде неприятель может умышленно манипулировать наборами данных или воспользоваться уязвимыми точками системы.
    В результате применения подобных систем могут увеличиваться скорость и масштаб ошибок и возникать риск непреднамеренной эскалации, особенно если пользователи оказываются не в состоянии самостоятельно рассуждать.

  • При определенных обстоятельствах внимательное и ответственное использование систем принятия решений на базе ИИ может способствовать более оперативному и всестороннему анализу информации для принятия решений, которые в большей степени соответствуют МГП и минимизируют опасность для гражданских лиц. Например, применение систем принятия решений на базе ИИ может помочь в сборе и обобщении данных из открытых онлайн-библиотек документов о присутствии гражданских лиц и объектов или в расчете сил и средств, тактики действий посредством рекомендации на основе математических расчётов планируемой наступательной операции, позволяющих исключить или хотя бы минимизировать причинение вреда гражданскому населению. Эффективность любых подобных инструментов будет определяться присущими данной технологии ограничениями и упираться в наличие качественных данных. 

    В конечном счете влияние применения подобных технологий на гражданских лиц будет зависеть от того, как они будут разрабатываться, внедряться и использоваться.

    Важно отметить, что применение систем принятия решений на базе ИИ ни при каких обстоятельствах не может улучшить методику определения целей и другие стратегии, которые не соответствуют МГП по иным параметрам; задействование ИИ в таких условиях приведет лишь к повторению и с высокой вероятностью — к усугублению неправомерных и иных вредоносных последствий с более высокой скоростью и в большем масштабе.

  • МККК сформулировал 16 предварительных рекомендаций для уменьшения риска, сопутствующего применению систем принятия решений на базе ИИ в условиях вооруженного конфликта. В этих рекомендациях подчеркивается значение сохранения суждения и контроля со стороны человека. Среди ключевых мер можно отметить:

    •    тщательное проведение испытаний, оценки, проверки и утверждения, а также правового аудита; 
    •    использование надежных и качественных данных; 
    •    уменьшение риска предвзятости и дискриминации; 
    •    обеспечение значимого участия человека и возможности оспорить результаты работы ИИ;
    •    совершенствование обучения пользователей, в том числе повышение осведомленности о феномене предвзятости автоматизации;
    •    разбор результатов применения ИИ.

    Кроме того, МККК настаивает на том, что в некоторых сферах, таких как системы управления ядерными вооружениями или автономные системы вооружений, направленные на прямое поражение живой силы или порождающие непредсказуемые последствия, применение ИИ должно быть запрещено.

    Рекомендации основаны на человекоцентричном подходе и имеют своей целью обеспечить использование систем ИИ в качестве вспомогательного инструмента для принятия решений человеком, а не в качестве ограничителя или замены человеческого функционала.

ИИ и операции в киберсреде

  • Операциями в киберсреде называют действия, направленные на поражение компьютера, системы/сети или иного подключенного прибора через поток данных и представляющие собой средство или метод противостояния. Коротко говоря, это использование компьютерных мощностей для нанесения ущерба другой компьютерной системе, сети или данным.

  • Операции в киберсреде могут приводить к сбоям, отключениям или физическим повреждениям гражданских служб, гражданской инфраструктуры и гражданских данных. Они создают опасность травмирования и гибели людей, например при отключении медицинского оборудования в больнице, удалении данных или прекращении электроснабжения в результате таких операций.

    МГП налагает ограничения на проведение операций в киберсреде в ходе вооруженных конфликтов. МККК взаимодействует с государствами и объединениями хакеров в двустороннем и многостороннем формате, стремясь обеспечить такое толкование и применение действующих норм МГП, которое гарантирует достаточную защиту гражданских лиц, гражданской инфраструктуры и гражданских данных, в том числе в медицинских учреждениях и гуманитарных организациях. Однако, если действующие нормы МГП будут трактоваться таким образом, который нарушает защитную функцию МГП в информационно-коммуникационной среде, необходимо разработать дополнительные нормы для укрепления существующей нормативно-правовой базы.

  • Under IHL, technology companies and their employees are, prima facie, civilian objects and are protected against attack. Such protection can, however, be lost if the company’s personnel carry out certain activities or if the company’s property is used in certain ways. For instance, where specific tech company infrastructure or services are used by a warring party to make an effective contribution to military action and its total or partial destruction, capture or neutralization, in the circumstances ruling at the time, offers a definite military advantage to the adversary, it becomes a military objective.  

    The ICRC therefore encourages technology companies to carefully assess how their products and services might be used in armed conflict. Companies should also take steps to avoid contributing to violations of IHL and to mitigate the risks their technologies may pose to civilians.

  • Yes, the ICRC actively engages with technology companies and other stakeholders involved in the development of AI systems. These discussions focus on familiarising these companies with IHL, including how their services and activities may expose their staff, assets and customers to harm. They also focus on how AI systems can be designed and developed to better support compliance with IHL and reduce civilian harm.