关于军事领域人工智能的常见问题解答

自主武器系统，是指一旦启动便能在无需进一步人为干预的情况下，选择目标并对其使用武力的武器系统。

“无需进一步人为干预”，是指在操作人员启动系统后，该系统能够利用传感器从周围环境中获取信息，例如探测热量、光线、运动、形状、速度或其他信号，并将潜在目标与概括性的“目标描述”进行匹配，例如军用车辆的外形、红外或雷达特征，或运行速度等。

并非所有自主武器系统都采用人工智能技术。 这类系统可能相对简单，也可能高度复杂；它们可能依赖或不依赖人工智能，包括机器学习（作为一种人工智能系统，其特点是能够从数据中学习规律，并利用这些规律完成特定任务）。例如，防空系统可以被视为自主武器系统，但这类系统通常使用基于规则的软件，而非人工智能。

红十字国际委员会对于将日益复杂的人工智能纳入自主武器系统这一明显趋势深表关切，这可能进一步加剧对系统效果不可预测性的担忧。其他一些武器系统虽然采用了人工智能技术，但并不属于自主武器系统。例如，软件可能仅用于执行监视或导航等功能。而人工智能决策支持系统可以为武器系统提供信息输入，但只要最终决策仍由人类作出，该系统便不属于自主武器系统。

自主武器系统能够在无需人为干预的情况下选择目标并对其使用武力，使用者因此难以预测和控制后果。这种不可预测性增加了国际人道法下发生不分皂白的攻击或其他违法攻击的风险。自主武器系统难以区分平民与战斗员、识别受伤人员或投降的士兵，或解读复杂情境。

红十字国际委员会尤其担忧自主武器系统在复杂环境中的部署和使用，特别是在人口稠密地区。在此类环境下，区分军事目标与平民及民用物体的难度显著增加。

是的。 目前，武装部队已在使用某些自主武器系统。例如，军舰上的反导防御系统能够自主探测并拦截来袭导弹。这类系统通常在相对可控的环境中运行，其攻击对象也通常是界定明确的军事目标。

当前，武器系统向更高自主化方向发展的趋势显而易见。与此同时，军方似乎也日趋倾向于放宽对此类武器使用地点及使用对象的限制。红十字国际委员会对两类自主武器系统的前景尤为关切：一类系统采用人工智能技术，导致其运行方式及使用效果难以预测；另一类系统则在设计之时直接将人作为攻击目标。这些系统给平民和受伤、患病、遭遇船难或投降的战斗员带来了不可接受的风险。

此外，自主武器系统通常成本较低且易于开发。现有技术条件使得打造此类系统几乎没有什么阻碍，这进一步加大了其扩散的风险。

杀伤人员自主武器系统是指能够直接选择并攻击人类的武器。

红十字国际委员会认为，这类系统尤其令人担忧，因为在武装冲突中，表明一个人身份地位的各种信号——例如，此人是否投降、是否受伤，或是否直接参与敌对行动——高度依赖具体情境，因此机器系统极难准确识别。此外，一个人的身份地位可能在短时间内迅速发生变化，一旦判断错误，往往会造成悲剧。

因此，很难设想在现实作战环境中，使用针对人员的自主武器系统不会带来违反国际人道法的重大风险。

此外，将关乎生死的决定实际上交由机器作出，还涉及深刻的伦理关切。唯有人类才能认识和理解生命的内在价值。

杀伤人员自主武器系统的运行过程是将人简化为数据点。这与任何人都不应被物化这项基本原则相悖。

其他杀伤人员武器（如杀伤人员地雷）的使用经验表明，即使这类武器理论上可以按照国际人道法的要求使用，但在现实中，往往并非如此。因此，全面禁止此类武器是最为务实且有效的解决方案。这样既能够为军队提供明确且可靠的规范，也能够为战斗员和平民提供必要的保护。

不可预测的自主武器系统指的是那些人类使用者无法理解、预测或解释其运行方式及使用效果的系统。例如，当自主武器系统以某种方式融入人工智能技术，导致其运行过程变得不透明时（即所谓“黑箱”问题），就可能出现这种情况。

这实际上意味着人类无法有效控制该武器的使用效果，从而使其在本质上具有不分皂白的特性。

显而易见的是武器系统正朝着更高自主化方向发展，其使用范围也在不断扩大。如果国际社会未能及时采取行动，划定明确的法律与伦理边界，不可接受的自主武器系统便可能被研发出来并广泛扩散。一旦大规模部署，这类武器对平民及全球安全所造成的风险将更加难以控制。

将于2026年11月16日至20日召开的《特定常规武器公约》第七次审议大会，为各国启动谈判提供了一次重要契机，以制定一项具有法律约束力的新文书来规范自主武器系统。

关于自主武器系统，红十字国际委员会呼吁各国通过谈判制定一项具有法律约束力的国际文书，以实现以下目标：

• 禁止不可预测的自主武器系统：即无法充分预测或有效控制其使用效果的自主武器系统，在使用非确定性人工智能的系统中尤其如此。
• 禁止杀伤人员自主武器系统：即在设计上或实际使用中直接以人为攻击目标的自主武器系统。
• 限制其他所有自主武器系统的研发和使用：包括限制其可攻击目标的类型，以及限制其使用的地理范围、持续时间、适用情境和规模。

2024年，红十字国际委员会向联合国秘书长提交了意见文件，供其审议如何应对自主武器系统在人道、法律、安全、技术和伦理等方面所引发的挑战与关切，以及人类在武力使用中的作用。 红十字国际委员会向联合国秘书长提交的自主武器意见文件（英文）

这类系统通过分析海量数据为军事决策提供支持，但也带来了一系列风险，这是由于人工智能自身的运行方式，而且武装冲突中缺乏高质量、符合具体情境的数据。

此外，这类系统的使用还引发了“自动化偏差”问题，即人们过度信任机器生成的建议或输出结果，尤其是在高压环境或时间紧迫的情况下。这种倾向可能导致使用者不再进行独立判断，而是对人工智能生成的结果进行盖章式批准。

此外，在存在敌意的环境下，对手可能故意篡改数据或利用系统存在的漏洞。

这些系统可能放大错误的传播速度和规模，并增加风险意外升级的可能性，尤其是在使用者未能作出独立判断时。

在某些情况下，负责而谨慎地使用人工智能决策支持系统，有助于提升信息分析的速度和全面性，从而在支持决策的同时加强对国际人道法的遵守，并尽可能减轻平民风险。例如，使用人工智能决策支持系统，能够协助收集在线开源信息库中有关平民和民用物体分布情况的信息并进行整合，或在武器选定方面提供支持，提出最能避免或至少尽量减少附带平民伤害的攻击手段和方法。不过，任何此类工具的有效性仍受技术本身固有局限性的影响，并取决于能否获取高质量的数据。

归根结底，使用这些技术对平民产生的影响，取决于其设计方式以及实际使用方式。

重要的是，人工智能决策支持系统的使用绝不能用于弥补那些本就不符合国际人道法的目标选择方法或其他政策。若在此类框架下应用，其结果只能是更快、更大规模地复制甚至加剧这些非法影响或其他有害影响。

为应对武装冲突中人工智能决策支持系统带来的相关风险，红十字国际委员会提出了16项初步建议。这些建议强调，必须确保人类始终保有判断权和控制权。其中，主要措施包括：

• 确保开展严格的测试、评估、核查与验证，以及法律审查；
• 使用可靠且高质量的数据；
• 降低偏差和歧视性结果的风险；
• 确保人类能够切实参与，并有权对人工智能的输出内容提出质疑；
• 加强使用者培训，包括针对自动化偏差问题的培训；
• 开展行动后评估

红十字国际委员会还强调，必须禁止人工智能的某些用途，例如用于核指挥与控制系统，或用于直接以人为目标或会产生不可预测效果的自主武器系统。

这些建议遵循“以人为本”的原则，旨在确保人工智能系统为人类决策提供支持，而非予以削弱或取代。

 “网络行动”是指在武装冲突背景下作为作战手段或方法而使用的，通过数据流对计算机、系统/网络或其他互联设备开展的行动。简而言之，就是利用计算机对其他计算机系统、网络或数据造成损害的行为。

网络行动不仅可能扰乱民用服务、基础设施和数据，还可能造成其瘫痪或遭受物理损害。此类行动也可能造成人员伤亡，以医院为例，当网络行动导致医疗设备失灵、数据丢失或电力中断时，就可能造成此类后果。

国际人道法对武装冲突中的网络行动施加了限制。红十字国际委员会通过双边和多边方式与各国及黑客团体开展合作，确保对现有国际人道法规则的解释与适用能够充分保护平民及民用基础设施与数据，包括医疗机构和人道组织。然而，若现行国际人道法规则在信息与通信技术领域的解释方式削弱了其保护功能，则有必要制定额外规则，以强化现有法律框架。

根据国际人道法，科技企业及其员工原则上属于民用物体和平民，应受保护免遭攻击。 然而，如果企业人员从事某些特定活动，或企业财产被用于特定用途，这种保护可能会丧失。例如，当科技企业的特定基础设施或服务被冲突一方用于对军事行动作出实际贡献，并且在当时的具体情况下，对其全部或部分毁坏、缴获或使其失去效用，能够为对方带来明确的军事利益时，该基础设施或服务即可构成军事目标。

因此，红十字国际委员会呼吁科技企业认真评估其产品和服务在武装冲突中可能被应用的方式，并主动采取措施，避免助长违反国际人道法的行为，最大限度降低其技术可能给平民带来的风险。

是的。红十字国际委员会正积极与科技企业及其他参与人工智能系统研发的利益相关方开展交流，旨在帮助这些企业了解国际人道法，明确其服务及业务活动可能使企业员工、资产与客户面临的伤害。同时，这些交流也聚焦于如何通过人工智能系统的设计与开发，更好地促进国际人道法的遵守，并减少对平民的伤害。