关于致命自主武器系统的专家会议

2017-11-15

红十字国际委员会欢迎政府专家小组关于"致命自主武器系统"的第一次会议。随着《某些常规武器公约》的缔约国开始进行更正式的讨论,人们期待各国可以寻求并扩大共识,例如对武器系统和武力使用必须保留人类控制这一点达成广泛共识。

红十字国际委员会认为,各国现在必须致力于对武器系统的自主性施加限制,以确保其符合国际法并消除伦理方面的担忧。

在确定这些限制时,红十字国际委员会深信必须始终关注人类在武力使用的决策中的义务和责任。有鉴于此,红十字国际委员会提议各国评估使用自主武器系统时所需的人类控制的类型和程度(自主武器系统在广义上是指在选择和攻击目标的关键功能上具有自主性的武器),以确保其符合国际法并在人道原则和公众良心要求下具有可接受性。

从国际人道法的角度来说,规制敌对行动的规则显然是用以规范那些计划、决定和执行攻击的人。这些规则适用于所有攻击,不论所使用的手段或方法为何,它们为人类战斗员规定了义务,即必须尊重这些规则。这些法律义务以及由此产生的责任,不能转移给机器、电脑程序或武器系统。

红十字国际委员会认为,遵守这些法律义务要求战斗人员在武装冲突中进行攻击时对武器系统的使用保有最低限度的人类控制。

通过研究对自主武器系统进行人类控制的方式(按照红十字国际委员会提出的广义上的定义),可以得知下列人类控制的关键要素有助于确保遵守法律:可预测性;人类监督以及干预能力;各种操作限制,包括对任务、目标类型、使用环境、运行时间和活动范围的限制。

有意义的、有效的或适当的人类控制还要求操作人员充分了解并理解武器系统及其使用环境,以及它们之间的相互作用。

这些人类控制要素十分必要,可以将人类指挥官或操作人员的决策(该决策必须遵守国际人道法和其他可适用的国际法规定)与使用武器系统进行特定攻击的结果联系起来。需要某种程度的人类控制表明,国际人道法对武器系统自主程度的合法性有所限制。

人类控制的必要性还引发了对武器系统设计过程中可能导致不可预测性的技术方面的担忧。尤其是在目标打击过程中使用人工智能机器学习算法会引起最基本的法律方面的关切,即从某种程度上说,它们的运行和产生的结果本质上就是不可预测的。

最近几个月,红十字国际委员会进一步评估了自主武器系统涉及的伦理问题;红十字国际委员会于2017年8月主持召开了一次小型的专家圆桌会议,并在2014和2016年与各国共同举办的专家会议成果的基础上得到进一步发展。人道原则和公众良心要求为这些讨论提供了伦理方面的指南,也支持着红十字国际委员会呼吁对武器系统的自主性施加限制。

或许自主武器系统引起的最严重的伦理问题既不在于其部署环境是武装冲突还是和平时期、也不在于所涉技术是否复杂,问题的关键是在作出生杀予夺和摧毁的决定时人类作用及责任的丧失。

既然作出生杀予夺和摧毁决定的道德责任不能授权给机器,那么从伦理角度来说,有意义的、有效的或适当的人类控制就是在此类决策中可以保留人类作用及责任的控制类型和程度。

随着武器系统自主性的日益增强,可能出现这样一种情况,即无论在时间还是空间上,选择和攻击目标的行为都不再需要人类介入了,电脑控制的程序有效地取代了人类决策,事关生死的决定也让渡给机器。这引发的深刻伦理问题有关人类在使用武力和剥夺生命方面的作用和责任,这已超出了是否符合国际人道法的范畴。至于公众良心,对于任何可以将武力使用置于人类控制之外的武器系统,人们都会深感不安。

鉴于这些法律和伦理问题,以及机器人和人工智能领域技术的迅猛发展及其目前在武器系统上的应用,红十字国际委员会敦促即将出席本次政府专家小组会议的国家致力于对武器系统的自主性加以限制,使人类全权负责作出使用武力的决定。

我们期待在专题会议期间进一步阐述我们的观点。