常见问题:武装冲突中的人工智能决策支持系统
人工智能正日益被用于分析海量信息并为军事决策提供支持。尽管人工智能决策支持系统在某些情况下可能带来益处,但其在武装冲突中的使用也会带来严重风险,尤其是当人类过度依赖机器生成的结果时。
常见问题
-
这类系统通过分析海量数据为军事决策提供支持,但也带来了一系列风险,这是由于人工智能自身的运行方式,而且武装冲突中缺乏高质量、符合具体情境的数据。
此外,这类系统的使用还引发了“自动化偏差”问题,即人们过度信任机器生成的建议或输出结果,尤其是在高压环境或时间紧迫的情况下。这种倾向可能导致使用者不再进行独立判断,而是对人工智能生成的结果进行盖章式批准。
此外,在武装冲突等存在敌意的环境下,对手可能故意篡改数据或利用系统存在的漏洞。
这些系统可能放大错误的传播速度和规模,并增加风险意外升级的可能性,尤其是在使用者未能作出独立判断时。
-
人工智能决策支持系统的倡导者声称,这些系统能够加强对国际人道法的遵守,并将平民面临的风险降至最低。
在某些情况下,负责而谨慎地使用人工智能决策支持系统,有助于提升信息分析的速度和全面性,从而在支持决策的同时加强对国际人道法的遵守,并尽可能减轻平民风险。
例如,使用人工智能决策支持系统,能够协助收集在线开源信息库中有关平民和民用物体分布情况的信息并进行整合,或在武器选定方面提供支持,提出最能避免或至少尽量减少附带平民伤害的攻击手段和方法。不过,任何此类工具的有效性仍受技术本身固有局限性的影响,并取决于能否获取高质量的数据。
遗憾的是,在当今许多运用最先进武器和系统的冲突中,我们并未看到平民处境有所改善,反而见证了最广泛且不分皂白的破坏。新技术所宣称的优势并未带来更高的精准性、更好的区分能力和更充分的预防措施,反而将破坏加速、放大和升级,给平民带来了可怕的后果。
归根结底,使用人工智能决策支持系统对平民产生的影响,取决于其设计方式以及实际使用方式。
重要的是,人工智能决策支持系统的使用绝不能用于弥补那些本就不符合国际人道法的目标选择方法或其他政策。若在此类框架下应用,其结果只能是更快、更大规模地复制甚至加剧这些非法影响或其他有害影响。
-
为应对武装冲突中人工智能决策支持系统带来的相关风险,红十字国际委员会提出了16项初步建议。这些建议强调,必须确保人类始终保有判断权和控制权。其中,主要措施包括:
- 确保开展严格的测试、评估、核查与验证,以及法律审查;
- 使用可靠且高质量的数据;
- 降低偏差和歧视性结果的风险;
- 确保人类能够切实参与,并有权对人工智能的输出内容提出质疑;
- 加强使用者培训,包括针对自动化偏差问题的培训;
- 开展行动后评估。
红十字国际委员会还强调,必须禁止人工智能的某些用途,例如用于核指挥与控制系统,或用于直接以人为目标或会产生不可预测效果的自主武器系统。
这些建议遵循“以人为本”的原则,旨在确保人工智能系统为人类决策提供支持,而非予以削弱或取代。