图片
算法厌恶？公众对致命性自主武器系统的态度分析
图片
作者：Ondřej Rosendorf，查尔斯大学社会科学学院博士生，汉堡大学和平与安全政策研究所研究员；Michal Smetana，查尔斯大学社会科学学院副教授，布拉格和平研究中心主任；Marek Vranka，查尔斯大学社会科学学院助理教授，布拉格和平研究中心研究员。
来源：Ondřej Rosendorf, Michal Smetana and Marek Vranka, “Algorithmic Aversion? Experimental Evidence on the Elasticity of Public Attitudes to 'Killer Robots’,” Security Studies, Vol. 33, No. 1, 2024, pp. 115-145.
导读
致命性自主武器系统（Lethal autonomous weapon system）是一项重要但存在争议的军事创新。尽管先前的研究表明，部署此类“杀手机器人”将面临大量公众反对，但对公众态度在不同因素影响下的弹性变化仍然认识有限。基于此，本文旨在探讨公众态度对以下三个特定因素的敏感性：对技术本身事故频发性的关切、对不良后果责任归属的关切，以及对自动化杀戮本质上有失人类尊严的关切。通过对大量美国样本进行调查实验，研究者发现，公众对部署自主武器的态度与他们对自主武器相对于人工操作武器系统的攻击错误率认识显著相关。但是，关心人类尊严被侵犯并不一定直接导向反对“杀手机器人”。上述发现对于当前关于自主武器国际监管的政策辩论具有重要意义。
国家将技术进步运用于军事目的能力是国际关系中构成国家权力的关键要素之一。当前，人工智能、机器学习与自动化在全球军事创新中均处于领先地位。这些技术在军事领域中最突出且最具争议的应用之一是“致命性自主武器系统”，通常也被称为“杀手机器人”。这些武器系统如果被部署在战场后，可以在没有直接人工监督的情况下快速准确地定位并攻击目标。但是，致命性自主武器系统的出现伴随着严重的法律与伦理问题，国际社会已经就对致命性自主武器系统进行可能约束或者将其全面禁止展开了辩论。
与早期的人道主义裁军倡议类似，禁止致命性自主武器系统的倡导者认为将公众对此类武器系统的反对态度作为应当将其禁止的论据之一。但也有研究显示，当得知“杀手机器人”比其他武器类型具有更强的军事能力时，公众对致命性自主武器系统的反对态度会有所缓和。整体来看，当前政策制定者与相关研究者仍不清楚何种因素会影响大众对该系统的态度。
自主武器的出现
新兴技术如人工智能和自主机器对军事武器和当代战争的性质具有重大影响。虽然关于这些技术“革命性”影响的争论仍在继续，但对自主军事技术的日益增长的投资已经成为现实。
致命性自主武器系统的发展是当前军事创新领域中一个引人注目且富有争议的方向。简单来说，它可以定义为一旦启动后无需进一步人类干预即可选择并攻击目标的武器系统。也正是其在目标选择与攻击上的自主性，使其区别于人类保留对目标选择与攻击决策权的武器系统。
致命性自主武器系统的发展兼备收益与风险。一方面，人们认为自主武器能够有助于在战争中获得速度优势，减少人员需求，并且降低对通信链路的依赖。同时，如远程控制无人机一样，自主武器还能够降低人类士兵面临的风险。另一方面，机器的决策速度与自主攻击设置，意味着军事人员会较少介入期运作过程，这可能导致事故或冲突升级。同时，自主决策系统的不可预测性与非人性将构成对国际人道法挑战，因为致命性自主武器系统无法理解人类生命的价值与剥夺一个人生命的真正意义。
自2013年以来，关于自主武器以及其他军事挑战的国际讨论就一直在联合国《关于某些常规武器的公约》（CCW）上进行。2016年，CCW缔约国成立了政府专家组（GGE）以制定关于如何解决致命性自主武器系统问题的建议。但由于国家对此问题的关注点不同（一些国家关注利好，一些国家关注人道主义影响），GGE并未在此问题上取得实质性进展，但国际社会始终没有停止对自主武器的关注，许多非政府组织也正围绕这一问题展开工作。
致命性自主武器系统在政治和军事目的上的效用，在某种程度上将取决于它们的公众接受度。主张禁止致命性自主武器系统的人援引1977年《〈日内瓦公约〉附加议定书》马顿斯条款，认为其属于违反“公众良心”的战争手段和方法。尽管目前国际社会对该条款的解释存在差异，但回溯过往国际谈判案例，确实有过将公众良心这一因素纳入考量以禁止武器系统投入使用的先例。
算法厌恶
从诊断复杂疾病到法律咨询，算法在很多领域中实际上已经优于人类决策者。但是，即使后者的决策在客观上是较差的，公众仍常常拒绝算法决策而偏爱人类专家。例如，在医疗诊断领域，患者更倾向于尊从人类医生的建议，因为他们认为算法无法考虑到他们的“独特情况”。现有研究也的确表明，人类倾向于抵制致命性自主武器系统。据统计，大约55%的美国成年人反对使用致命性自主武器系统。民调公司Ipsos代表人权观察组织进行了几次跨国调查，结果显示全球约61%的参与者对“杀手机器人”持反对态度。近期对美国的人工智能和机器学习研究人员及地方官员的调查结果也体现出了对致命性自主武器系统的潜在厌恶。
尽管所有这些发现都表明公众对致命性自主武器系统有强烈的反感，但这一结论仍不明确。参与者可能反映只是和平主义态度，而非对自主武器本身的真正厌恶。目前已有研究证明，当公众了解到“杀手机器人”在军事效用上明显优于其他选项时，其反对意见会显著减弱。
基于此，本研究将讨论国际上关于规范致命性自主武器系统辩论中的三个潜在核心因素：结果主义——对自主技术发生事故的担忧；法律空白——机器无法为误伤承担责任；伦理风险——让机器决定人类生死有违人类尊严。同时，本文也对“或然性担忧”与“固有性担忧”做出了区分，前者主要基于当前自主武器技术的局限性（如该系统无法正确区分合法目标与非法目标）。后者则是基于某些独立于技术进步的原因，如自动化杀戮的固有不道德性。责任归属类担忧则处于两者之间。
如果公众态度主要受“或然性担忧”驱动，那么随着技术发展，公众对致命性自主武器系统的态度可能变化。如果受“固有性担忧”驱动，无论技术如何进步，公众对该系统的态度都不太可能变化。
（一）易出事故
根据保罗·沙尔（Paul Scharre）的观点，人类对自主机器有两种基本直觉。一种是乌托邦式的直觉，认为自主系统是一种可靠、安全且精确的人类操作系统的替代方案。另一种是末日式的直觉，认为自主系统容易失控并犯下灾难性的错误。事实上，后一种信念的普遍存在。基于对自主系统可预测性和可靠性的怀疑，以及在流行文化中接触到“机器人末日”想象，公众会因此形成对使用致命性自主武器系统的厌恶。
这部分担忧并非毫无根据。世界各国的军队已经在应对高度自动化系统方面面临诸多挑战，如几起爱国者导弹防御系统的友军误伤事件。在这些事件中，系统错误地将友军飞机识别为敌方导弹。
这些技术限制对于在战场上维护基本的伦理标准可能具有深远影响。从国际人道法的角度来看，能否确保遵守区分原则可能是致命性自主武器系统面临的最具挑战性的问题。但到目前为止，科学家尚未开发出能够像人类判断那样区分合法与非法目标的技术。在现代战场环境中，这种技术局限尤其令人担忧，因为环境中通常同时存在着战斗人员和平民，且存在交战方蓄意混淆其法律身份的可能。
然而，此类挑战在技术上具有或然性。原则上，技术进步最终可能使致命性自主武器系统能够像人类操作系统一样区分合法和非法目标。未来，自主武器甚至可能比人类更具有区分能力，因为它们可以配备广泛的传感器进行战场观察，并且以远超人类的速度进行数据处理，在战场高压情况下也不会人为因素（如情绪）的影响。
无论致命性自主武器系统最终是否能够证明其在目标区分方面更可靠，公众对其认知仍可能相对于事实发展存在“滞后性”，即受到之前该系统相对于人类易出错的信念的影响。同时，实验心理学领域的证据进一步表明，人们对机器所犯错误的容忍度要远远低于对人类所犯错误的容忍度。因此，假设公众对“杀手机器人”的态度受到对技术易出错性的现有信念的影响，本研究预计，向公众呈现自主系统使用比人类操作系统具有较低的目标误识别风险情景，将增加对致命性自主武器系统的支持：
假设1: 相对于人类操作系统，如果致命性自主武器系统的目标误识别风险较低，公众对该系统的支持将增加。
（二）责任漏洞
对致命性自主武器系统的另一个反对意见是将导致明显的“责任漏洞”。此观点认为，将该系统应用于战场可能会使对不良结果（如致命事故或明显的战争罪行）追责变得极其困难。让处于决策链中的人对他们无法控制或预见的结果负责是不公平的，但同时我们也无法要求机器本身负责，因为它缺乏这种责任的道德代理能力。因此，责任漏洞的出现实际上对国际人道法构成了潜在挑战。一些学者甚至认为，如果致命性自主武器系统的性质造成对其不良后果的追责困难，那么在战争中使用该系统就无法得到道德上的允许。
现有的调查表明，责任可能是广大公众关注的问题。2020年Ipsos调查结果显示，大约有53%反对开发和使用致命性自主武器系统的人认为这些系统将导致责任漏洞。基于此，本研究希望通过向参与者提供一个明确由军方领导层承担这种责任的情景，探究在明确将潜在责任归于军方领导层时，公众态度会如何变化。基于现有调查数据，本研究假设，当公众了解到军方领导层将为致命性自主武器系统导致的不良后果承担责任后，对部署致命性自主武器系统的支持会增加：
假设 2：如果公众知道军事决策链中存在对致命性自主武器系统不良后果负责的军官，他们对该系统的支持将增加。
（三）人类尊严
一个无法通过技术进步解决的固有性问题是，使用自主机器杀死人类将对人类尊严构成侮辱。致命性自主武器系统将人类视为简单的目标或数据点并对其实施打击，违反了基本的人类尊严权利，即禁止将人类视为简单物体。
但将“人类尊严”论点引入对是否应允许部署该系统的讨论仍存在争议，许多专家认为“人类尊严”是一个具有争议且模糊的概念。批评者通常用结果主义论据来反驳，即对尊严的担忧最终将被提高军事效能和降低目标误识别风险的利好所抵消。
尽管人类尊严论的逻辑连贯性存在争议，但它仍强调道德本能也是驱动公众厌恶“杀手机器人”的潜在因素之一。2020年Ipsos调查显示，在反对致命性自主武器系统的参与者中，约有66%的人认为将致命决策委托给机器会“越过道德红线”。基于此，本研究认为，如果道德本能在塑造公众对“杀手机器人”的态度中有所作用，那么个人对侵犯人类尊严的敏感程度与他们对致命性自主武器系统的支持程度之间就将存在负相关性：
假设 3：更关注侵犯人类尊严问题的个人更不可能支持致命性自主武器系统。
实验设计与发现
为了测试这些因素是否以及如何影响公众对致命性自主武器系统的支持度，本研究进行了一项针对999名美国公民的调查实验。研究者将参与者随机分配到五个存在差异的假设情景中。该假设情景描述一个联合国授权的反叛乱行动，在这个情景中，指挥官决定是否部署人工遥控或自主无人机来消除叛乱威胁。在实验设计中，在每种无人机选项的目标误识别风险和对潜在平民死亡的责任归因方面有所不同。为了衡量对参与者对该系统的支持程度，研究者要求参与者表明他们更偏好人工遥控还是自主无人机。此外，研究还包括了一个开放式问题，以调查参与者选择偏好背后的原因。在对同一批参与者进行的后续调查中，研究者还检验了他们对侵犯人类尊严的敏感度。
通过在线调查平台Prolific，研究员对999名美国成年公民进行了调查，调查时间为2022年6月7日至6月9日。调查美国公众具有明显的政策相关性，因为美国目前在开发此类技术方面的处于领导低位。为了增加样本的代表性，本研究对性别和党派认同（共和党、民主党和独立派）进行了配额处理，因为Prolific平台倾向于吸引男性、年轻的、立场更倾向于自由派的且受教育程度较高的参与者。
（一）易出事故
数据处理结果显示，向公众呈现自主无人机相对于人工操作系统更不容易错误地将平民误认为目标的情景，显著增加了他们对致命性自主武器系统使用的支持。因此，公众对该系统的态度似乎取决于相对目标误识别风险的认知。此外，根据参与者在开放式问题回应中对关于技术和算法在区分平民与目标方面能力不足的担忧表明，对技术的怀疑可能是导致公众对“杀人机器人”厌恶的主要驱动因素之一。调查结果进一步证实了这一点，即公众普遍认为自主无人机的风险更高，而这些信念影响了他们的偏好。
（二）责任漏洞
总体来看，研究者没有发现支持假设2的实验证据，告知参与者指挥链中有负责的军官并没有增加参与者对致命性自主武器系统的支持。此外，在对开放式问题的回答中，很少有参与者提到责任方面的担忧，这表明对由自主无人机造成平民死亡的责任问题并不会自动出现在普通公民的脑海中。零结果不应被解释为公众对责任问题完全不关注。当被问及对遥控或自主无人机造成的平民死亡是否更难以对某人进行法律与道德上的追责时，大多数人都意识到“杀人机器人”可能给此问题带来更大的挑战。但是，即使个人持有“致命性自主武器系统将导致对不良后果追责困难”的信念，仍然不会使其更可能或更不可能支持对该系统的假设使用。
（三）人类尊严
调查显示，尽管一些参与者担心将杀人决定交给算法是不道德的，但他们并不一定认为此类担忧与侵犯人类尊严有关。虽然有相当数量的受访者（41%）表示，被自主无人机的计算机程序杀死比被操纵遥控无人机的人杀死更不合伦理，但绝大多数受访者（71%）在涉及人类尊严时，认为这两种无人机没有区别。这表明参与者认为致命性自主武器系统的使用与人类尊严问题无关或仅有非常小的关联。虽然研究发现，对人类尊严侵犯更敏感的个体平均来看更反对使用该系统，但这些态度仍然在很大程度上取决于其他因素，特别是目标误识别的风险。当受访者意识到自主无人机比使用遥控无人机有更低的击中错误目标的风险时，他们对该系统的厌恶程度较低。此外，对照组中的开放式回答表明，虽然对“杀人机器人”的普遍厌恶可能部分受到对自动化杀戮不道德性的认识的影响，但参与者并没有将此类担忧理解为对人类尊严的侵犯，且绝大多数人认为被人工遥控或自主无人机杀死是同样不体面的。
结语
本文期望通过考察公众对“结果主义——自主武器的易错性”、“法律关切——误伤追责”与“伦理关切——机器杀人”这三种目前国际上针对此问题展开辩论时明确的核心关切的敏感性，对当前国际上关于致命性自主武器系统的政策辩论具有重要意义。
首先，本研究发现，尽管公众对致命性自主武器系统的基准厌恶程度非常高，但公众态度也具有相当的弹性。公众对这些武器系统的反对态度在很大程度上取决于它们相对于人操作系统的出错概率。在开放性问答中参与者频繁提到的对技术水平不足的担忧，以及对风险估计的补充调查结果，都表明认为技术易错的信念可能是导致公众对该系统基准厌恶的主要驱动因素之一。此外，本研究没有发现支持明确提及指挥责任可以减轻对致命性自主武器系统反对的证据。最后，关于自动化杀戮不体面性的固有性担忧会增加公众对这些系统的反对这一假设，本研究只发现了十分有限的证据。平均而言，对人类尊严更关注的参与者更不偏好使用该系统。然而，额外分析显示，当遥控无人机相对于自主无人机的误判风险较高（即使是略高）时，对人类尊严敏感的参与者也倾向于选择后者。
综上，本研究对当前国际社会在限制或禁止致命性自主武器系统的问题上具有明显意义。研究显示自致命性自主武器系统如果能够通过技术改进提高该系统识别目标的精准度，甚至最终超越人工操作武器系统，那么对于该系统的限制与禁令可能就无法长期持续。因为如果最终证明致命性自主武器系统在目标识别方面比人工系统更可靠，公众对该系统的态度会出现较大转变。
但这一发现并不意味着当前国际监管没有价值。首先，目前没有任何人能保证技术将发展到足以胜过人类决策者的程度。其次，本研究在公众对侵犯人类尊严敏感性问题上的发现表明，至少仍有部分对致命性自主武器系统的厌恶受到固有性担忧的影响。因此，基于该系统易错性以论证国际社会应对其加以约束与限制在短期内是有效的，可以动员公众支持相关监管措施落实，但这样的框架策略仍然容易受到技术变革引起的公众舆论变化影响。将该系统固有不道德性与易出错性相结合以动员公众支持的监管措施最有利。
词汇积累
Lethal Autonomous Weapon Systems
致命性自主武器系统
International humanitarian law（IHL）
国际人道主义法
The Convention on Certain Conventional Weapons （CCW）
《特定常规武器公约》
译者：张学玉，国政学人编译员，南开大学外国语学院。
校对 | 王京 张倍祯
审核 | 李源
排版 | 张嘉益
本文为公益分享，服务于科研教学，不代表本平台观点。如有疏漏，欢迎指正。
图片
本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。比较好的股票配资提示：文章来自网络，不代表本站观点。
