产生上述问题的一个原因在于,智能战争时代“人与非人”关系的提出对西方人格观念构成了挑战,使我们必须接受人的存在依赖于其他生命与其他非人类个体这一事实。在许多军事场景中,这种相互依附的人机关系则更为明显,许多复杂无人机群空中、陆地和海上平台设计与使用的文献中都体现了这一点。
澳大利亚国防军在2020年出版的《机器人与自主系统概念》文件中指出:“国防需要一个概念来确定如何利用机器人与自主系统(Robotic and Autonomous Systems)来实现战略性颠覆。”所谓实现战略性颠覆,便包含着“人类与机器人智能体之间协作完成共同任务”的目标。但此目标基于对人际关系上的特定理解,即机器人不是利益相关者而是人类的辅助,团队合作结果的责任需由人类承担。但随着新技术的出现,人机协作的架构正在发生改变,因此,本文提出研究问题:人机关系的性质是否会发生变化?这种变化又如何作用于军事的战略战术层面?
技术与经济发展趋势正在初步融合并催生新的机器人能力与技能,而这也将推动新科技在军事中的应用。澳大利亚国防军上校Reid进一步确认了这一点,他指出“人工智能等技术最初由商业部门开发并主要面向商业应用,但随着其在军事应用中展现出越来越大的潜力,全球各国的武装部队均开始发展初步的人工智能驱动防御系统,并尝试确定如何使其更好的完成作战或维护和平的任务。”
但人工智能对军事力量的重要意义并非形成于朝夕之间。实际上,人工智能领域发展一直都受到军事支持的强力引导,同时也会受到军事发展优先事项的影响,并非完全由私营部门而推动。因此,人工智能和机器人技术的快速发展事实上深深扎根于军事研究机构之中,而这种发展脉络对于理解人机关系来讲是不可忽视的。Crawford在《人工智能地图集:权力、政治和人工智能全球成本》一书中指出,军事力量对人工智能技术发展进程的参与,使人工智能的整体逻辑中融入了某种类型的分类性思维——诸如“目标”、“资产”、“异常检测”等具有明确战场导向(battlefield-oriented)的术语到更微妙的低、中、高风险分类,这些概念驱动着人工智能研究,同时也创造出了人工智能技术的认识论框架,并影响着工业界和学术界。
此外,Pagel与Krishtein在著作《机器梦境与意识》中指出,当前神经科学与计算机科学的发展正处于一个交汇点,而这一瓶颈阻碍了人工智能和机器人系统的发展。当这些系统实现与人类的互动和思考能力,但却面临着各种限制和边界。例如,利用数学逻辑进行编程的系统在与人类常识现实的互动方面存在困难,表现为难以在无清晰逻辑的情况下正常运行。如果想实现在人类常识性世界中的运转,这些系统就必须表现的更像生物系统而不是参数化计算器。
问题便产生于此:人类应当如何与机器人队友互动并对其进行监督?正如Pagel和Krishtein所指出的,目前最先进的计算系统所具有的“参数化计算器”与人类之间的绝对差异并未被弥合,这就要求人类需要具备从“参数化计算器”角度进行思考的能力。结合Crawford的发现,就要求人类具备一种“分类性思维”并能够对自身角色进行某种程度的简化。
Peter Singer在《网络战争》一书中对未来军事行动中机器人普及的可能性做出了警告,到2018年已经有人认为军事机器人将成为21世纪国际冲突的一部分,而那些具有自主作出致命决定能力的军事机器人将永久改变人类的战争形态。
何为“永久改变”,而如果这些改变成为现实,武装冲突的伦理与法律又将发生何种变化?人工智能革命使机器具备认知能力成为可能,而为了实现“战略性颠覆”,全球的军事专业人士都对开发和部署此类技术和机器充满热情。虽然目前已经有某些包含人工智能技术和其他自主性技术的应用在军事领域被成功应用,但当我们谈及“智能”(Intelligent)和“认知化”(cognitized)机器概念是仍需要进行更谨慎和细致的辨析。
首先,机器目前并不能达到剑桥词典所定义的“认知”(cognition),即使用有意识的心理过程。兰德公司在“人工智能军事应用”报告中对“cognition”提出了质疑,但却选用了另一个并不完美的定义:“计算机系统执行通常需要人类智力(human intelligence)的任务的能力”。但这又引出了新的问题,即如何理解“人类智力”,是应当从脑科学的生物学角度切入,还是从人类学的涉及文化的角度切入?当我们提及“intelligence”一词时,实际上应用的还是一种混合定义。
此外,“自主性”(autonomy)也是一个具有问题的术语。兰德公司的报告将“自主性”定义为“如果某个执行任务的实体被赋予在无规则和无边界限制下的行动权力,这就能够被描述为完全‘自主’”。Autonomy源于希腊语αὐτο(auto,“自我”)和νόμος(nomos,“法律”),意为“为自己立法者”,实际上凸显了自主武器系统可能脱离人类控制并“自为法则”这一问题,这也是人类对致命性自主武器系统的恐惧所在。国防科学委员会(DSB)在报告中指出了这一点,并明确应当将“自主性”理解为“人类-系统协作的结果”,明确了预设意图和自生成意图的区别。
因此,当我们谈论人工智能时更多提到的是人工智能在遵循“预设意图”完成任务时可能具有超越人类的能力,但人工智能所表现出的“智能”并非人类智力。许多试图说明人工智能军事技术在战争场景中比人类表现更好的案例也具有一定误导性,例如论证在高速/高强度空对空作战中无人作战系统能够超越人类智能,实际上忽略了人类飞行员在这一情景下认知和生理上受到多重限制的事实。
与人工智能及战争背景下的“人际关系”相关的文献中,另一个常见问题是对相关技术的刻意拟人化。人形特征与类人属性常被视为将机器人整合入人类社会环境的惯用策略,因此在面对人工智能时,许多人主张的终极目标也是建立一个完全拟人化的“合成人类”。在50年代,阿兰·图灵曾主张通过机器模仿人类的方式来评估机器的智能,另一位计算机科学家利克莱德(Licklider)则提出了“人机共生”和“人机系统”模式,通过使计算机有效参与问题解决来拓展人类能力的边界。
在军事人工智能不断发展的今天,图灵与利克莱德的对技术的畅想仍然影响着我们。图灵通过模仿人类智力的方式助长了机器行为接近人类智力的错觉,以此来弥合人与机器之间的鸿沟,利克莱德则设想了一种“社交平面”环境,使人类和机器可以在这一层面上互动。然而,无论是在军事领域还是民用领域,当我们试图实现利克莱德的愿景时,却总会走上图灵的路径。
使用拟人化范式来增强机器人的功能性和行为特征,的确能使我们能够更容易理解并合理化机器行为,但这种方法也伴随着危险。在军事造作环境中,将武器拟人化会助长将“能力”与“智能”混为一谈的倾向,会使我们倾向于夸大相关系统和技术的性质,并用一种比实际情况更具推测性的方式评估战争条件下人机关系的新兴特质。
鉴于人工智能、可信自主系统和无人平台将在维护可信威慑能力优势方面发挥至关重要的作用,澳大利亚国防学院在2019年对军官学员和海军候补军官进行了一项广泛调查,主要围绕以下三个主要问题展开:
1. 是否愿意与无人/自主系统并肩部署;
2. 对自主系统潜在益处的看法;
3. 对自主系统潜在风险的看法。
该研究旨在检验以下假设:军队人员比普通民众更可能支持使用致命性自主武器系统(LAWS),调查对象为澳大利亚国防学院的军官学员和海军候补军官。此外,调查还旨在识别与自主武器系统(AWS)相关的哪些感知风险和益处对这些未来国防领导者部署有人-无人协作团队(manned-unmanned teams)的意愿影响最大。
由于该研究的受访者为军官学员和海军候补军官,因此几乎全部为年轻人(97.6%年龄在18至24岁之间)。其中女性受访者比例较低,仅为26.8%,而超过87%的受访者出生于澳大利亚。多数受访者来自陆军(占45%),其余分别为澳大利亚皇家空军军官学员(33%)和澳大利亚皇家海军候补军官(22%)。调查向受访者提供了四种具有不同人类控制水平的自主系统实例,并要求他们对此作出回应:
1.系统的每一功能都由人类操作员控制;
2.系统由人类操作员控制,但系统能够独立执行某些预编程功能;
3.系统可以在预定义区域内通过预编程决策执行武力,而无需直接人类监督;
4.系统能够模仿人类级别的决策能力,在任何环境中自主创建并完成任务,无需任何人类输入,并能从错误中学习。
调查结果显示,“机器人”感知的独立性水平与“部署意愿”之间存在显著关系。具体而言,自主系统受人类控制的程度越高,受访者部署相关系统的意愿越高。当机器已经能够模仿人类决策能力并具备自我学习能力时,大多数受访者均表示不愿意部署。
根据评估结果,调查者总结了三个核心发现,可能为未来的国防学说发展和采购提供指导:(1)对于自主系统相较于轻型载人平台在开发、采购和维护成本较低的重要性,受调查群体和澳大利亚国防军(ADF)领导层的看法存在显著差异;(2)决定是否愿意部署自主系统的最重要因素是其安全性、精确性和可靠性;(3)从伦理角度来看,减少对平民、ADF人员及盟军的伤害是影响受访者是否愿意部署自主系统的重要因素。
调查结果还发现,即使是对军官而言,关于自主系统的构建和话语实践仍具有不可忽视的影响力,这表明在自主系统的案例中存在一种话语效应,会对使用潜在致命性武器的意愿产生额外影响。然而,这项调查存在多个值得批判的方面:
第一,调查依赖于受访者对机器及人与机器关系的先验认知,且未解释“自主性”和“智能”这类复杂、争议性的概念,可能限制了调查的深度,尤其是在探讨“话语效应”时。第二,美国国防部已放弃“自主性等级”模型,而调查中的自主性层级很大程度上基于系统的预计实现效果,假设场景4中模拟人类决策能力的机器也尚不存在。第三,调查设计未能消除军官对自主系统“神话”的误解,存在将机器行为拟人化的表述。最后,调查未探讨受访者态度形成的根本原因,也未澄清诸如“智能”和“自主性”等关键术语的含义。上述不足削弱了调查结果的可信度,也可能限制其在设计军队培训和与其他研究对比分析中的实用价值。
如果我们发展人工智能并重建人机关系的主要目标是实现“战略性颠覆”,那么以至今我们所采用的肤浅的人文主义视角来思考人机交互将是不足的。过往文献和研究中对人机关系本质的神话式阐述,要么使我们无法实现人机关系的潜力,要么陷入“极端技术主义”的陷阱,导致我们像基辛格那样相信人类能够摆脱“技术对权力行使的限制”。
通过对人机关系文献的简要回顾,本文注意到过度夸大机器的本质(以及其新兴能力)会延续一种有害的神话,其不仅不能帮助我们设计出战略性颠覆能力,反而可能在潜在的危险中让我们分心。因此,此后的相关研究和常识需要一种纠正性措施,使我们能够重新发现人类现实与机器技术现实之间的联系,重新思考与机器合作的意义。
在军事背景下,进行这样的转变将带来多方面的益处。首先,我们可以重新设计专业军事教育项目,帮助不同层级的军人更顺利地理解和适应这种“认知转变”。此外,这种思维转变也能使我们重新构思设计和工程原则,以实现并反映我们对机器和人机关系的更新视角。最终,这将使我们能够设计、实验,并最终部署更新且更具创新性的人机作战系统,这些系统将在新兴的“算法战场”背景下发挥作用,实现其“战略性颠覆”潜力。