
1. 管控人工智能1.1. 历史上的战场进一步推进到与数字网络相连的所有地方1.2. 数字程序现在控制着一个由众多实体系统构成的庞大且仍在不断增长的领域,而且越来越多的此类系统已实现网络化1.2.1. 在某些情况下甚至连门锁和冰箱都实现了网络化1.2.2. 这催生出一个极其复杂、广泛和脆弱的系统1.3. 对人工智能强国来说,追求某种形式的彼此理解和相互制约至关重要1.3.1. 在相应系统和能力可以通过计算机代码的变化而轻易改变且相对难以察觉的情况下,各大政府可能倾向于认为,其对手在战略敏感的人工智能研究、开发和部署方面的步调会比它们公开承认甚至私下承诺的更进一步1.3.2. 让人工智能参与侦察、锁定目标或是展开致命性自主行动并不难,这使得寻求建立一套相互制约和验证的体系变得既困难又刻不容缓1.4. 一旦被释放到世界上,人工智能驱动的网络武器能够适应和学习的程度可能远远超过预期目标1.4.1. 武器的能力可能会随着人工智能对环境的反应而改变1.4.2. 如果武器能够以某种方式改变,而且改变的范围或性质与其创造者所预期或威胁实现的不同,那么对于威慑和升级的设想就可能变得扑朔迷离1.4.3. 为了避免意外的和潜在的灾难性后果,这种限制必须是相互的1.5. 限制人工智能和网络能力相当困难,遏制其扩散也很难1.5.1. 那些主要大国开发和使用人工智能和网络的能力有可能落入恐怖分子和流氓帮派手中1.5.2. 那些没有核武器、常规武器军力也有限的小国,也可以通过投资尖端的人工智能和网络武器,发挥出巨大的影响力1.6. 各国不可避免地会把非连续性的、非致命性的任务委托给人工智能算法1.6.1. 包括执行检测和防止网络空间入侵的防御功能1.6.2. 一个高度网络化和数字化的社会“受攻击面”太大,人类操作者无法仅凭手动实现防御1.6.3. 随着人类生活的许多方面转移到网上,经济也持续数字化,一个流氓网络人工智能就可能破坏整个行业1.7. 国家、公司甚至个人都应该着手构建某种失效保护体系,以防患于未然1.7.1. 包括切断网络连接并使系统离线1.7.2. 对国家来说,离线可能是终极的防御形式1.7.3. 如果不使用这种极端的措施,那就只有人工智能能够执行某些至关重要的网络防御功能,原因之一是网络空间浩瀚无垠,在这一空间内可能采取的行动选项几乎无穷无尽1.7.4. 除了少数几个国家,这一领域内最重要的防御能力可能是其他国家力所不及的1.8. 人工智能的引入增加了为抢占先机而将某种武器仓促投入使用,并由此演变为冲突的内在风险1.8.1. 为了防止冲突意外升级,大国应该在一个可验证的限制框架内进行竞争1.8.2. 谈判不应该只专注于缓和军备竞赛,还应该确保双方大体上都了解对方的动向1.8.3. 对方会对自己最具敏感性的秘密有所保留1.8.3.1. 国家间永远不会有完全的信任,但这并不意味着无法达成某种程度的谅解,正如冷战期间的核武器谈判所表明的那样1.9. 界定核时代的条约(以及随之而来的沟通、执行和核查机制)给我们带来了各方面的收益,但它们并不是历史的必然产物,而是人类能动性的产物,是共同承担危机和责任的产物1.10. 为了管控人工智能,战略家必须考虑如何将其纳入负责任的国际关系模式1.10.1. 负责任地使用策略,再辅以制约原则,将是必不可少的举措1.10.2. 一个显见的出发点就是以传统强制方式对能力加以制约1.11. 无论是限制人工智能的潜在能力,还是限制人工智能的数量,都不能完全符合这种技术在民用领域的广泛应用和持续发展态势1.11.1. 我们必须研究新的限制因素,重点是人工智能的学习和目标锁定能力1.12. 在19世纪和20世纪,各国逐渐对某些形式的战争进行了限制,例如使用化学武器以及大量针对平民的行为1.12.1. 鉴于人工智能武器使大量新类别的军事活动成为可能,或使旧形式的军事活动重获新生,世界各国亟须对何种军事行为不会背离固有的人性尊严和道德责任等问题做出决断1.13. 与人工智能相关的武器技术带来的困境在于:对技术的持续研发对国家至关重要,没有它,我们将失去商业竞争力和与世界的关联性1.13.1. 新技术所固有的扩散天性迄今为止使通过谈判做出限制的一切努力付诸东流,甚至连概念也未能形成2. 致命自主武器系统2.1. 该系统一旦被激活就可以在没有进一步人类干预的情况下选择和打击目标2.2. 这类武器的关键问题是人类对其进行监督和及时干预的能力2.3. 一个自主系统可能需要有一个人“在指令环路上”被动地监控它的活动,或者“在其指令环路中”的某些行动需要人类授权2.4. 除非受到可遵守和可证实的相互协议的限制,后一种形式的武器系统最终可能涵盖全部战略和目标2.4.1. 保卫边境或实现针对敌人的特定结果,并且不需要大量人力参与3. 对民用和军事技术的影响3.1. 传统上有三个技术特性促成了军事和民用领域的分野3.1.1. 技术差异3.1.1.1. 是指专门军用或专门民用的技术是有别的3.1.2. 集中控制3.1.2.1. 是指与容易传播、规避政府控制的技术相反,有些技术可以轻易被政府管控3.1.3. 影响规模3.1.3.1. 是指一项技术的破坏性潜力3.2. 纵观历史,许多技术都是军民两用的3.2.1. 一些很容易广泛传播,另一些则具有巨大的破坏力3.3. 迄今为止,还没有一种技术同时具备以下三种特性:军民两用、易于传播和潜在的巨大破坏性3.3.1. 运送货物到市场的铁路和运送士兵到战场的铁路是一样的,铁路不具有破坏性潜力3.3.2. 核技术通常是军民两用的,且破坏性巨大,但核设施很复杂,这使政府能够相对安全地控制核技术3.3.3. 猎枪可能被广泛使用,同时具有军民用途,但其有限的能力使持枪者无法在战略层面造成破坏3.3.4. 人工智能打破了这种范式3.4. 人工智能3.4.1. 可以军民两用3.4.2. 很容易传播,只要几行代码就可以3.4.2.1. 大多数算法(有一些明显例外)可以在单个计算机或小型网络上运行,这意味着政府很难通过控制基础设施来控制这种技术3.4.3. 人工智能的应用具有巨大的破坏性潜力3.4.4. 这种独一无二的特性组合,加上广泛的利益相关者,产生了具有全新复杂性的战略挑战3.5. 一个国家可能来不及评估即将到来的攻击,就要立即对此类威胁进行响应,否则将面临被对方解除武装的风险3.5.1. 构建一个人工智能系统来预警攻击并赋予其反击的能力3.5.2. 这一系统的存在以及它可以毫无预警地实施行动,可能会刺激另一方投入更多建设和规划,包括开发并行技术或基于不同算法的技术3.5.3. 如果人类也参与了这些决定,那么除非各方谨慎地发展出一个共同的限制理念,否则先发制人的冲动可能会压倒谋定后动的需要,就像20世纪初的情况一样3.6. 技术优势所需的专业知识不再完全集中于政府方面3.6.1. 从传统的政府承包商到个人发明家、企业家、初创企业和私人研究实验室,各种各样的行为体和机构都参与到对这一具有战略意义的技术的塑造过程中3.6.2. 并不是所有参与者都认为其使命应与联邦政府所界定的国家目标保持内在一致3.6.3. 工业界、学术界和政府之间的相互教育过程可以帮助弥合这一鸿沟,并确保各方在一个共同的概念框架内理解人工智能战略意义的关键原则3.7. 局面3.7.1. 其遭遇的战略和技术挑战如此复杂3.7.2. 对该挑战的性质乃至讨论其所需的词汇却鲜有共识3.8. 核时代3.8.1. 尚未解决的挑战是:人类发展了一种技术,战略家们却找不到可行的军事行动理论3.8.2. 即使经过半个世纪的努力,如今对核武器的管控仍然是支离破碎的3.8.3. 评估核平衡其实相对简单3.9. 人工智能时代的困境将与之不同,典型技术将被广泛获取、掌握和应用3.9.1. 无论是在理论概念上还是在实践操作中,实现相互间的战略克制,甚至是实现对“克制”的共同定义,都将比以往任何时候更加困难3.9.2. 与核武器不同的是,人工智能很难被追查:一旦经过训练,它们可以很容易地被复制,并在相对较小的机器上运行3.9.3. 以目前的技术,无论是要检测其存在还是证实其不存在,都是极其困难甚至无法实现的3.9.4. 在这个时代,威慑可能来自一种复杂性3.9.4.1. 来自人工智能攻击能够借助载体的多样性,也来自潜在的人工智能反应速度3.10. 由于大多数人工智能技术具有军民两用特性,我们有责任在这场技术研发竞赛中保持领先3.10.1. 同样迫使我们去理解它的局限性3.10.2. 等到危机来临才开始讨论这些问题就为时已晚了3.10.3. 一旦在军事冲突中使用,人工智能技术的响应速度之快,几乎注定它将以比外交手段更快的速度产生结果3.11. 要在最具破坏性的能力上实现相互制约,绝不能等到悲剧发生再去亡羊补牢3.11.1. 当人类开始在创造新的、不断演化的、拥有智能的武器方面展开竞争时,历史不会原谅任何对此设限的失败3.11.2. 在人工智能时代,对国家优势的持久追求,仍须以捍卫人类伦理为前提4. 股票市场4.1. 一些复杂的所谓量化公司认识到,人工智能算法可以发现市场模式,并以超过最佳操盘手的速度做出反应4.2. 公司已将其证券交易方面的某些控制权委托给这些算法4.3. 在多数情况下,这些算法系统可以实现大幅超过人类操盘的利润4.3.1. 它们偶尔会严重误判,程度可能远超最糟糕的人为错误4.4. 在战略领域,一次类似“闪电崩盘”的算法故障造成的后果可能是灾难性的4.4.1. 如果一方在此类计算或行动上出错,就可能在不经意间触发升级模式5. 人工智能赋能武器5.1. 使人类指挥的战争更精确、更致命、更有效5.2. 美国已宣布其目标是将人工智能使用限制在此类别中,并谋求建立一个任何国家,包括美国自身都不拥有人工智能武器的世界5.3. 技术的学习和演进能力也可能导致对某些特定能力的限制不足5.4. 对人工智能赋能武器的制约性质和制约方式进行界定,并确保约束是相互的,是关键所在6. 人工智能武器6.1. 能脱离人类操作者自主做出致命的决定7. 新世界中的古老追求7.1. 无论中美两国竞争的新阶段可能会出现何种形式的竞赛,两国仍应该寻求达成一项共识,即不会同对方打一场前沿技术战争7.2. 这两个大国互相对峙而拒不进行对话的时间越长,发生意外的可能性就越大7.3. 一旦发生意外,双方都会被其技术和部署预案所驱使,陷入双方都不愿意看到的危机,甚至可能发生全球规模的军事冲突7.4. 国际体系的矛盾之处在于,每个大国都被驱使采取行动,也必须采取行动,从而最大限度地保障自身的安全7.5. 在人工智能时代,我们应该对长期以来的战略逻辑进行调整7.5.1. 我们必须防止运行速度比人类决策者更快的人工智能做出一些具有战略后果的、不可挽回的行为7.5.2. 防御力量的自动化,必须在不放弃人类控制的基本前提下去实施7.5.3. 该领域固有的模糊性,再加上人工智能的动态性、突出性及其传播的便利性,将使评估复杂化7.5.4. 人工智能技术的扩散可能会导致更多的行为体必须承担类似的使命8. 控制武器装备的六大任务8.1. 对抗和敌对国家的领导人必须准备定期开展相互对话,讨论他们都想要避免的战争形式,就像他们的前任在冷战期间所做的那样8.2. 必须对核战略的未解难题给予新的关注,并认识到其本质正是人类在战略、技术和道德方面遭遇的巨大挑战之一8.3. 网络与人工智能技术的领先大国应该努力界定其理论和限制(即使其所有方面均未被公开),并找出自身理论与竞争大国之间的关联点8.3.1. 如果我们的意图是威慑而非使用,是和平而非冲突,是有限冲突而非普遍冲突,就需要以反映网络和人工智能独特层面的措辞来重新理解和定义这些术语8.4. 拥核国家应承诺对其指挥控制系统和早期预警系统进行内部检查8.4.1. 检查还应包括排除对核指挥控制系统或早期预警系统相关设施的网络攻击的选项8.5. 世界各国,特别是技术强国,应制定强有力和可接受的方法,在紧张局势加剧和极端情况下尽量延长决策时间8.5.1. 可以将控制不稳定性和建立共同安全所需的步骤(既有当前的,也有长期的)联系起来8.5.2. 在危机中,人类必须对是否使用先进武器承担最终责任8.6. 主要的人工智能大国应该考虑如何限制军事化人工智能的继续扩散,或者依靠外交手段与武力威胁,开展系统性的防扩散工作8.6.1. 老牌的核大国探索过这种防核扩散概念,结果成败参半8.6.2. 如果一种具有颠覆性和潜在破坏性的新技术被用于武装世界上怀有最强烈敌意或道德上最不受约束的政府的军队,那么战略均势可能难以实现,冲突也可能无法控制