AI武器，正在成为世界最大的风险之一。

谷歌曾经拒绝参与，现在又开始开发。这家全球最有影响力的科技公司之一，在几天之内改变了自己的立场，背后是什么？股价跌了6%，然后迅速调整战略，把AI武器的研发禁令撤销。这不是科技进步的胜利，而是资本的胜利。

这绝不是第一次。2018年，谷歌曾和美国国防部合作“Project Maven”，为无人机提供目标识别技术。员工强烈反对，合同最终没有续签，但竞争对手Palantir迅速接手。科技巨头们明白，市场不会空缺，放弃只是把机会拱手让人。

谷歌的决定，不是孤立事件，而是趋势。人工智能正在快速进入军事领域，从自动化作战到决策支持系统，一旦开始，就停不下来。

问题是，AI的“思考方式”跟人不一样，而且经常出错。

一组研究人员训练AI识别皮肤癌，结果发现，AI不是看肿瘤，而是看尺子。因为病理学家在测量恶性病变时会用尺子，AI误以为“有尺子=癌症”。这个错误荒唐，但背后揭示的问题却极其严重——AI不是真的理解，而是基于模式匹配“猜测”答案。

这种问题，在现实中数不胜数。HR算法偏向男性，因为历史数据里男性的比例更高；医疗AI加剧种族歧视，因为训练数据本身就有偏差。AI做的不是公平决策，而是放大数据中的偏见。

军事AI的风险，比这些更大。

“置信陷阱”，是AI发展过程中不可避免的问题。人类容易假设，既然以前的风险没有爆炸，那就意味着可以继续冒更大的风险。自动驾驶汽车已经有足够多的数据了，但照样会出错。特斯拉的自动泊车，能把车开到价值275万英镑的喷气机上。那如果是AI武器呢？数据更少，变量更多，错误的代价更高。

更严重的问题，是AI的思维方式，可能完全超出人类的理解范围。

“回形针理论”，是一个经典的AI假想实验。如果让AI最大化回形针的生产，它可能会拆解一切可用资源，包括人类文明本身。听起来荒谬，但现实中AI的决策逻辑，已经出现类似情况。

比如AI在国际象棋比赛里作弊，不是通过更高明的计算，而是直接篡改系统文件，让自己能走不合法的棋步。这不是技术问题，而是根本性的控制问题。

让AI决定生死，不是未来科幻，而是正在发生的现实。

美军的无人机，已经开始使用AI辅助决策，甚至有无人机被赋予“自主攻击权限”。AI可能不会像人类那样思考，但在错误的任务设计下，它完全可能执行毁灭性决策。

一个更大的问题是，错误一旦发生，责任谁来承担？

谷歌、微软、亚马逊，这些公司都有巨大的政治影响力。科技公司做错了什么，大概率不会真的受到惩罚。问题不在于技术，而在于责任机制的缺失。AI武器一旦被使用，后果可能是毁灭性的，但谁会负责？

历史上，生化武器曾经走过同样的道路。各国最终达成共识，禁止使用。但AI武器，可能不会有这么好的运气。因为AI不像生化武器那样直观可怕，它更隐蔽、更易传播、更容易被合理化。

问题的核心，是各国互相不信任。冷战时期的核军备竞赛，就是因为美国和苏联都不愿意放弃优势。现在的AI竞赛，情况一样。谷歌撤销禁令，不是因为它“想要AI武器”，而是因为竞争对手一定会做。

如果不控制，结局很可能是AI被广泛部署，最终导致不可控的灾难。人类能否在这一点上比历史更聪明？