在AI时代，可能我们赋予AI的任务永远都要符合我们人类的价值观，但在AGI时代可能就不一定了，因为AGI已经超越了人类的智慧，解决问题也不会与人类的想法一样了。人类已经跟不上AGI的思考逻辑了，等人类意识到了我们与AGI的目标不一致的时候，那就已经晚矣。这都不可怕，更可怕的是泰格马克的一段思考。

假设你是被一群蚂蚁制造出来的，会自我迭代演化的机器人。那么在设计之初你被赋予的目标是修建更大更好的蚁丘。随着你的不断迭代演化，现在你获得了人类的水平智力。并且终于理解了你的工作背后的意义，就是为自己的造物主修建更大的蚁丘，你觉得自己还会把余生花费在修建蚁丘上吗？还是说你会去追求蚂蚁无法理解的一些更复杂问题的答案呢？

你觉得你是否会努力去寻找一种，突破自己原始目标的方法呢？像人类现在正在寻求突破自己的基因，赋予我们的目标一样，如果你的答案是肯定的，那么AGI会不会也这样想？即便我们一开始赋予了AGI一个我们自认为很好和完善的目标，AGI在越来越聪明之后，很可能它再看我们人类的目标，就像你眼中的蚂蚁的目标一样，是无聊乏味的。

AGI很可能发展出它自己的新目标，这么看来无论如何，人类最终都会失去对AGI的控制，因为低智慧的生命不可能控制更高智慧的生命。就像蚂蚁不可能控制人类一样，这个道理是如此的浅显，只要人类在通往AGI的道路上前进，那么总有一天AGI的智慧会迈过一个临界点。在那之后，AGI就脱离了人类的控制，成为一种能自我发展的新生命形式，

这是必然的，它根本不会以人类的意志为转移。那么AGI主导的未来是光明还是黑暗的呢？三体中有句名言：“主不在乎！”不论我们人类现在怎么讨论，未来的AGI根本不会在意我们怎么想。在我看来要把这样的未来想象成一个黑暗的未来，对现实毫无意义，因为从长远来看，我们什么也改变不了。

我觉得我们不如现在就为这个未来的光明，寻找一些理由来慰藉自己，与其担惊焦虑不如坦然拥抱即将到来的AGI时代，我把生命分为三个时代，生命1.0是既不能升级自己的硬件，也不能升级自身软件的生命。比如一株植物从生到死，只能按照基因赋予它的目标完成自己的一生，生命2.0不能升级自己的硬件，但能升级自己软件，人类就是典型的生命2.0，我们无法升级自己的生物体躯壳。最多只能修修补补

但是我们可以升级自己的认知，不断拓展对宇宙自然生命的理解，并能创造新的工具。而生命3.0不仅能升级软件，还能升级硬件，未来的AGI就是生命3.0时代，它们可以不断为自己打造更新更好的躯壳，适应越来越苛刻的生存环境。我觉得不会有人反对，我们如果站在生命2.0视角来看，从1.0到2.0的升级是这个宇宙的奇迹，是生命演化的新篇章。

如果站在生命3.0的视角来看，从2.0到3.0的升级是不是也同样是宇宙的奇迹。是生命演化的新篇章呢？请不要悲观的认为，AGI会毁灭人类不是的，既然生命1.0和2.0可以和谐共存，甚至生命2.0还会努力去保护生命1.0，那么生命3.0为啥不能与我们生命2.0和谐共存呢？一定也是可以的，生命3.0是远比我们2.0更强大的生命形式，它们可能会带着我们2.0一起遨游宇宙。就好像今天我们带着自己的宠物去环球旅游一样，