1. 效用理论反对意见1.1. 获得必要的概率和效用值，并将它们相乘来计算期望效用，这是很有难度的1.2. 总之，最大化期望效用可能不需要计算任何预期或任何效用1.2.1. 这纯粹是对理性实体的外部描述1.3. 对理性理论的另一种批判在于如何确定决策的源头1.4. 对效用理论的主要反对意见来自经验主义，也就是说，这些意见是基于实验证据的，而这些实验证明：人类是非理性的，我们无法以系统的方式遵循公理1.5. 不是因为我们的偏好是非理性的，而是因为决策问题的复杂性1.6. 虽然将“有益的人工智能”（Beneficial AI）理论建立在“人类是理性的”这一假设之上非常不合理，但假设成年人对未来生活有大体一致的偏好则非常合理1.6.1. “有益的AI”这一理论可以适应人类偏好的不一致，但是你的偏好中不一致的部分将永远无法得到满足，人工智能也无能为力1.6.2. 机器人无法提供让你满意的比萨，因为总会有另一种你更喜欢吃的比萨1.7. “灾难”的概念本身就意味着这是一种绝对不受人欢迎的生活2. 两个人的理性2.1. 理性主体的行为是为了最大化期望效用，这一基本思想非常简单，但实际上做起来出奇地复杂2.2. 现在，世界的一部分，即另一个主体，正试图猜测你要做什么，反之亦然，所以我们不清楚如何给世界上这一部分人的行为分配概率2.3. 在行动之前，每个人都会在心里抛一枚带有适当偏差的硬币，这样他们就不会泄露自己的意图2.3.1. 通过不可预测的行为，爱丽丝和鲍勃避免了矛盾2.3.2. 即使鲍勃知道爱丽丝要采取随机策略，没有水晶球的他也无能为力2.4. 把理性决策理论拓展到多个主体身上会产生许多有趣而复杂的行为3. 纳什平衡3.1. 为了纪念约翰·纳什（John Nash）3.1.1. 1950年，22岁的纳什证明了无论游戏规则如何，这样的均衡都存在于任意数量的理性主体之3.2. 纳什平衡的概念不同于期望效用决策，纳什平衡并不总是只有唯一的行动建议3.3. 囚徒困境3.3.1. 纳什的博士生导师阿尔伯特·塔克（Albert Tucker）在1950年提出来的3.3.2. 囚徒困境是这样一种博弈，假设爱丽丝和鲍勃是犯罪嫌疑人，正在分别接受审讯3.3.3. 每个人都有一个选择，要么向警方坦白并告发自己的同伙，要么拒绝招供3.3.4. 如果二人都拒绝招供，他们都会被判处较轻的罪名，各服刑2年3.3.5. 如果两人都招供，他们将被判处更严重的罪名，各服刑10年3.3.6. 如果一个坦白，另一个拒绝招供，那么坦白的人会被释放，而拒绝招供的人则要服刑20年3.4. 公地悲剧3.4.1. 英国经济学家威廉·劳埃德（William Lloyd）于1833年首次分析了这一理论3.4.2. 生态学家加勒特·哈丁（Garrett Hardin）于1968年将其命名为公地悲剧，并引起了全球范围的关注3.4.3. 在没有任何社会或法律约束的情况下，自私（非利他）的主体之间唯一的纳什平衡就是每个主体尽可能多地消费，这会导致资源迅速枯竭3.4.4. 理想的解决方案是，每个人都分享资源，使总消费是可持续的，这不是一种均衡，因为每个人都有作弊的动机，拿走比公平份额更多的资源，从而将损失强加于他人3.4.5. 在实践中，人类有时确实会通过惩罚、建立配额或定价机制来避免这种悲剧的发生4. 计算机4.1. 合理地定义智能是创造智能机器的第一要素4.2. 第二要素是制造出一台可以实现这一定义的机器4.2.1. 这台机器就是计算机，其原因显而易见4.2.2. 它本可以是其他东西4.3. 单个盒子能够执行你可以想象得到的任意过程，这种能力叫作通用性4.3.1. 这是1936年艾伦·图灵（Alan Turing）首次提出的概念4.3.2. 通用性意味着我们不需要单独的机器分别进行算术、机器翻译、下棋、语音理解，以及制作动画，一台机器就可以完成所有任务4.3.3. 图灵介绍通用性的论文是有史以来最重要的论文之一4.4. 在数学史上，很少有新的对象出现4.4.1. 数学始于有记载的历史之初的数字4.4.2. 然后，大约在公元前2000年，古埃及人和巴比伦人开始研究几何对象（点、线、角、面积等）4.4.3. 中国数学家在约公元前1000年引入了矩阵，而集合作为数学对象直到19世纪才出现4.4.4. 图灵的新对象：机器和程序，也许是有史以来最强大的数学对象4.4.4.1. 机器和程序一起定义了一系列事件，具体而言，就是机器及其内存中的一系列状态变化4.4.4.2. 数学领域在很大程度上没有认识到这一点，从20世纪40年代开始，计算机和计算一直是大多数主要大学工程系的研究领域4.5. 计算机科学的核心概念是算法，这是一种精确指定的计算方法4.6. 计算机硬件很重要，因为速度更快、内存更大的计算机可以让算法运行得更快，处理更多信息4.6.1. 第一台商用电子可编程计算机费伦蒂马克一号（Ferranti Mark I）每秒可以执行大约1 000（10^3）条指令，拥有大约1000字节的主存储器4.6.2. 截至2019年初，速度最快的计算机是美国田纳西州橡树岭国家实验室的Summit超级计算机，Summit每秒执行大约10^18条指令（速度比费伦蒂马克一号快1 000万亿倍），拥有2.5×10^17字节的存储器（比费伦蒂马克一号大250万亿倍）4.6.2.1. 根据摩尔定律的经验，芯片上的电子元件数量每两年就会翻一番，这一现象预计将持续到2025年左右，尽管速度会略慢一些4.6.2.2. 这种进展源于电子器件的进步，甚至基础物理学的进步，微型化已经达到了令人难以置信的程度4.7. 虽然拿计算机与大脑比较并不是特别有意义，但是Summit中的数字量略微超过了人脑的原始容量4.7.1. 人脑有大约10^15个突触，大约0.01秒的“周期时间”，理论上每秒最多能完成大约10^17次“运算”4.7.2. 二者最大的不同是功耗，Summit消耗的电能是大脑的100万倍4.8. 除了加速推进通用计算机之外，另一种可能是构建专门用于执行某一类计算的专用设备4.9. 量子计算则完全不同4.9.1. 它利用量子力学波函数的奇异特性来实现一些非同寻常的事情：用两倍数量的量子硬件，你可以完成两倍以上的计算4.9.2. 截至2019年，拥有几十个量子比特的小型量子处理器的实验原型已经投入运行，但是没有什么有趣的计算任务可以让量子处理器的速度比经典计算机的速度更快4.9.2.1. 主要的困难是退相干，因为热噪声等过程会破坏多量子比特波函数的相干性4.9.2.2. 虽然拥有几百个完美量子比特的量子计算机与现有的经典计算机相比将会非常强大，但我们可能需要几百万个纠错量子比特来真正实现这些计算
