1.1. 在我们的工作场所，不同种族及男女之间都存在明显的不平等

1.1.1. 不平等的部分原因在于我们做出判断的方式存在偏见

1.1.2. 我们喜欢价值观和自己相似的人，而这些人往往也与我们存在共同之处

1.2. 我们在做判断的时候会遇到很大的局限性

1.2.1. 人类根据肤色、年龄、性别、国籍等属性判断他人，这些是我们用来建立刻板印象的信号，正是这些信号让我们误入歧途

1.2.2. 纵观世界历史，我们不乏任人唯亲的现象，也不乏窃取他人工作成果、不劳而获的精英阶层

1.2.3. 我们有过性别歧视，也有过种族歧视

1.2.4. 世界上每个人都可能是性别歧视者和种族主义者

1.3. 我们常常意识不到自己的偏见

1.4. 内隐联想测试

1.4.1. 该测试根据我们的反应时间来识别我们在词汇联想中的内隐偏见

1.4.2. 哈佛大学的研究人员设计并推广内隐联想测试，并不是要告诉大家我们都是种族主义者和偏执狂，而是希望引导我们认识自己潜意识里的偏见

1.4.3. 外显偏见水平与我们的内隐偏见度之间没有或几乎没有关联

1.5. 我们的大脑中存在错综复杂的逻辑关系，我们对文字的内隐反应与我们的童年、成长环境和工作经历交织在一起

1.5.1. 与我们自己的大脑不同，算法空间维度中的性别歧视是可以被我们清理掉的

1.5.2. 它们可能在不受监督的情况下学习我们的数据，但事实证明，弄清楚算法内部究竟在发生着什么并改变它们产生的结果是可能的

2.1. 对付人类偏见的办法

2.1.1. 使用计算机管理的测试和评分系统来消除我们的偏见

2.2. 解决词汇类比问题，有一个很容易想到但较为烦琐的方法，那就是程序员自己创建一个表格，列出每种雌性动物和雄性动物所对应的词汇，然后使用算法在列表中查询它要找的词语

2.3. GloVe算法

2.3.1. global vectors for word representation

2.3.2. 即全面词向量表示，这种算法通过阅读大量文本来学习

2.3.3. 学习了整套维基百科(Wikipedia)上的所有内容，当时维基百科共有 16亿个单词和符号

2.3.4. 训练GloVe学习了第五版的Gigaword数据集，这一数据集包含了 43亿个从世界各地的新闻网站上下载的单词和符号

2.3.5. GloVe对数据进行拉伸、压缩和旋转，直到找到描述维基百科和Gigaword中所有 40万个不同单词和符号所需的尽可能少的不同概念

2.3.6. 职业相关词与男性名字的距离比它们与女性名字的距离更小

2.3.7. 女性名字比男性名字距离家庭相关词更近

2.3.8. GloVe算法结果都说明，在给词汇定位时存在内隐的性别歧视

2.4. 无监督学习把算法变成“坏学生”

2.4.1. GloVe算法不仅存在内隐的性别歧视，还存在内隐的种族歧视

2.4.2. GloVe和谷歌使用的Word2vec等算法只是纯粹的技术，它们做的仅仅是对词语进行计数和分配权重

2.4.2.1. 这些算法只是对词汇是如何在我们的文化中被使用的进行了量化而已

2.5. GloVe算法是科学家口中的“无监督学习”的一个例子

2.5.1. GloVe算法不受监督，是因为当它学习我们提供的数据时，没有得到任何来自人类的反馈

2.5.2. 如果不首先解决种族歧视和性别歧视的问题，就没有真正的方法来解决由无监督学习造成的问题

2.6. 算法不受监督，它们阅读、学习我们所写的内容，但它们的程序本身并没有被写入带有偏见的代码

2.6.1. 当我们研究它们学习到了有关我们的什么内容时，它们只是反映了我们所生活的社会环境中存在的偏见

2.6.2. 任何向我们学习的算法都会和我们一样产生偏见

2.6.2.1. 算法全盘接受我们的歧视经历，而且涉及的领域非常广

2.6.2.2. 我们不能完全相信计算机能够准确地评估我们

2.6.2.3. 在没有监管的情况下，我们不能完全信任它

2.7. 用算法世界的语言来说，我们应该集中精力找到方法消除算法中所存在的偏见，而不是指责这些偏见

2.7.1. 算法使用空间维度来表示我们，而消除算法偏见的策略之一就是充分利用这种方法

2.7.2. 由于GloVe在数百个维度上进行运算，因此将它对词语的理解完全可视化是不可能的，但找出算法的哪些维度与种族或性别有关是可能的

2.7.3. 通过将所有词语往与偏见相反的方向移动，就可以消除偏见

2.7.4. 研究人员发现，消除掉性别偏见对谷歌的标准类别测试算法的整体表现影响不大

3.1. 小说的价值不在于写在纸面上的东西，而在于读者头脑中形成的思想和观念

3.2. 不同的人，对同样的文字的解读不同

3.2.1. 作者在书中倾注的心血和思想突然从字里行间喷薄而出、照进我们自己的生活的那种体会，只要是阅读过图书的人都懂得

3.3. 自动化作者证明，一组逻辑门在经过轻微调整后并纳入随机性后，就能掌握语言创造的基本过程中的一些要素

3.4. 水谷

3.4.1. “水谷”是她的创造者史蒂夫·沃斯维克(Steve Worswick)呕心沥血的得意之作

3.4.2. 逻辑规则和随机创造力是聊天机器人“水谷”(Mitsuku)的核心特点，该机器人因最像人类而获得 2016年和 2017年的勒布纳人工智能奖(Loebner prize)

3.5. 正是对真正理解语言的能力的追求，推动着脸书和谷歌的人工智能实验室中的语言研究

3.6. “神经网络”(neural network)这个术语指的是一系列受人脑工作方式启发的算法

3.6.1. 人的大脑由相互连接的神经元(interconnected neurons)组成，这些神经元通过电信号和化学信号来构建我们的意识和思维

3.6.2. 神经网络是对这一生物学过程的高度抽象和模仿

3.6.2.1. 它们以相互连接的虚拟神经元形成的网络的形式来表示数据，输入端接收有关外部世界的数据，输出端产生执行某个动作的决定

3.7. “自上而下”构建的这个算法方法只对猫狗互斗文本的生成有用，而“自下而上”的神经网络则能够基于它所得到的奖励来训练自己

3.8. 递归神经网络

3.8.1. 这种网络特别适合学习序列数据，就像我们逐字逐句地读《战争与和平》一样

3.8.2. 输入神经元和隐藏神经元与递归神经网络形成一个“梯子”，这个“梯子”将这些词语“提”到神经网络顶部，并它们组合起来预测应该产生的下一个词

3.8.3. 递归神经网络生成的文本通常语法正确，标点符号使用得当，甚至能把握到作者语言风格的精髓所在

3.8.4. 它的输出存在局限性

3.8.5. 当我们深入研究递归神经网络时，我们也能看到它们存在局限的原因

3.8.5.1. 问题不在于我们需要提供更大的词语数据库以使它们获得更强的理解力

3.8.5.2. 它们的理解力有限，是因为它们一次只能接收大约 25个词语

3.9. 虽然创作伟大的文学作品远非递归神经网络力所能及，但训练它们掌握更多日常语言是可能的

3.9.1. 许多在线帮助服务已经实现了自动化

3.9.2. 脸书旗下的通信应用Messenger为我们提供购物机器人，允许我们点击一系列链接或者发送简单的短信来购买商品

3.9.3. 苹果的Siri和亚马逊的Alexa可以回答问题，还可以控制家里的设备

3.10. 关于公共服务自动化的报告，报告将客户服务列为最容易被淘汰的工作之一

4.1. Tomas Mikolov

4.2. 计算机语言处理方面的权威

4.3. 创造了Word2vec词语表示算法

4.3.1. Word2vec应用广泛，从网络搜索到翻译，无所不包

4.4. 几乎所有关于神经网络生成语言的研究都滥觞于托马斯的研究

5.1. 人们并没有广泛认为“深蓝”战胜卡斯帕罗夫是迈向更通用的人工智能的重要一步

5.2. 只需数周人工智能就能在游戏中打败你

5.3. 20 世纪 90年代用“自上而下”方法创造出来的人工智能逐渐退出舞台，统计学取而代之逐渐成为现代算法背后的工具

5.4. 2017年 1 月，一个名为Libratus的算法以一敌四，与顶尖专业牌手进行了 12万轮一对一、无限下注的得州扑克比赛，并夺得冠军

5.5. 尽管算法在棋牌类游戏上取得了让人印象深刻的成就，但是它们仍然需要程序员来教会它们怎么使用“自上而下”的方法解决问题

5.5.1. 它们对推动“自下而上”的人工智能的发展贡献不大

5.6. 太空入侵者

5.6.1. Space Invader

5.6.2. 这款雅达利(Atari)的经典游戏与其他游戏有着天壤之别，它或许对智力没有那么高的要求，但它对战略规划、手眼协调和快速反应都有综合要求

5.7. 学着玩雅达利 2600 游戏机上 49 款不同的游戏

5.7.1. 这个神经网络在其中的 23 款游戏中击败了职业玩家，并在另外 6 款比赛中达到了与普通玩家相当的水平

5.7.2. 它特别擅长《打砖块》(Breakout)这款游戏，游戏的玩法是控制球拍把所有的砖块从墙上敲下

5.7.3. 开始时，谷歌工程师没有告诉他们的神经网络与这款它马上要玩的游戏有关的任何信息

5.7.3.1. 他们用神经元之间的随机连接建立了网络，这意味着飞船的移动和射击也或多或少是随机的

5.8. 创造出一种人工智能，可以从零开始学习任何一款游戏

5.8.1. 谷歌的解决方案很大程度上要归功于一种叫作“卷积”(convolution)的数学方法

5.8.2. 最复杂的是游戏的截图

5.9. 卷积神经网络的概念在 20 世纪 90年代左右就出现了，但在很长一段时间里，它都只是许多被认为可以用来帮助计算机检测模式的算法中的一种

5.9.1. 2012年的比赛只是卷积神经网络大放异彩的开始

5.9.2. 无须告知卷积神经网络要解决什么问题，它就能够通过学习来处理问题

5.9.3. 卷积神经网络在手写和语音识别任务上击败了竞争对手

5.9.3.1. 它可以识别视频短片中的动作，并预测接下来会发生什么

5.9.4. 随着卷积神经网络在视觉问题上取得进步，循环神经网络在语言问题上也取得了类似的成就

5.9.4.1. 通过使用新的神经网络技术，谷歌大大提高了从英文到中文的翻译质量

5.10. 神经网络在一些游戏中的表现跟瞎玩没什么区别

5.10.1. 卷积神经网络根本无法应对游戏中的这些困难

5.10.1.1. 它们只能对眼前的事物做出反应：射杀外星人、对拳击手拳打脚踢、跳过六边形等

5.10.1.2. 它们没有进行规划的能力，即使这个规划针对的是非常短期的未来

5.10.1.3. 该算法在所有需要提前做出计划的雅达利游戏中都出师不利，哪怕这些游戏只需要一点点这方面的能力

5.11. 当今最先进的人工智能能够看到事物并立即做出反应，但它无法理解自己看到的是什么，也无法制订计划

5.12. 强人工智能项目的长远目标是用尽可能少的人工输入来训练网络

5.12.1. 如果我们想让算法展现出动物或人类的智慧的特质，那么这些网络就必须会自学，而不是需要我们告诉它们应该做什么或应该注意什么

5.12.2. “人对算法干涉过多”的问题

5.13. AlphaGo Zero

5.13.1. 机器通过一局又一局的对弈，一路从新手蜕变为大师，最后变得不可战胜

5.13.2. 这是一个完全依靠自学来挑战极复杂游戏的神经网络

5.14. 对于神经网络来说，完成这些任务意味着重新从零开始训练

5.14.1. 虽然科学家对大脑已经非常了解，但推动算法模拟人类去自发理解新环境对我们来说仍然难于登天

5.15. DeepMind

5.15.1. 最终目标是，有朝一日让智能机器来制订解决方案，解决工程师、医生和科学家们苦苦钻研却久攻不下的难题