读AI新生:破解人机共存密码笔记17不确定性和概率

躺柒 2024-06-28 22:51:33

1. 前向搜索1.1. 通过前向搜索,通过考虑各种可能的动作序列的结果,来选择动作,是智能系统的基本能力1.2. 如果一家卡车运输公司想要优化其100辆卡车在美国的运输,那么该公司可能需要考虑的状态数量将是10^700个1.3. 几乎所有的前向搜索程序都在使用的基本思路是,给叶子节点,即最遥远的未来的那些状态,各赋予一个估计值,然后“回溯”,找出根节点的各个选择有多好1.4. 人类能够管理自己的计算活动,从而合理而又迅速地做出理智的决策,这种能力至少与人类正确感知和推理的能力一样非凡1.5. 选择计算的过程叫元推理,这意味着对推理进行推理1.5.1. 计算的价值在于它能提高你的决策质量1.6. 探索从当前状态延伸到未来的可能性之树并不是做出决定的唯一途径1.6.1. 从目标开始向后追溯更有意义1.6.2. 目标通常会考虑所有可能的合法动作1.7. AlphaZero大约能向前计算50步棋,但是50步棋的运动控制指令只能让你计划几秒钟后的未来1.7.1. 虽然AlphaZero在围棋对局中比任何人都看得更远,但这种能力在现实世界中似乎并没有帮助1.7.2. 这是一种错误的前向搜索1.7.3. 它考虑的唯一动作就是从初始状态开始按顺序发生的原始动作1.8. 1962年,赫伯特·西蒙在著名的论文《复杂性的体系结构》中强调了层级组织的重要性1.8.1. 自20世纪70年代初以来,人工智能研究人员已经开发出多种方法来构建和细化层级组织的计划1.8.2. 目前现有的所有分层规划方法都依赖于人为产生的抽象动作和具体动作的层级组织,我们还不知道如何从经验中学习这种层级组织2. 知识与逻辑2.1. 在古代印度、中国和希腊独立发展起来的逻辑学核心思想是,精确含义和合理推理可以应用于任何句子,而不仅仅应用于数字2.2. 逻辑学是一种用确定的知识进行推理的研究2.2.1. 就主题而言,它是完全通用的,也就是说,逻辑学知识可以是关于任何事物的2.2.2. 逻辑学是我们理解通用智能的不可或缺的一部分2.3. 命题逻辑2.3.1. 自20世纪60年代初以来,命题逻辑中实用的“推理算法”就已为人们所知2.3.1.1. 虽然在最坏的情况下,处理一般推理任务可能需要花费指数级的时间2.3.2. 一旦人们将所有这些任务表述为推理任务,就可以使用单一算法(命题逻辑的推理算法)来解决所有任务2.3.3. 问题不仅在于规则手册将达到令人难以置信的规模,还在于学习系统从例子中获取规则,需要多到令人难以置信的经验2.3.3.1. 这种限制不仅适用于基于命题逻辑的系统,也适用于任何具有类似表达能力的系统,其中包括贝叶斯网络(它最早是命题逻辑的概率学“表亲”)以及神经网络(它是人工智能“深度学习”方法的基础)2.4. 一阶逻辑2.4.1. 一阶逻辑由德国数学家戈特洛布·弗雷格(Gottlob Frege)于1879年提出,它为人们提供了一种描述规则的方法2.4.2. 命题逻辑和一阶逻辑的关键区别在于:命题逻辑假设世界是由真假命题组成的,而一阶逻辑假设世界是由可以通过各种方式相互关联的对象组成的2.4.2.1. 用一阶逻辑描述与用英语描述几乎一样长2.4.3. 名为Prolog的编程语言2.5. 逻辑无法处理不确定的信息2.5.1. 有效的老式人工智能,简称GOFAI2.5.2. 越来越多的人认为逻辑与人工智能无关2.5.3. 事实上,如今深度学习领域的许多人工智能研究人员对逻辑一无所知2.6. 在任何有用的意义上,一个可以了解事物的程序至少需要拥有与一阶逻辑能力相媲美的表达和推理能力3. 贝叶斯网络3.1. 20世纪80年代初,朱迪亚·珀尔提出了一种叫作“贝叶斯网络”的正式语言3.2. 就像命题逻辑一样,有些算法可以用任何证据回答任何贝叶斯网络的任何问题3.3. 贝叶斯网络提供了一种基于知识系统的方法,避免了和20世纪80年代基于规则的专家系统一样的失败3.3.1. 事实上,人工智能界如果在20世纪80年代初不那么强烈地抗拒概率,就可能会避免基于规则的专家系统泡沫之后的人工智能寒冬3.4. 贝叶斯网络为表示必要的概率和执行计算提供了机制,为许多复杂任务实现了贝叶斯更新3.4.1. 就像命题逻辑一样,它们表达一般知识的能力也相当有限3.5. 了解不确定的世界的基本方法是贝叶斯更新3.6. 实现它的算法通常有两个步骤3.6.1. 预测,在这个步骤中,智能体根据最近的动作预测世界的当前状态3.6.2. 更新,在这个步骤中,智能体接收新的感知输入并相应地更新它的信念3.7. SLAM是许多人工智能应用的核心组件,从增强现实系统到无人驾驶汽车和行星漫游车3.7.1. 同步定位与地图构建4. 不确定性和概率论4.1. 逻辑学为用确定的知识进行推理提供了通用基础,而概率论则需要用不确定的信息进行推理(确定的知识是其中的一种特例)4.2. 不确定性是现实世界中的智能体的正常认知状态4.3. 虽然概率论的基本思想是在17世纪发展起来的,但直到最近,以正式的方式用大概率模型来进行表达和推理才成为可能4.4. 一阶概率语言4.4.1. 可以将一阶逻辑的表达能力与贝叶斯网络精确获取概率信息的能力结合起来4.4.2. 这种结合让我们得到一加一大于二的效果:基于概率知识的系统能够处理比单用逻辑方法或贝叶斯网络更广泛的现实世界情况4.4.3. 一阶逻辑和概率论的结合给了我们一种表达许多对象的不确定信息的方式4.4.3.1. 不仅有关于哪些事实是真或假的不确定性,还包括存在哪些对象的不确定性,以及对象的对应关系的不确定性4.5. 概率论与有表达能力的正式语言的结合是人工智能的一个非常新的子领域,通常被称为概率编程4.5.1. PPL4.5.2. 其中许多都是从普通编程语言而不是从一阶逻辑中获得表达能力的4.5.3. 所有的概率编程语言系统都具有用复杂的、不确定的知识进行表达和推理的能力4.5.3.1. 其应用有微软的TrueSkill系统,该系统每天为数百万名电子游戏玩家评级4.5.3.2. 还有以前任何机械假说都无法解释的人类认知方面的模型4.6. 概率推理最重要的作用之一是了解世界上无法直接被观察到的部分4.6.1. 在部分可见的环境中运行的智能体必须根据它们所拥有的线索,尽可能地了解它们看不到的东西4.7. 信念状态(belief state)一词来指代智能体对世界状态的当前认知,无论这种认知是多么地不完整和不确定4.7.1. 保持信念状态为最新状态是一切智能体的核心活动4.7.2. 对于信念状态的某些部分,这是自动发生的4.7.3. 对于其他部分,这则是按需发生的5. 从经验中学习5.1. 学习意味着基于经验改进性能5.2. 机器学习最常见的形式是监督学习5.3. 从规则的逐步发展中可以看出,学习是通过对假设进行一系列修改来适应观察到的例子而实现的5.3.1. 这是学习算法可以很容易做到的事情,也是第一个要点5.3.2. 假设也可以是表示物理定律的代数表达式,表示疾病和症状的概率贝叶斯网络,甚至可以是表示某些其他机器的复杂行为的计算机程序5.4. 第二个要点是,即使好的假设也可能是错误的5.5. 归纳推理5.5.1. 从“特定观察结果”到“一般原则”的推理,永远无法得到保证5.6. 在现代统计学理论中,我们要求的不是保证完全正确,而是保证发现的假设大致正确5.7. 只要世界表现出一定程度的规律性,这个算法就不太可能产生非常糟糕的假设,因为这样的假设很可能已经被某个尝试“发现”了5.8. 深度学习技术在媒体上引起了所有关于人工智能的喧嚣5.8.1. 它主要是一种监督学习的形式,代表了近几十年来人工智能领域最重要的进步之一,所以值得我们了解它的工作原理5.8.2. 在特定任务的背景下理解深度学习是最容易的5.8.3. 目前最受欢迎的是深度卷积网络5.8.3.1. 网络实际上是一幅复杂的、可调的数学表达式的图画5.8.3.2. 奇特之处在于,网络结构在图像的整个输入过程中以固定的模式自我重复5.8.3.3. 它之所以被称为“深度”网络,是因为这样的网络通常有很多层,也因为这个名字听起来令人赞叹,而且有些诡异5.8.4. 因为它们有很多层,所以每一层都可以学习从输入到输出的一个很简单的转换,而许多这样的简单转换加起来,就是从照片到类别标签所需的复杂转换5.8.4.1. 深度视觉网络具有内置的结构,可以强制实现平移不变性和尺度不变性,这意味着,无论狗出现在图像中的哪个位置,无论它在图像中看上去体型有多大,它都是一只狗5.8.5. 深度网络的另一个重要特性是,它们经常能发现图像的内部表示形式,正是这些形式捕捉到了图像的基本特征,例如眼睛、条纹和其他简单形状5.8.5.1. 多次重复这个过程就会生成现在众所周知的DeepDream(“深梦”)或Inceptionism(“启发主义”)神经网络生成的那种图像5.8.5.2. Inceptionism本身已经成为一种艺术形式,它生成的图像不同于任何人类艺术5.8.6. 虽然深度学习系统取得了令人瞩目的成就,但我们目前所理解的深度学习系统远不能为通用智能系统提供基础5.8.6.1. 它们是电路5.8.6.1.1. 在“原生模式”下运行的深度网络需要大量的电路来表示相当简单的常识5.8.6.2. 它们是命题逻辑和贝叶斯网络的表亲,虽然它们有很多奇妙的特性,但它们也缺乏用简洁的方式表达复杂知识的能力5.8.7. 深度学习可能会在远低于通用智能的水平上停滞不前6. 从思考中学习6.1. 每当你发现自己不得不思考某件事时,那是因为你还不知道答案6.2. 你存储并重复使用了问题的通用解决方案6.3. 看到例子后,智能体可以自己解释为什么会出现这种情况,并可以通过了解哪些因素对解释至关重要,来提取通用原理6.3.1. 在人工智能中,这种学习被称为基于解释的学习6.3.2. 这个过程本身不会增加新的知识6.4. 认知科学的研究强调了这种类型的学习在人类认知中的重要性6.4.1. 它以“知识块”之名,形成了艾伦·纽厄尔(Allen Newell)极具影响力的认知理论的核心支柱6.4.2. “知识块”解释了人类如何通过练习而变得更熟练地处理认知任务,因为原本需要思考的各种子任务都变成了自动完成的任务6.4.3. 如果没有它,人类的对话将局限于一两个字的回答,数学家仍将依靠他们的手指计数
0 阅读:18

躺柒

简介:书既能读薄也能读厚,输出才能检验输入,完成才能完善。