人工智能领域的摩尔定律

数理土豆饼课程 2024-04-09 14:02:33

有人说现在人工智能的本质,就是通过统计找规律。 其实 神经网络 的 本质,就是 用 数据 来给 嵌套 复合函数 做最佳参数 拟合。就是 假设 现实世界的规律 符合特点定函数,但这个函数的有参数没有定,用因果数据来找这个参数最好值。

神经网络由激活函数组合而成

其实,我们大家都知道 的 牛顿万有引力定律,在 牛顿刚提出时,也有一个未定参数,那就是 万有引力常数,没有万有引力常数,可以做一些计算,但是计算不出 地球,太阳,月球的质量。 后来 卡文迪许 用大铁球 测出了万有引力常数,就可以做各种计算了。

万有引力公式g起初是未知的

现在神经网络 做机器学习,类似卡文迪许 标定万有引力常数。

区别就在于,万有引力公式中,只有一个未定参数,而神经网络中,未定参数 有好多,多的达到几十亿个,其实就是所说的 神经网络的权重 数据,神经网络中,所假定的函数,不是万有引力公式,而是 激活函数,就是人为规定的非线性函数,而且是 多层嵌套的复合函数,嵌套的层数,就是神经网络的层数,所谓深度学习,就是神经网络 层数多,所以叫深度学习。

人们用简单的逻辑门 和 触发器 组合,设计出非常复杂的 ,功能丰富的计算机,用简单的激活函数,分层组合以后,设计出来具有特定领域超过人类智能的程序。

复杂的计算机由简单的逻辑门组合而成

只是 逻辑门 如何组合,现在数学基础 非常牢靠,如何化简数字电路,规则非常明确,但是如何优化神经网络,还是一片模糊,各人靠自己的经验,所以有人讽刺机器学习 开发工程师 调参侠。

这说明,相对于cpu,显卡设计,神经网络设计,可提高的空间还是 非常大的,

集成电路领域,有著名摩尔定律,

现在预测,人工智能领域,也摩尔定律,

就是 每18个月,实现同样的智能水平,

大模型需求的 参数 降低一半。

需要的算力降低一半。

这一切将都是靠通过优化神经网络结构和算法来实现

预测未来ai 将获得和过去电脑一样的发展速度。

0 阅读:2