电子书《计算机视觉、机器人学与机器学习中的线性代数》

www.cis.upenn.edu/~cis5150/linalg-I-f.pdf

本书是宾夕法尼亚大学计算机与信息科学系的讲义。

“近年来，计算机视觉、机器人学、机器学习和数据科学是推动技术进步的关键领域之一。任何阅读这些领域论文或书籍的人，都会被一堆奇怪的术语搞得迷糊，例如：核主成分分析（kernel PCA）、岭回归（ridge regression）、套索回归（lasso regression）、支持向量机（SVM）、拉格朗日乘数（Lagrange multipliers）、KKT条件等。支持向量机（SVM）难道是在追赶牛群，用超级套索将它们抓住吗？不！但很快你会发现，在每个新领域出现时，总是伴随着这种术语的“迷雾”（也许是为了让外人无法进入这个圈子），但这些术语背后其实是大量“经典”的线性代数和优化理论技巧。因此，主要的挑战在于：要理解和使用机器学习、计算机视觉等工具，必须有扎实的线性代数和优化理论基础。老实说，一些概率论和统计学知识也是必要的，但光这些内容就已经够我们消化的了。

许多机器学习书籍在解决上述问题时遇到困难。如果一个人不知道拉格朗日对偶框架，怎么理解岭回归问题的对偶变量呢？同样，如果没有对拉格朗日框架的深刻理解，又怎么可能讨论支持向量机（SVM）的对偶形式呢？

最简单的做法是把这些困难“扫在地毯底下”。如果一个人只是技术的消费者，那么“食谱式”的方法可能就足够了。但对于那些真正想做深入研究并做出重大贡献的人来说，这种方法就行不通了。为此，我们认为必须具备扎实的线性代数和优化理论基础。

这成为了一个问题，因为它意味着需要投入大量的时间和精力来学习这些领域，但我们相信，持之以恒的努力会获得丰厚的回报。

我们的主要目标是介绍线性代数和优化理论的基础，并将其应用于机器学习、机器人学和计算机视觉中。本书由两卷组成，第一卷是线性代数，第二卷是优化理论及其在机器学习中的应用。”