矩阵代数基本概念 2017-07-26 # 矩阵代数基本概念 [《Deep Learning》](http://www.deeplearningbook.org/) 这本书的第一部分也就是数学基础部分的Linear Algebra 部分，发现其实这书讲得很简单，可以作为概念回顾，但是不适合没有基础的同学，作者也推荐了两本书如 The Matrix Cookbook 。 读书的时候用的那本高等代数，其实讲得很理论，然后找了《矩阵分析与应用》这本书来读，发现讲得更简单些，记录一些概念或者说大纲。 ## 矩阵 #### 什么是矩阵 通常说的m x n 矩阵就是按照长方阵列排列的复数或实数集合。当n =1 时就成了列向量，m=1时就成了行向量。所以本质上矩阵是数的集合，或者向量的集合，向量也是数的集合，但是它们都有空间结构。所以矩阵就是数学上的一个抽象概念，对矩阵定义运算，并研究和总结矩阵的性质背证明是很有的。比如m x n 线性方程组(m个方程描述n个未知量的线性关系)的解问题，就可以通过研究其系数矩阵或者增广矩阵的性质来解决。 #### 矩阵的基本运算 矩阵的基本运算包括：矩阵转置、加法、成分，本来还有共轭和共轭转置但我不想说 转置没什么好说的，很好理解。 加法有：矩阵之间的加法加法会有一些运算规律，比如交换律，结合律 乘法会有向量和矩阵相乘，矩阵和矩阵相乘，而且也需要考虑其中的运算规律。 #### 矩阵的初等变换 初等变换的得到的新矩阵是和原矩阵成为等价矩阵，怎么理解等价呢。一个简单的例子对一个线性方程组的增广矩阵进行初等变换后，方程的解并不会发生变化。 初等行变换： 1)互换矩阵的任意两行 2)一行元素同乘一个非零常数 3)将第p行元素同乘一个非零常数加到另一行。 一个简单的应用就是高斯消去法解线性方程组。 #### 矩阵性能指标 二次型 行列式 特征值 矩阵的逆 ## 线性空间 有没发现空间这个概念在数据里及其神奇，因为各种空间太多了，其实空间的本质就是集合。 《矩阵分析和应用》中这样说：线性空间的本质是一类事物在矩阵代数里的一个抽象集合表示，线性映射或线性变换则反应线性空间中元素的基本线性联系。 在王萼芳的《高等代数》里的定义就更加的规范和数学化，用数学的语言，不想抄书大致的意思就是线性空间V是定义在某个数域上的非空集合，这个集合中上定义了乘法和加法并且这两种运算满足各自的规则(具体点就是加法公理乘法公理闭合性这些)就可以成为线性空间。从这个定义看线性空间的定义和矩阵没半毛钱关系，而且这个概念相对于矩阵抽象了不知道多少倍。线性空间的元素成为向量，矩阵也可以看成向量的集合，但是这时候的向量就不简单的是我想的那样(实数或复数的集合)。 线性空间又有何用呢？和矩阵有啥关系呢？应该说矩阵就是一个线性空间，线性空间是更加抽象的概念，除了矩阵还会有其他的东西是线性空间。 通常还会遇到一个叫Tensor 的东西，就是对矩阵在其他维度上的扩展，比如有颜色的图像可以是二维矩阵在另一个维度上的叠加，这是不是一个数学概念我都不清楚，但是计算机上是这样使用的。