矩阵代数基本概念 2017-07-26 # 矩阵代数基本概念 [《Deep Learning》](http://www.deeplearningbook.org/) 这本书的第一部分也就是数学基础部分的Linear Algebra 部分,发现其实这书讲得很简单,可以作为概念回顾,但是不适合没有基础的同学,作者也推荐了两本书如 The Matrix Cookbook 。 读书的时候用的那本高等代数,其实讲得很理论,然后找了《矩阵分析与应用》这本书来读,发现讲得更简单些,记录一些概念或者说大纲。 ## 矩阵 #### 什么是矩阵 通常说的m x n 矩阵就是按照长方阵列排列的复数或实数集合。当n =1 时就成了列向量,m=1时就成了行向量。所以本质上矩阵是数的集合,或者向量的集合,向量也是数的集合,但是它们都有空间结构。所以矩阵就是数学上的一个抽象概念,对矩阵定义运算,并研究和总结矩阵的性质背证明是很有的。比如m x n 线性方程组(m个方程描述n个未知量的线性关系)的解问题,就可以通过研究其系数矩阵或者增广矩阵的性质来解决。 #### 矩阵的基本运算 矩阵的基本运算包括:矩阵转置、加法、成分,本来还有共轭和共轭转置但我不想说 转置没什么好说的,很好理解。 加法有:矩阵之间的加法加法会有一些运算规律,比如交换律,结合律 乘法会有向量和矩阵相乘,矩阵和矩阵相乘,而且也需要考虑其中的运算规律。 #### 矩阵的初等变换 初等变换的得到的新矩阵是和原矩阵成为等价矩阵,怎么理解等价呢。一个简单的例子对一个线性方程组的增广矩阵进行初等变换后,方程的解并不会发生变化。 初等行变换: 1)互换矩阵的任意两行 2)一行元素同乘一个非零常数 3)将第p行元素同乘一个非零常数加到另一行。 一个简单的应用就是高斯消去法解线性方程组。 #### 矩阵性能指标 二次型 行列式 特征值 矩阵的逆 ## 线性空间 有没发现空间这个概念在数据里及其神奇,因为各种空间太多了,其实空间的本质就是集合。 《矩阵分析和应用》中这样说:线性空间的本质是一类事物在矩阵代数里的一个抽象集合表示,线性映射或线性变换则反应线性空间中元素的基本线性联系。 在王萼芳的《高等代数》里的定义就更加的规范和数学化,用数学的语言,不想抄书大致的意思就是线性空间V是定义在某个数域上的非空集合,这个集合中上定义了乘法和加法并且这两种运算满足各自的规则(具体点就是加法公理乘法公理闭合性这些)就可以成为线性空间。从这个定义看线性空间的定义和矩阵没半毛钱关系,而且这个概念相对于矩阵抽象了不知道多少倍。线性空间的元素成为向量,矩阵也可以看成向量的集合,但是这时候的向量就不简单的是我想的那样(实数或复数的集合)。 线性空间又有何用呢?和矩阵有啥关系呢?应该说矩阵就是一个线性空间,线性空间是更加抽象的概念,除了矩阵还会有其他的东西是线性空间。 通常还会遇到一个叫Tensor 的东西,就是对矩阵在其他维度上的扩展,比如有颜色的图像可以是二维矩阵在另一个维度上的叠加,这是不是一个数学概念我都不清楚,但是计算机上是这样使用的。