深度学习日记 1

学长说过，看书一定要记笔记，不然就白看了，特别是在自学的时候，所以我来记笔记啦

久闻深度学习的大名，以前也跟着实验室写过一点代码，但是总是云里雾里不清不楚，总想找个时间找本基础的书籍全面的补一补，但是又觉得内容肯定好多，懒！

最近终于下定决心来好好啃啃这块快发霉的骨头了

书是《深度学习中文版》，也用英文版，不过我没看，毕竟难度已经够大了，还给自己增加难度干嘛

深度学习日记 1 - 线性代数：

1、标量 scalar 斜体小写
2、向量 vector 一列数（不是行）粗体小写
有时我们需要指定向量中某个集合的元素。在这种情况下，我们定义一个包含这些索引的集合，然后将该集合写在脚标处。比如，指定x1，x3 和x6，我们定义集合S = {1;3;6}，然后写作xS
我们用符号- 表示集合的补集中的索引。比如x-1 表示x 中除x1 外的所有元素，x-S 表示x 中除x1，x3，x6 外所有元素构成的向量。
3、矩阵 matrix 二维数组 粗体的大写变量
4、张量 tensor 不止二维的数组 用正写的粗体大写字母


5、转置 tranpose
6、scalar 与 vector相加或者相乘，我们将其与矩阵的每个元素相乘或相加
7、广播 broadcasting 
相同列数的向量b与标量A相加，即A的每一列都加上b，这个速记方法使我们无需在加法操作前定义复制向量b到矩阵的每一行。这种隐式地复制向量b到很多位置的方式，被称为广播(broadcasting)。

2.3单位矩阵和逆矩阵
2.4、线性相关和生成子空间：
生成子空间span:原始向量线性组合后所能达到的所有点的集合
一个列向量线性相关的方阵被称为奇异的（singular）即行列式=0，对于方阵左右逆相等

2.5 向量范数：用来衡量一个向量大小的量，称为范数
范数是将向量映射到非负值的函数，直观上来说，向量x 的范数是衡量从原点到点x 的距离，
L2范数：欧几里得范数(Euclideannorm ||x||)。它表示从原点出发到向量x 确定的点的欧几里得距离。
L1范数：当机器学习问题中零和非零元素之间的差异非常重要时，通常会使用L1 范数
无穷范数：max 范数(maxnorm)。这个范数表示向量中具有最大幅度的元素的绝对值。max|x|

矩阵范数：Frobenius范数（Frobenius norm,类似于L2范数）

2.6 特殊矩阵
对角矩阵：diagonal matrix :1、diag计算矩阵乘法很快；2、diag计算逆矩阵很快；3、不是所有diag都是方阵
对称矩阵：symmetric,转置和自己相等的矩阵
单位向量：unit vector,是具有单位范数(unit norm) 的向量：即向量的2范数L2等于1
正交矩阵：orthigonal：正交矩阵的行向量不仅是正交的，还是标准正交的（标准！） matrix：A'A=AA'=I,所以正交矩阵求逆代价小

2.7 特征分解
特征向量和特征值：即使用特征值和特征向量表示矩阵；
矩阵是奇异的当且仅当含有0特征值
所有特征值都是正数的矩阵被称为正定(positive definite)，所有特征值都是非负数的矩阵被称为半正定(positive semidefinite)所有特征值都是负数的矩阵被称为负定(negative definite)；所有特征值都是非正数的矩阵被称为半负定(negative semidefinite)。

2.8 SVD：奇异值分解：矩阵分解为奇异向量和奇异值（同特征分解对应），不是所有的实数矩阵都有特征值但是所有实数矩阵都有奇异值。所以svd分解更广泛
2.9 moore-penrose伪逆：对于不是方阵的矩阵求逆


2.10迹运算：即矩阵对角元素的和：
1、即使循环置换后矩阵乘积得到的矩阵形状变了，迹运算的结果依然不变
2、是标量在迹运算后仍然是它自己
2.11 行列式：det(A)
行列式的绝对值可以用来衡量矩阵相乘后空间扩大或者缩小了多少
2.12 PCA:主成分分析