矩阵求导与实例
来源:互联网 发布:java随机数求和 编辑:程序博客网 时间:2024/05/17 06:00
版权声明:本文为博主原创文章,未经博主允许不得转载。
目录(?)[+]
- 缘由
- 布局
- 求导的类别
- 从简单的例子说起
- 实例
- SVM的对偶形式转换
- Soft-SVM对偶形式转换
- 线性回归
- logistic回归
- 参考资料
缘由
机器学习的很多算法表示中都采用了矩阵的形式,对算法的描述分析中就涉及到了对向量、对矩阵的求导。
比如SVM、linear regression的推导等。
布局
矩阵求导有两种布局:
- 分子布局(numerator layout)
- 分母布局(denominator layout)
下面用向量
我们假定所有的向量都是列向量。
在分子布局下:
在分母布局下:
在下面的推导中,都将采用分母布局,也就是向量(列)对标量求导的结果都是行向量。(采用这种布局的主要原因是向量对向量的求导就是一个矩阵了)
求导的类别
求导大致分为5类:
- 向量对标量
- 标量对向量
- 向量对向量
- 矩阵对向量
- 向量对矩阵
矩阵求导的大致规则如下:
对标量求导结果都要转置,而标量对向量或者矩阵求导的话位置不变。
简单来说,上变下不变。
向量对标量求导:
标量对向量求导:
向量对向量求导:
矩阵对标量求导:
标量对矩阵求导:
从简单的例子说起
例子1:
其中,
属于标量对向量求导,所以有:
例子2:
其中,
属于向量对向量求导,所以有:
例子3:
其中,
属于向量对向量的求导,所以有:
例子4:
其中,
属于向量对向量的求导,所以有:
假如已知:
其中,
那么,
例子5:
那么,
其中,
上面的式子,当
例子6:
则
实例
SVM的对偶形式转换
SVM的原形式(primary form)是:
SVM的对偶形式(dual form)是:
上升分别对
代入原式中,有
这个对偶问题,可以用相应的quadprog包求解。其中,
同时,这个也是
Soft-SVM对偶形式转换
SVM的原形式(primary form)是:
对偶形式是:
线性回归
原问题是:
当最佳值存在时:
所以有:
logistic回归
首先,定义需要的函数:
接着,根据最大似然,并且利用
上式对
下面,可以利用GD或者SGD求解。
GD:
SGD:
参考资料
- 闲话矩阵求导
- 矩阵求导与实例
- 矩阵求导与实例
- 矩阵求导实例
- 矩阵求导
- 矩阵求导
- 矩阵求导
- 矩阵求导
- 矩阵求导
- 矩阵求导
- 矩阵求导
- 矩阵求导
- 矩阵求导
- 矩阵求导
- 矩阵求导
- 矩阵求导
- 矩阵求导
- 矩阵求导
- 矩阵求导
- linux下安装或升级GCC4.8,以支持C++11标准
- Android中 dp,px,dpi三者之间的关系
- transition&transform
- MQTT服务器APOLLO搭建测试以及花生壳映射
- python操作mongodb
- 矩阵求导与实例
- 平衡查找树之B树
- java通过JDBC链接SQLServer2012
- pyhs(0.2.4):python2.7+handlersocket
- JavaWeb开发知识总结(tomcat)
- EOJ 3262 黑心啤酒厂 题解
- Python实现中文最大逆向匹配分词算法
- mysql自身关联
- c 图