二次型(求梯度) —— 公式的简化
来源:互联网 发布:开根号c语言 编辑:程序博客网 时间:2024/04/27 06:46
1. 基本等式
定义式:
xTAx=∑i,jxixjAij 化简
(wTx−wTm)2=wT(x−m)(x−m)Tw=wTAw 简单证明如下:
(wTx−wTm)2=(wTx)(wTx)+(wTm)(wTm)−2wTxwTm=wTxxTw−2wTxmTw+wTmmTw=wT(x−m)(x−m)Tw=wTAw
2. 性质
xTWy=yTWx 代码证明
x = np.random.rand(3)W = np.random.rand(3, 4)y = np.random.rand(4)x.dot(W.dot(y))y.dot((W.T).dot(x)) # 两者是相等的;
理论证明:
xTWy====∣∣∣∑ixiWi1∑ixiWi2⋯∑ixiWin∣∣∣⋅y∑jyj(∑ixiWij)∑ijxiWijyj=∑ijyj(W′)jixiyTWx 显然有,
Aij=(A′)ji
3. 二次型是标量
就像行列式是标量一样;
比如对于主成分分析 PCA 的推导而言,
4. 梯度计算
求
0 0
- 二次型(求梯度) —— 公式的简化
- 机器学习基础(十一)—— Logistic Regression 梯度更新公式的推导
- 求图像的梯度
- 学会用“?:”符号(简化问题)——求三个数的最大值
- 求最大公约数和最小公倍数—简化写法
- 求阶乘的位数——斯特林公式
- 梯度下降的矩阵分解公式推导
- 随机梯度下降的公式实现
- SVR(二次损失函数)公式推导
- C++实现——求三角形的面积(海伦公式)
- 求N!的位数(斯特林公式)
- 求图片的梯度函数
- 随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比
- 随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比
- 随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比
- 随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比
- 随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比
- 随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比
- SharedPreferenceUtil
- 拉格朗日对偶
- KoaHub平台基于Node.js开发的Koa的skip插件代码详情
- 抓取百度关键词排名、标题、连接、描述
- JDBC直接连接数据库
- 二次型(求梯度) —— 公式的简化
- Stacked Autoencoders学习笔记
- 多重背包(原本是一个01背包)
- 拼图响应式前端框架版响应式后台正式发布
- 使用多态替代If else或switch的更多尝试
- Zookeeper--Zookeeper是什么
- java关键字
- 正则表达式学习
- 软件开发中的详细设计