对cost函数的概率解释
来源:互联网 发布:固定循环编程注意什么? 编辑:程序博客网 时间:2024/06/06 00:41
Likehood函数即似然函数,是概率统计中经常用到的一种函数,其原理网上很容易找到,这里就不讲了。这篇博文主要讲解Likelihood对回归模型的Probabilistic interpretation。
在我们的回归模型中由于其他因素的影响我们的预测函数为:
其中 为影响预测的其他因素或者说噪声,我们假设这些噪声IID,我们知道随机独立同分布的噪声服从Gaussian distribution,则:
This implies that:
那么现在的问题转换为这样的:Given X (the design matrix, which contains all the x(i)’s) and θ, what is the distribution of the y(i)’s? 怎样来解决这个问题,我们想到了概率论里面的最大似然函数(Maximum likelihood),极大似然函数就是寻求参数的估计值 使得在给定的样本下,联合概率达到最大。其求解过程是这样的,令:
The principal of maximum likelihood says that we should should choose θ so as to make the data as high probability as possible. I.e., we should choose θ
to maximize L(θ). Instead of maximizing L(θ), we can also maximize any strictly increasing function of L(θ). In particular, the derivations will be a bit simpler if we instead maximize the log likelihood ℓ(θ):
Hence,我们只要minimizing 式子 就可以minimizing ,到这里大家看这个式子就可以知道了 Linear Regression中的cost函数的由来了吧。所以说数学这东西真的是奥妙无穷,世界上任何想当然的东西都可以用数学来证明,大家好好领会吧!!
- 对cost函数的概率解释
- 概率,对人世的解释
- 对最小二乘法的概率解释.
- [笔记]Python虚拟机对函数的解释
- 线性回归的概率解释
- 线性回归的概率解释
- 标量对矩阵求导、复合函数的概率密度
- Reduced Cost解释
- 机器学习 从矩阵和概率的角度解释最小均方误差函数
- Andrew Ng公开课学习笔记——均方误差损失函数的概率解释
- 先验概率与后验概率的解释
- VFP中对RGB和RGBComp函数的解释
- 转载别人对虚函数的解释,方便以后查找
- TF-IDF模型的概率解释
- “三门问题”概率的C++程序解释
- 关于囚徒问题的概率解释(
- TF-IDF模型的概率解释
- TF-IDF模型的概率解释
- nyoj.168 房间安排【水题】 20141110
- [LeetCode] Subsets II
- org.eclipse.core.internal.resources.ResourceException: A resource exists with a different case:
- ASP.NET E-MAIL
- hdu2602Bone Collector(01背包)
- 对cost函数的概率解释
- 机器学习第二课
- kmeans理解
- Matlab中编译C++文件
- cv论文(SPARSE REPRESENTATION相关)
- Can not perform this action after onSaveInstanceState 解决办法
- 小黑小波比.查看并杀死某进程
- SQLSERVER中如何忽略索引提示
- 最长公共子序列问题LCS