≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(九)
来源:互联网 发布:游戏币交易平台源码 编辑:程序博客网 时间:2024/05/16 12:13
眼瞅着这学期也快接近尾声了,也在讲我越来越不熟悉的东西了...
核平滑与局部方法
1. 核平滑器
(1) K-NN(K近邻)
KNN的思想已经说过很多遍了,大致就是找点x的k个近邻,然后取其
代表权重,离x点越近越大,越远越小。这样听起来更make sense一点嘛~近朱者赤,近墨者黑。
(2) 单峰函数
顾名思义,就是长得像一个山峰的函数,比如我们最经典的正态钟型函数,或者翻过来的二次抛物线函数等等。
(3) 权重(按距离)
我们定义权重
。
多维的情况下,写成矩阵形式就是
,其中A为正定对角阵,然后我们就可以加权了。
2. 局部方法
(1) 一般概念
我们有数据集
。
相应的引入了加权的概念之后,我们就可以定义加权损失函数:
。
(2) 具体例子
(i) 局部回归:
代表已经归一化的权重。
在线性的情况下,我们有
,有点类似于我们常见的加权最小二乘法。这里的思想也是,在x点附近的点权重会比较大,离x远的权重则比较小,整体感觉就是在x点附近做了一个回归分析。
(ii) 局部似然:和局部回归蛮像的,只是把损失函数换成(对数)似然函数,即从最大化
。
3. 密度估计与分类
(1) 密度与分类: 我们有x和观测结果G的联合分布:
。
反过来,后验概率
。
(2) 密度估计
为了使用贝叶斯分类器,我们需要先对密度进行估计。
(i) 直方图: 最简单的就是根据直方图来估计密度,这个没什么好说的...
(ii) 核估计方法(Parzen):Parzen提出的核密度估计为
。
4. 核作为基函数
密度函数
,然后的求解就比较复杂了。
上面的两个是非参数方法,下面说一些参数方法。
(iii) 混合模型(GMM, Gauss Mixed Model)
,具体算法可用EM,下节课详述。
-----稍稍跑题------
GMM,我印象中它怎么是 Generalized Moment Method, 广义矩估计呢?果然是被计量经济学祸害太深了...
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(九)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(一)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(二)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(三)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(四)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(一)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(二)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(三)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(四)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(五)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(六)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(七)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(八)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十一)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十二)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十三)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十四)
- mina框架之一
- web.xml中classpath和classpath*的区别
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(八)
- WPF样式的使用
- mina框架之二
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(九)
- Leetcode 156. Binary Tree Upside Down (Medium) (cpp)
- ubuntu下 apache2 开启/关闭模块方法
- 实时日志收集-查询-分析系统(Flume+ElasticSearch+Kibana)
- javascript—1
- 百合网被骗记录——记一个女骗子
- MongoDB——环境准备
- fresco jar包冲突
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十)