≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(八)
来源:互联网 发布:游戏币交易平台源码 编辑:程序博客网 时间:2024/05/16 13:37
平滑splines
有数据集
,记为(1)
式。然后我们有如下结论:使(1)最小化的解一定是分段三次多项式。
证明如下。
记
的自由度。
若
。
(2) 我们设
,
.
(3)记
(4) 下面我们证明,
。
且
所以得到
。
(5)有了上述结论后,我们有
,所以对于所有的g,我们都有其二阶导数的范数小于f的二阶导数的范数,故在(1)式中代入g总比代入f大(或者相等)。这样我们就把一个无限维的最优化问题变为了有限维。
子波分析
1. 函数的平移与缩放
平移:
缩放:
组合起来就是
,写成矩阵形式就是
2. Hoar函数
(1)定义:
。
(2)Hoar函数的平滑与缩放。定义Hoar函数族为
,
为一组(胖瘦一样)。
定理1(正交):
。
定理2(增长):随着d的增加,
。直观的理解就是,d越大,分辨率越高。
定理3(完备):
(3)定义
。
(4)定义
。
定理4:函数族
之间的空间随着d的增加,彼此正交,且所有的叠起来之后亦为完备空间。
如此,我们称
为father函数。注意,这里Hoar函数非连续。
在更一般的场合,我们寻找
(完备)。
再寻找mother函数
完备。
这样的
到底存不存在呢?实证结论是存在,而且很多,不过坏消息是他们的形式都不算简单。
spline和子波分析
spline和子波分析都提供了一组线性基底,其线性组合可以定义函数类。由此,我们可以定义广义线性模型的函数族,为统计学习模型的函数族做约束。
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(八)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(一)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(二)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(三)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(四)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(一)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(二)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(三)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(四)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(五)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(六)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(七)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(九)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十一)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十二)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十三)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十四)
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(七)
- Android组件化实战
- Qt禁用鼠标之后的问题
- mina框架之一
- web.xml中classpath和classpath*的区别
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(八)
- WPF样式的使用
- mina框架之二
- ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(九)
- Leetcode 156. Binary Tree Upside Down (Medium) (cpp)
- ubuntu下 apache2 开启/关闭模块方法
- 实时日志收集-查询-分析系统(Flume+ElasticSearch+Kibana)
- javascript—1
- 百合网被骗记录——记一个女骗子