最小角回归(Least Angle Regression)
来源:互联网 发布:银行卡照片制作软件 编辑:程序博客网 时间:2024/05/20 00:37
数学公式显示有问题,更好的版本请点击 最小角回归
背景知识
最小角回归和模型选择比较像,是一个逐步的过程,每一步都选择一个相关性最大的特征,总的运算步数只和特征的数目有关,和训练集的大小无关。最小角回归训练时的输入为特征矩阵
相关性
相关性一般是用来衡量两个向量之间的相关程度,通常采用相关性公式进行计算,其中A,B为向量:
corr的绝对值越大,表示A,B的相关性越大,反之则越小。corr的符号则表示这两个向量是正相关还是负相关。由于最小回归的训练数据是经过正则化的,即
在最小角回归中,
这里的
参数选择过程
在最小角回归中,参数选择的准则就是相关性,每次都选择和期望输出相关性最大的特征,即
前进路径
在我们的特征矩阵中,共有P个特征向量,每个向量都是N维的,期望输出矩阵Y也是N维的,因此我们可以将这些特征向量以及期望输出向量看作是N维空间中的点,而我们的目的就是在这个空间中找到一条从原点到Y的路径。需要满足的条件就是这条路径可以使用特征矩阵的线性组来合表示,而这些特征矩阵的系数就是线性回归的权重向量。
前进方向
在最小角回归的计算过程中,每一步都会选择一个和期望输出
前进距离
在确定了前进方向之后,我们就可以沿着
- 计算特征向量和残值的相关性,并选择最相关的特征向量组成相关特征矩阵
XA CorrC^sjAXA=====XT(Y−uA^)maxj|Corrj|sign(Corrj){j:|Corrj|=C^}{sjXj:j∈A} - 计算前进方向,上面已经经过,至此,我们得到了
uA - 计算前进距离,上面已经讲过前进的终止条件,那么在计算中如何体现呢?即存在
Xj 其和当前残值所成角的绝对值等于被选中的特征于残值所成的角,为了方便计算,我们可以先计算a=XTuA ,同时我们令Ac={1,2,...,P}−A 。min右上角的+号,表示取最小的正数。|XTAi(Y−u^A−γ^uA)|C^−γ^AAγ^===|XTj(Y−u^A−γ^uA)||Corrj−γ^aj|min+j∈Ac⎧⎩⎨C^−CorrjAA−aj,C^+CorrjAA+aj⎫⎭⎬
为什么说每步选择一个参数
在最小角回归的文字描述中,我们说每一步都会选择相关性最大的特征加入到
假设在第k步中选中了m个特征
其中绝对值最大的必然是第k步中被选中的特征以及
- 最小角回归(Least Angle Regression)
- 最小角回归(Least Angle Regression)
- 6.最小角回归(Least Angle Regression)
- 最小角回归(least angle regression) 的一点记录
- 机器学习方法:回归(三):最小角回归Least Angle Regression(LARS),forward stagewise selection
- 机器学习方法:回归(三):最小角回归Least Angle Regression(LARS),forward stagewise selection
- 机器学习方法:回归(三):最小角回归Least Angle Regression(LARS),forward stagewise selection
- LAR(最小角回归)
- Least Angle Regression
- Least Angle Regression
- 最小角回归笔记
- 分组最小角回归算法(group LARS)
- 偏最小二乘法回归(Partial Least Squares Regression)
- 偏最小二乘法回归(Partial Least Squares Regression)
- 偏最小二乘法回归(Partial Least Squares Regression)
- 偏最小二乘法回归(Partial Least Squares Regression)
- 偏最小二乘法回归(Partial Least Squares Regression)
- Ridge回归、Lasso回归、坐标下降法、最小角回归
- jQuery UI调用draggable之后无法拖拽的解决办法
- Linux Kernel 之AP读写Nand Flash上的Yaffs2文件的全过程浅析
- POJ 1077 HDU 1043 Eight (IDA*)
- hdu - 1757 - A Simple Math Problem(矩阵快速幂)
- xp+ubuntu8.10双系统启动顺序修改
- 最小角回归(Least Angle Regression)
- Python之lxml
- 常见凸多边形判断方法
- Java的四种引用
- 吐槽-android4高级编程(第三版)(中文版)之getQuantityString
- POJ 3260 The Fewest Coins
- Nand ECC校验和纠错详解
- 设置铃声
- ubuntu13.04下安装jdk7