线性模型(1)
来源:互联网 发布:世纪朝阳证券交易软件 编辑:程序博客网 时间:2024/05/21 08:39
机器学习中用于分类和回归的模型中,线性模型是最简单的模型了,最近看了Pattern Recognition and Machine Learning中线性模型的部分,这里把其中的几个个人认为比较重要的地方记下来,算是做笔记了
线性模型是因为模型对其中的参数是线性的,但对输入的向量(特征)并不一定是线性的,因为基函数(basic function)可能不是线性的
最简单的线性模型
使用基函数的线性模型
其它基函数还有
高斯基函数:
S(sigmoidal)基函数:
还有常用于三角函数的傅里叶基函数,用于信号处理的小波(wavelet)基函数
假设目标变量取样与确定函数和高斯噪声:
那么有 : 和
似然函数:
log形式:
其中:
由Ed的形式可以看出最大似然(ML)和最小二乘是一致的
上式可以通过一个Moore-Penrose pseudo-inverse矩阵来求解
同时可以得到偏移值w0是目标值均值与基函数均值的差
还有precision的取值:
最小二乘法的几何意义可以看做是目标值在有基函数确定的向量空间的投影
连续学习用于数据量很大或在线学习
正则最小二乘是对权值加了约束的最小二乘:
当q等于1是,在统计学文献中被称为lasso,因为这有助于是权值稀疏,可以直观地由下图得到
当有多个输出的时候与单一输出基本是一致的
- 线性模型(1)
- 从线性模型到广义线性模型(1)——模型假设篇
- R语言学习(1)线性模型
- 回归学习---线性模型(1)
- 回归的线性模型(1)
- 机器学习Chapter-1(线性模型)
- 广义线性模型1
- (一)线性模型
- 线性模型(一)--广义线性模型(GLM)简介
- 广义线性模型(三)
- 广义线性模型(GLM)
- 线性模型(linear model)
- 机器学习与TensorFlow编程(1)线性回归模型
- TensorFlow系列(1)——建立线性回归模型
- 线性模型
- 线性模型
- 线性模型
- 线性模型
- RAC简单的硬件环境描述
- 我所理解的设计模式(C++实现)——外观模式(Facade Pattern)
- initWithPatternImage方法
- reinforcement learning & value iteration discussion方面的奠基性文章
- C# 9
- 线性模型(1)
- 3I工作室春游活动
- 阿里云
- 新浪微博的JSON解析[转]
- POJ - 1050 To the Max ...二维最大子矩阵转化为1维
- 将字符串中开头和结尾空格去掉,并且中间空格仅仅保留一个
- 让你的APP支持iPhone5
- 694 - The Collatz Sequence
- 静态变量的生存期和作用域