线性回归和局部加权线性回归
来源:互联网 发布:苹果手机关闭移动数据 编辑:程序博客网 时间:2024/04/24 13:36
线性回归
算法优缺点:
- 优点:结果易于理解,计算不复杂
- 缺点:对非线性数据拟合不好
- 适用数据类型:数值型和标称型
算法思想:
这里是采用了最小二乘法计算(证明比较冗长略去)。这种方式的优点是计算简单,但是要求数据矩阵X满秩,并且当数据维数较高时计算很慢;这时候我们应该考虑使用梯度下降法或者是随机梯度下降(同Logistic回归中的思想完全一样,而且更简单)等求解。这里对估计的好坏采用了相关系数进行度量。
数据说明:
这里的txt中包含了x0的值,也就是下图中前面的一堆1,但是一般情况下我们是不给出的,也就是根据一个x预测y,这时候我们会考虑到计算的方便也会加上一个x0。
数据是这样的
函数:
loadDataSet(fileName):
读取数据。standRegres(xArr,yArr)
普通的线性回归,这里用的是最小二乘法
plotStandRegres(xArr,yArr,ws)
画出拟合的效果calcCorrcoef(xArr,yArr,ws)
计算相关度,用的是numpy内置的函数
结果:
局部加权线性回归(Locally Weighted Linear Regression)
算法思想:
这里的想法是:我们赋予预测点附近每一个点以一定的权值,在这上面基于最小均方差来进行普通的线性回归。这里面用“核”(与支持向量机相似)来对附近的点赋予最高的权重。这里用的是高斯核:
函数:
lwlr(testPoint,xArr,yArr,k=1.0)
根据计算公式计算出再testPoint处的估计值,这里要给出k作为参数,k为1的时候算法退化成普通的线性回归。k越小越精确(太小可能会过拟合)求解用最小二乘法得到如下公式:
lwlrTest(testArr,xArr,yArr,k=1.0)
因为lwlr需要指定每一个点,这里把整个通过循环算出来了lwlrTestPlot(xArr,yArr,k=1.0)
将结果绘制成图像
结果:
1 from numpy import * 2 def loadDataSet(fileName): 3 numFeat = len(open(fileName).readline().split('\t')) - 1 4 dataMat = []; labelMat = [] 5 fr = open(fileName) 6 for line in fr.readlines(): 7 lineArr =[] 8 curLine = line.strip().split('\t') 9 for i in range(numFeat):10 lineArr.append(float(curLine[i]))11 dataMat.append(lineArr)12 labelMat.append(float(curLine[-1]))13 return dataMat,labelMat14 def standRegres(xArr,yArr):15 xMat = mat(xArr)16 yMat = mat(yArr).T17 xTx = xMat.T * xMat18 if linalg.det(xTx) == 0.0:19 print 'This matrix is singular, cannot do inverse'20 return21 ws = xTx.I * (xMat.T * yMat)22 return ws23 def plotStandRegres(xArr,yArr,ws):24 import matplotlib.pyplot as plt 25 fig = plt.figure()26 ax = fig.add_subplot(111)27 ax.plot([i[1] for i in xArr],yArr,'ro')28 xCopy = xArr29 print type(xCopy)30 xCopy.sort()31 yHat = xCopy*ws32 ax.plot([i[1] for i in xCopy],yHat)33 plt.show()34 def calcCorrcoef(xArr,yArr,ws):35 xMat = mat(xArr)36 yMat = mat(yArr)37 yHat = xMat*ws38 return corrcoef(yHat.T, yMat)39 def lwlr(testPoint,xArr,yArr,k=1.0):40 xMat = mat(xArr); yMat = mat(yArr).T41 m = shape(xMat)[0]42 weights = mat(eye((m)))43 for j in range(m):44 diffMat = testPoint - xMat[j,:]45 weights[j,j] = exp(diffMat*diffMat.T/(-2.0*k**2))46 xTx = xMat.T * (weights * xMat)47 if linalg.det(xTx) == 0.0:48 print "This matrix is singular, cannot do inverse"49 return50 ws = xTx.I * (xMat.T * (weights * yMat))51 return testPoint * ws52 def lwlrTest(testArr,xArr,yArr,k=1.0):53 m = shape(testArr)[0]54 yHat = zeros(m)55 for i in range(m):56 yHat[i] = lwlr(testArr[i],xArr,yArr,k)57 return yHat58 def lwlrTestPlot(xArr,yArr,k=1.0):59 import matplotlib.pyplot as plt60 yHat = zeros(shape(yArr))61 xCopy = mat(xArr)62 xCopy.sort(0)63 for i in range(shape(xArr)[0]):64 yHat[i] = lwlr(xCopy[i],xArr,yArr,k)65 fig = plt.figure()66 ax = fig.add_subplot(111)67 ax.plot([i[1] for i in xArr],yArr,'ro')68 ax.plot(xCopy,yHat)69 plt.show()70 #return yHat,xCopy71 def rssError(yArr,yHatArr): #yArr and yHatArr both need to be arrays72 return ((yArr-yHatArr)**2).sum()73 def main():74 #regression75 xArr,yArr = loadDataSet('ex0.txt')76 ws = standRegres(xArr,yArr)77 print ws78 #plotStandRegres(xArr,yArr,ws)79 print calcCorrcoef(xArr,yArr,ws)80 #lwlr81 lwlrTestPlot(xArr,yArr,k=1)82 if __name__ == '__main__':83 main()
0 0
- 线性回归和局部加权线性回归
- 线性回归和局部加权线性回归
- 线性回归和局部加权线性回归
- 线性回归和局部加权回归
- 局部加权线性回归
- 局部加权线性回归
- 局部加权线性回归
- 局部加权线性回归
- 局部加权线性回归
- 局部加权线性回归
- 局部线性加权回归
- 局部加权线性回归
- 局部加权线性回归
- 局部加权线性回归
- 线性回归与局部加权线性回归
- [机器学习]线性回归和局部加权线性回归
- 局部加权线性回归算法
- lwlr(局部加权线性回归)
- java语言中关于抽象类和接口的区别(面试经常问到,因此总结一下)
- qq空间密码破解
- 排序算法之归并
- SQLite使用方法
- 推荐给初级Java程序员的3本进阶书
- 线性回归和局部加权线性回归
- weka中文使用说明——数据格式
- POJ 2499 Binary Tree 数学题解
- ubuntu14.04 i686搭建hadoop-2.5.2
- leetcode之Binary Tree Postorder Traversal
- 搞不懂你的套路
- Eclipse 安装最新SVN插件
- 线性回归和局部加权线性回归
- HTML 5:你必须知道的data属性