机器学习——回归中的相关度与R平方值及其应用

1、皮尔逊相关系数（Pearson Correlation Coeffident）

（1）衡量两个值线性相关的强度

（2）取值范围[-1,1]：正向相关>0；负向相关<0；无相关性=0.

（3）公式：，其中，Cov(X,Y)是相关性方差；Var（X）：X的方差；Var（Y）：Y的方差

2、计算方法举例

结合上面的公式并利用excel计算出皮尔逊相关系数r：

3、其他举例

4、R平方值

（1）定义：决定系数，反映因变量的全部变异能通过回归关系被自变量解释的比例。

（2）描述：如R平方为0.8，则表示回归关系可以解释因变量80%的变异。换句话说，如果我们能控制自变量不变，则因变量的变异程度会减少80%.

（3）简单线性回归：R^2 = r*r

多元线性回归：

三者之间的关系：SST = SSR+SSE

5、R平方的局限性：

R平方会随着自变量的增加会变大，R平方和样本量是有关系的。因此，要对得到的R平方进行修正，修正方法如下：

6、在Python中实现相关度与R平方值

#!/usr/bin/env python# -*- coding:utf-8 -*-# Author:ZhengzhengLiuimport numpy as npimport mathfrom astropy.units import Ybarn#相关度def computeCorrelation(X,Y):    xBar = np.mean(X)    yBar = np.mean(Y)    SSR = 0    varX = 0    varY = 0    for i in range(0,len(X)):        diffXXBar = X[i] - xBar        diffYYBar = Y[i] - yBar        SSR += (diffXXBar * diffYYBar)        varX += diffXXBar ** 2        varY += diffYYBar ** 2    SST = math.sqrt(varX * varY)    return SSR / SST#多项式回归def polyfit(x,y,degree):       #degree是x的次数，此处为：1    results = {}    coeffs = np.polyfit(x,y,degree)     #对传入的参数自动计算回归方程    results['polynomial'] = coeffs.tolist()    #转换成列表    p = np.poly1d(coeffs)    yhat = p(x)    ybar = np.sum(y)/len(y)    ssreg = np.sum((yhat-ybar)**2)    print("ssreg:",str(ssreg))    sstot = np.sum((y-ybar)**2)    print("sstot:",str(sstot))    results['determination'] = ssreg/sstot    print("results:",results)    return resultstestX = [1,3,8,7,9]testY = [10,12,24,21,34]print("r:",computeCorrelation(testX,testY))print("r^2:",str(computeCorrelation(testX,testY)**2))      #简单线性回归的决定系数print(polyfit(testX,testY,1)['determination'])

运行结果：

r: 0.940310076545r^2: 0.884183040052ssreg: 333.160169492sstot: 376.8results: {'polynomial': [2.65677966101695, 5.322033898305076], 'determination': 0.88418304005181958}0.884183040052