树回归

1、什么是树回归

2、优缺点

3、树的构建

4、树剪枝

• 树回归：
  线性回归模型需要拟合所有样本（局部加权线性回归除外），当数据拥有众多特征且特征间关系复杂时，构建全局模型就显得太难了。一种可行的方法是将数据集切分成很多份易建模的数据，然后利用线性回归技术建模。如果首次切分后仍难以拟合线性模型就继续切分，

  在这种切分模式下，树结构和回归法相当有用。
  CART（Classification And Regression Trees，分类回归树）算法，即可用于分类，也可用于回归。其中的树剪枝技术用于防止树的过拟合。
  决策树不断将数据切分成小数据集，直到所有目标变量完全相同，或者数据不能再切分为止。决策树是一种贪心算法，它要在给定的时间内做出最佳选择，但不关心能否达到全局最优。

• 优缺点：
  优点：可以对复杂和非线性的数据建模
  缺点：结果不易理解

• CART是十分著名的树构建算法，它使用二元切分来处理连续性变量，对其稍作修改就可处理回归问题。CART算法也使用一个字典来存储树的数据结构，该字典含：
  待切分的特征
  待切分的特征值
  右子树，不需切分时，也可是单个值
  左子树，右子树类似
  CART可构建两种树：回归树（regression tree），其每个叶节点包含单个值；模型树（model tree），其每个叶节点包含一个线性方程。创建树的函数createTree()的伪代码大致如下：

找到最佳的待切分特征 :    如果该节点不能再分，将该节点存为叶节点     执行二元切分     在右子树调用createTree()方法     在左子树调用createTree()方法

构建树：

对每个特征 :     对每个特征值 :         将数据集切分成两份         计算切分的误差         如果当前误差小于当前最小误差，那么将当前切分设定为最佳切分并更新最小误差 返回最佳切分的特征和阈值

终止条件：
1.剩余特征值的数目为1
2.如果切分数据集后的误差提升不大，不应进行切分操作，而直接创建叶节点
3.两个切分后的子集中的一个的大小小于用户定义的参数tolN时

代码：

def binSplitDataSet(dataSet, feature, value):    mat0 = dataSet[nonzero(dataSet[:,feature] > value)[0],:]    mat1 = dataSet[nonzero(dataSet[:,feature] <= value)[0],:]    return mat0, mat1def loadDataSet(fileName):    dataMat = []    file = open(fileName)    for line in file.readlines():        lineMat = line.strip().split('\t')        lineArr = map(float, lineMat)        dataMat.append(lineArr)    return dataMatdef regLeaf(dataSet):    return mean(dataSet[:, -1])def regErr(dataSet):    return var(dataSet[:,-1])*shape(dataSet)[0]def chooseBestSplit(dataSet, leafType = regLeaf, errType = regErr, ops = (1, 4)):    tolS = ops[0]#容许误差下降值    tolN = ops[1]#最小样本    n = shape(dataSet)[1]    if len(set(dataSet[:, -1].T.tolist()[0]))==1:        return None, leafType(dataSet)    S = errType(dataSet)    bestS = inf    bestf = 0    bestv = 0    for i in range(n-1):        for j in set(dataSet[:, i].T.tolist()[0]):            mat0, mat1 = binSplitDataSet(dataSet, i, j)            if (shape(mat0)[0] < tolN) or (shape(mat1)[0] < tolN):                continue            newS = errType(mat0) + errType(mat1)            if newS < bestS:                bestf = i                bestv = j                bestS = newS    if (S - bestS) < tolS:        print '***1***'        return None, leafType(dataSet)    mat0, mat1 = binSplitDataSet(dataSet, bestf, bestv)    if (shape(mat0)[0] < tolN )or( shape(mat1)[0] < tolN):        print '***2***'        return None, leafType(dataSet)    return bestf, bestvdef creatTree(dataSet, leafType = regLeaf, errType = regErr, ops = (0, 1)):    feat, val = chooseBestSplit(dataSet, leafType, errType, ops)    if feat == None:        return val    retTree={}    retTree['spInd'] = feat    retTree['spVal'] = val    lSet, rSet = binSplitDataSet(dataSet, feat, val)    retTree['left'] = creatTree(lSet, leafType, errType, ops)    retTree['right'] = creatTree(rSet, leafType, errType, ops)    return retTree