xgboost调用sklearn的交叉验证，并且使用自定义的训练集、验证集进行模型的调参

一、概述

如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。 构造一个使用XGBoost的模型十分简单。但是，提高这个模型的表现就有些困难(至少我觉得十分纠结)。这个算法使用了好几个参数。所以为了提高模型的表现，参数的调整十分必要。在解决实际问题的时候，有些问题是很难回答的——你需要调整哪些参数？这些参数要调到什么值，才能达到理想的输出？

有人会说，这个简单哇，直接使用sklearn集成的交叉验证，比如：gridsearchCV等

但是这样我们往往碰见一个问题，就是这个方法自定义的验证集是从你给出的训练集随机分割的，在合理一点就是按照label等比例分割，保证训练集和测试集的label分布一致。但是有时候我们的测试集分割方式可能是按照时间分出来的（特别是在各种机器学习竞赛上），这时候我们为了尽量保证验证集和测试集同分布，也应该使用时间分割，这个时候怎么使用自定义的验证集去调参的问题就摆在了我们面前

话不多说，直接进入正题，实例代码加讲解告诉各位怎么做

二、在gridsearchCV上使用自定义验证集

（1）首先我们要先了解一个sklearn的类

就是下面这个类：

class sklearn.cross_validation.PredefinedSplit(test_fold)

下面是该类的官方示例代码：

这个方法主要的功能就是，传入一个list，list的每个index对应你的数据集的对应样本（如下图传入的X有4行也就是4个样本，所以你传入PredefinedSplit的list也有四个元素，每个元素对应X的每一行样本数据），list中-1对应的样本一定会被分入train，其他如图的0和1对应的样本会被轮流放入train，而另一个对应的样本就放入test，所以下图会有两种切分结果。如果你只有-1和其他一种元素（如1），那么只会得到一种切分，-1对应样本为train，1对应样本为test。

（2）使用自定义验证集去调参

测试样例我们使用目前表现非常优秀的xgboost算法

测试代码如下我们用：（sklearn.cross_validation.PredefinedSplit去作为验证集生成器）

运行结果如下：

三、这里附上xgboost交叉验证调参的完整教程链接

XGBoost参数调优完全指南（附Python代码）英文原文地址：

Complete Guide to Parameter Tuning in XGBoost by Aarshay Jain

XGBoost参数调优完全指南（附Python代码）：

原文翻译与校对：工药叉 && 韩小阳

http://blog.csdn.net/han_xiaoyang/article/details/52665396