Kaggle ： Display Advertising Challenge( ctr 预估 )

Display Advertising Challenge 

---------2015/1/12

一：背景

CriteoLabs 2014年7月份在kaggle上发起了一次关于展示广告点击率的预估比赛。CriteoLabs是第三方展示广告的佼佼者，所以这次比赛吸引了很多团队来参赛和体验数据。

二：评估指标

 

比赛采用的评价指标是LoglLoss：

至于离线评估为何更倾向采用logloss，而不是采用AUC值。Facebook在他们发布的论文【1】中提到现实环境中更加关注预测的准确性，而不是相对的排序。而AUC值更侧重相对排序，比如把整体的预测概率提升1倍，AUC值保持不变，但是logloss是有变化的。

三：训练集和测试集数据分布

训练集： 4000w+， 测试集：600w+。

训练集是连续7天的Criteo广告展示数据，里面包含点击和非点击数据。里面对每天的负样本进行了不同采样率的采样，使得整体的正负样本比率不至于悬殊。

测试集是接着训练集后的一天广告展示数据，测试集的采样方式和训练集一致。

下面是kaggle上一位参赛者给出的训练集点击率分布：

从上面很清楚的能看到7天周期性变化的数据，每天的点击率变化，有衰减的趋势，点击率平均值大约处在0.25左右。

其中数据特征介绍如下：

13个连续特征，26个类目特征。最终的效果提升更多体现在26个类目特征的处理和变换上面。其中类目特征要说明的是，有的类目特征的属性上万，有的属性展示和点击都少。

四：模型

ctr预估在工业界是个相对成熟的话题，在计算广告领域尤为重要，很多成熟的解决方案。我知道很多团队目前logistic regression + L1正则是主流，大多数工程师干的活就是挖特征。

这块百度的技术实力很强，据说网盟已经用了特征自动化选取的方法，凤巢lr, gbdt , DNN都有在应用。阿里的据说现在MLR（mixed logistic regression)是主流(备注下： 看过作者公布的ppt，感觉和先聚类再在每个类别里面做lr训练，预测时候最后根据归属各个类别概率加权平均lr的预测概率的思想有点相似)。

本次比赛，我前期采用了vowpal-wabbit logistic regression online learning的方法来搞，其中包含了大量的特征处理，构造新特征， 人工做cross-feature等。后期，采用gbdt boosting树的方法来提升效果，采用的是xgboost的工具包，同时把类目离散特征全部转化成连续特征，然后送入到xgboost模型中来训练。

 

1：数据预处理

（1） 连续特征预处理

在使用vowpal-wabbit logistic regression online learning model（简称vw） 时候，对连续特征做了等频的离散化处理，送入到vw model。其实，实验发现，特征做log 变化后，连续特征和点击率大多呈现线性关系。

在xgboost model中，连续特征没有做离散化处理，只做了异常值处理，log变换。

补充说明下: 连续特征离散化处理除了非监督的等频，等宽等，还可以参考facebook的文章[1] 和自己之前的博客[2]。

附上facebook上使用boosting tree来进行连续特征离散化处理图：

（1） 类目特征预处理

在vw model 中， 类目特征直接做one hot encoding,  vw 直接支持这种格式，还可以方便做cross-feature。由于vw model使用的是online learning 线性模型，所以，在模型中构造了很多关于类目特征的一些扩展特征： 比如：类目属性的点击率，点击次数，woe，26个类目属性的平均点击率以及方差等。同时，这里面做了个处理，对于那些类目属性展现次数和点击率都很低的属性进行了过滤处理。

在xgboost中，把类目特征替换为该类目特征在当前属性的历史点击率。因为存在某些类目属性展现次数很少，对于这种的直接算历史点击率时候需要做个ctr平滑处理。

2：训练模型

    （1）vw model ：处理好特征后，使用命令行的方式进行模型训练。

Training VW:

./vw ../data/click.train.vw  --ngram 2 --skips 0  -q fi -q fw -q it  -f ../data/click.model.vw  --loss_function logistic

 

Testing VW:

./vw ../data/click.test.vw  --ngram 2 --skips 0  -q fi -q fw -q it  -t -i ../data/click.model.vw -p ../data/click.preds.txt

     vw model : 这次最好的结果是0.46078.

 

   （2）xgboost： gbdt model，调节树的个数和深度来生成ensemble树。xgboost最好的效果是0.45801.

Xgboost model coding :

 

# load file from text file, also binary buffer generated by xgboost

dtrain = xgb.DMatrix('/mnt/train_sparse_features.txt')

print 'load train end..'

 

# specify parameters via map, definition are same as c++ version

param = {'bst:max_depth':10, 'bst:min_child_weight':5, 'bst:eta':0.4, 'silent':1, 'objective':'binary:logistic' }

 

param['nthread'] = 30

 

print 'param: ', param

plst = param.items()

plst += [('eval_metric', 'auc')]

plst += [('eval_metric', 'logloss')]

 

print 'plst:', plst

 

# specify validations set to watch performance

evallist  = [(dtrain,'train')]

num_round = 100

 

print 'begin to train model....'

bst = xgb.train( plst, dtrain, num_round, evallist )

 

bst.save_model('xgboost_ctr.model')

 

# this is prediction

 

dtest = xgb.DMatrix('/mnt/test_sparse_features.txt')

print 'load test end...'

 

print 'begin to predict...'

preds = bst.predict(dtest)

o_f  = open('xgboost_preds.txt','w')

for e in preds:

    o_f.write('%f\n'%e)

o_f.close()

 

(3) 提一下FM 以及开源的工具包：libfm。因为机器和一些找不到的客观原因，始终没能把libfm在全量数据中跑出来。这个比赛的第一名[3]就用的是fm 模型， fm模型的一个好处是2-ways interaction，可以自动做两个特征的交叉。

 

(4) ensemble : 最后的结果，无疑还是各种ensemble，这里主要人工制定权重，最后的结果是是0.453左右。

 

    补充说明：大多数情况下，测试集ctr的预测精度相对于训练集和测试集的时间间隔呈现衰减趋势，也就是说如果训练集和测试集样本的时间间隔比较久的话，用训练集的模型预测测试集的ctr，那么精度会有受损。这就是为什么现在很多团队在ctr预估时候，不断提升模型更新的速度。

3：预测结果

  其中xgboost model 预测ctr概率分布（vw model整体趋势和xgboost基本一致）如下：

我的结果：

前三名的结果：

baseline：

五：总结

   ctr预估无论在学术界和工业界都是个很热的话题，尤其在互联网的计算广告领域。在计算广告领域，ctr的预估准确与否直接影响商业利润，所以，公司尤为重视。在像BAT这样的大平台，数据量巨大，不仅要考虑模型的精度，还要考虑模型训练的时间代价。线性模型更新快，非线性模型训练代价高。线性模型需要大量的特征工程，尤其是要做大量cross-feature来达到非线性效果。非线性模型模型本身具备拟合非线性，所以，相对线性模型，做的特征工程会少很多。

六：参考文献

[1] He X, Pan J, Jin O, et al. Practical Lessons from Predicting Clicks on Ads at Facebook[C]//Proceedings of 20th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. ACM, 2014: 1-9.

[2] http://blog.csdn.net/hero_fantao/article/details/34533533。

[3] http://www.csie.ntu.edu.tw/~r01922136/kaggle-2014-criteo.pdf

[4] https://github.com/guestwalk/kaggle-2014-criteo

[5] https://github.com/JohnLangford/vowpal_wabbit/wiki/Tutorial

[6] http://www.libfm.org/

[7] McMahan H B, Holt G, Sculley D, et al. Ad click prediction: a view from the trenches[C]//Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2013: 1222-1230. (备注： Google online learning FTRL)

[8] Chen T, Tang L, Liu Q, et al. Combining factorization model and additive forest for collaborative followee recommendation[C]//KDD-Cup Workshop. 2012.

[9] A two-stage ensemble of diverse models for advertisement ranking in KDD Cup 2012[J]. 2012.

[10] MANAVOGLU E, ROSALES R. Simple and scalable response prediction for display advertising[J].  (CriteoLab 发布关于展示广告的文章 )