统计学习三要素引发的思考

李航博士，在《统计学习》一书中提到这统计学习三要素：模型、策略和算法。

关于策略和算法，什么算法适用哪一类问题，以及该算法采用什么样的策略，这些一般是既定的经验知识，这里由于能力有限不在此叙述。那么就来说说模型吧。

和模型相关的，这里说说其中两个部分。一个是数据源，一个是特征工程。

一、说数据源和特征工程

记得有一句话总结的很好——数据源和特征工程决定了机器学习的上限，算法只是用来逼近这个上限。这句话有几个理解。

第一，人的参与和主观能动性对机器学习效果至关重要

个人认为，机器学习，本质是机器按照人指定的规则去做了一个统计推断，从这个角度上讲，机器学习的效果其实很大一部分取决于做这个模型的人，以及他对业务以及数据了解的程度，这个时候算法反而不那么重要了。

第二，数据源的选择和特征工程的构建至关重要

这两部分需要也确实会花费大量的时间和人力，所以要着重关注着两个环节的方法论和优化方案，这个是提升模型效果最好的方式。

第三，算法是用来逼近学习上限的

所以算法的目的是一致的，都是为了逼近上限。但是不同的算法使用于不同的场景，逻辑回归，适合高维；决策树由于容易过拟合，一般用来分析影响因素和帮其他模型筛选变量。同时，算法也以为自身的策略不同有不同的性能差别。

二、数据源

数据源，寻找和确定数据源是一个思路清晰但是很耗时的一件事。

最近在做手机用户的性别预测。使用有性别标记的数据源，来自于不同的业务，而且信息的准确度不一样。那么如何选择数据源？如何验证数据源？如何进行汇总和处理冲突呢？

首先，选择数据源，只有一个准则：数据的准确性。因为监督学习非常依赖于标记，也就是数据源的准确性，如果不准确，后面的一切工作可能都是白搭，付诸东流。所以前期数据调研很重要。

然后，就是汇总这些经过筛选的可靠数据源。进行交叉验证，依次来看数据源的准确性，进一步过滤和基准数据差异较大的数据源。

最后，就是汇总和处理冲突。将数据源按照准确度优先级，进行冲突处理，最终得到汇总数据源。

三、特征工程

那么，如何做特征工程？

以性别预测为例。我们选择了手机颜色、手机型号、前置摄像头日使用次数，手机镜子App使用次数、App的安装和卸载、App的操作记录，用户身高、体重、昵称等9个大的维度，以及最终汇总的50万维的特征向量总表。最终对男性预测准确率在94%左右，女性89%左右。

1、头脑风暴，特征大汇总

团队头脑风暴，20+业务数据源整合和汇总，基于现有对性别研究的论文成果，筛选出20+特征。这是第一步。

2、特征过滤

特征的覆盖度统计，筛选掉覆盖率特别低的特征；

设置特征出现的次数阈值（比如，拥有某个特征的设备数少于100个过滤掉）；

模型评估后，对模型效果基本没提升的特征。

3、特征整合

有两种方式，一种是通过决策树或者GBDT去选择显著特征作为模型训练的输入。

一种是人工筛选和组合，比如应用的安装次数-卸载次数就是一个整合的新特征。

4、特征评估

评估每类特征的显著程度。