基于机器学习的高价值用户简历自动分类

一、业务介绍

对于任何互联网招聘企业来说，求职者的简历库都是核心资产。因为这是他们变现的基础。只有拥有足够多的简历，让企业可以在该网站上获取需要的人才，才能持续从企业客户获得订单。
以猎聘网为例。猎聘网的市场定位为满足企业中高端人才的需求。这使得猎聘向企业客户提供的简历是具有一定质量的中高层企业管理者、专业技术人才等。出售这样的简历资源，也是猎聘变现的主要来源。那么在此类简历资源定价方面，企业需要付较高的费用来购买此类简历;而对于其余的简历，企业仅需要付出非常低廉的成本即可获得。因此，猎聘内部根据简历的信息，将简历进行等级分类。
目标清晰后，那么问题随之而来。猎聘网获取简历的最主要方式是在线注册。网站为吸引用户注册，在注册时一般只是填写一些简单的名片信息。待注册完成后选择进行简历完善，填写复杂麻烦一些个人信息，如教育经历和工作经历等。最终形成一份完善的简历。但猎聘每天有数万新用户注册。有些用户如果找工作的意愿并不强烈等原因，只是填写了少量的职业信息，即名片信息，而并未完成整个简历的填写。而一般情况下的手工分类在分级的过程中，使用了简历中多方面的信息，如果简历不完整，将无法准确对简历进行评价。
为获得完整的简历，猎聘职业顾问团队(GCDC)需要电话联系该部分用户引导完善简历。当然这种方式也是成本最为昂贵的。历史数据表明，未填写简历的用户中有相当数量的高价值的用户，而猎聘职业顾问需要能够优先拨打这批高级用户并提升其转化率。这就要求将评分较高、更有可能是高级的用户推荐给GCDC进行优先电话拨打，提高了高级用户简历转化率。

二、数据处理与模型部分

1.数据采集：训练数据主要来自三张表——user_c、user_register和res_user。表user_c主要存储用户的名片信息;user_register存储用户的注册信息;res_user存储用户的简历信息。从这三个表中我们抽取用户的名片信息及评级信息。(字段及对应含义见表-1)

2、数据预处理。如数据去重；剔除无效数据：年龄未满18岁或超过退休年龄、工龄小但职位高等明显不合常识的数据。

3.选取特征属性：确定了如下8个特征：性别(男、女)、出生年份、开始工作年份、最高学历、职能、当前公司、当前工作的城市。为用户等级的评判依据。

4.特征属性的预处理：
1)非度量属性的二值化处理：如性别属性。男女设定为二值属性(男→1;女→0);
2）可度量离散特征的有序化处理。如城市分一、二、三线城市。学历分博士、硕士、本科、专科及以下等。

5.数据建模

k近邻(k-Nearest Neighbors，简称kNN)是一种常用的监督式学习方法。其基本思想是 ：相似的对象具有相同或者相近的类别(物以类聚、人以群分)。如果一个对象在特征空间中的k个距离最近、最相似的训练样本大多数属于某个类别，则该对象可以被判定属于该类别。

在建立模型时，对已分类数据为训练实例。对于每一个新的实例，计算其与每个训练实例的欧式距离，选取距离最近的k个实例(k值的选取依赖于交叉验证)，采用“多数表决”的策略，计算新样例属于高级用户的可能性(打分在1~100分)，并根据分数高低对用户进行排序，推荐给用户获取部门作为召回策略的重要参考。

由以上计算过程可知，对于每一待分类的样例，均需计算其与所有已分类数据的距离，然后选择前最小的前K个值，根据这K个值多数原则来判定此样例的所属类别。但如果简历库中已有数以千万计的分类建立，待分类样本也十分庞大。这给计算会带来沉重的负担。为提高分类效率，可以
先对分类进行粗筛选。比如将明显为低端职位的直接划为一类，(如”司机”、”水电工”、”家政”等)。这样粗筛选后，在进入kNN计算环节。以此提高效率和准确率。