基于IDSS和Machine Learning的零售金融大数据分析（二）

基于IDSS和Machine Learning的零售金融大数据分析（二）

 

接上一篇简要分析了Fintech的发展对银行业的影响，金融大数据诞生背后原因，本篇将继续讨论下面话题：

1、       金融零售客户大数据分析目的

2、       金融零售客户大数据分析定理

3、       金融零售客户大数据分析的维度

4、       金融零售客户大数据分析传统步骤

一、金融零售客户大数据分析目的

因为大部分金融从业人员都会感知到，传统金融行业面临如下两个挑战，第一是如何理解客户需求和消费能力，第二是在客户信用额度的基础上，寻找潜在产品的目标客户，以及利用现有金融数据统计分析的结果为客户开发产品。但是现在金融数据几乎全是交易类数据，这些数据几乎不具备获客基因，那么传统金融行业迫切需要使用大数据的技术来应对以上两个挑战。这就是金融零售客户大数据分析的目的。

1、臭名昭著的“360度沼泽”

一讲的大数据客户分析，很多银行都陷入一个误区，就是著名的“360度沼泽”。一到客户分析，很多银行都会提到360度客户洞察，这是在原来传统ACRM顾问所灌输的一个错误的理念，其实360度客户洞察是一个广告宣传用语，根本不存在数据可以全面描述客户，透彻了解客户。其实大家都知道，人是非常复杂的动物，信息纬度非常复杂，仅仅依靠外部信息来刻画客户内心需要根本不可能，目前AI一个发展分支就是人类的认知过程研究，让计算机来学习人对问题的思考过程，以找到好的解决问题的办法。

2、场景因数

客户大数据分析一词具有很重的场景因素，不同企业对于客户分析有着不同对理解和需求，比如城商行和股份制银行、具备消费场景的和不具备消费场景的互联网金融公司、电商企业和百货公司等对客户分析都有不同的理解，因为这些企业目前所处的场景、所服务的场景、能够搭建的场景都不相同。

每个行业对客户分析需求的信息完全不一样，信息纬度也不同，对分析结果要求也不同。不要相信那些大数据企业号称自己大数据平台、模型可以应对很多行业，然后冠以跨界的名义，虽然这些跨界的数据对客户分析有一定的作用，但是没办法保证这是强关联性，影响因子到底有多少？学习的样本是否可靠？这些都不可而知。因为每个行业客户需求分析所需要得强关联性维度完全不一样，这个行业数据维度是强关联的，但是在另一个行业却是弱关联的，没办法匹配。因为信息维度不同，那么对分析结果要求也不一样。

每个行业都有一套适合自己行业的客户分析方法，但是其核心都是为客户服务，为业务场景服务。

3、大数据分析本质

大数据分析本质有两个方面，一是从业务角度出发对用户进行分析，了解用户需求，寻找目标客户。二是银行利用统计的信息，开发出适合目标客户的产品或开展针对性强的营销活动。

二、金融零售客户大数据分析定理

大数据分析一个定理规则是三个方面：一是涉及数据的纬度需要业务场景结合，二是简单干练又要和业务强相关，三是筛选便捷又要方便进一步操作。

在金融大数据方面很多传统银行面临两个很大误区，误区一是认为客户大数据分析数据纬度越多越好，Y标签数据越丰富越好。误区二是对输入的数据还设定了权重甚至建立了模型，搞的大数据平台是一个巨大而负责的工程。

1、维度以信用信息和人口属性为主

所有信息都是信用信息：客户分析的目的是寻找目标客户，其必须是具有潜在消费能力的用户；信用信息可以直接证明客户的消费能力，是客户分析中最重要和基础的信息，包含消费者工作、收入、学历、财产等信息。

人口属性信息是为了找到客户：定位完目标客户之后，金融企业需要触达客户，人口属性信息就是起到触达客户的作用，人口属性信息包含姓名、性别，电话号码，邮件地址，家庭住址等信息。这些信息可以帮助金融企业联系客户，将产品和服务推销给客户。

2、采用强相关信息，忽略弱相关信息

强相关信息：就是同场景需求直接相关的信息，其可以是因果信息，也可以是相关程度很高的信息；建议定义采用0到1作为相关系数取值范围的化，0.6以上的相关系数就应该定义为强相关信息。

For Example：其他条件相同的前提下，35岁左右人的平均工资高于平均年龄为30岁的人，计算机专业毕业的学生平均工资高于哲学专业学生，从事金融行业工作的平均工资高于从事纺织行业的平均工资，上海的平均工资超过海南省平均工资。人的年龄、学历、职业、地点对收入的影响较大，同收入高低是强相关关系。

弱相关信息：用户的身高、体重、姓名、星座等信息，很难从概率上分析出其对消费能力的影响，这些弱相关信息不具备较大的商业价值。

3、将定量的信息推理为定性的信息

客户大数分析目的：是为产品筛选出目标客户，定量的信息不利于对客户进行筛选，需要将定量信息转化为定性信息，通过信息类别来筛选人群。

For Example：以将年龄段对客户进行划分，18岁－25岁定义为年轻人，25岁－35岁定义为中青年，36-45定义为中年人等。

可以参考个人收入信息，将人群定义为高收入人群，中等收入人群，低收入人群。参考资产信息也可以将客户定义为高、中、低级别。

定性信息的类别和方式方法，金融可以从自身业务出发，没有固定的模式。

也可将客户分为：务实的企业主、年轻一代、积极自我参与、多渠道节约型、年老风险厌恶型客户；

也可对客户分为炫彩人生、浪漫人生、和美人生、丰硕人生、悠然人生；可根据产品特征进行分析

将银行各类定量信息，集中在一起，对定性信息进行分类，那么基于IDSS进行定性化，有利与对用户进行筛选，快速定位目标客户，是客户大数据分析的另外一个原则。

三、金融零售客户大数据分析的维度

分析的维度原则不用太复杂。

金融零售客户大数据信息分成五类信息。分别是人口属性，信用属性，消费特征，兴趣爱好，社交属性，然后了解五大类信息的作用，以及涉及的强相关信息，如下图1-1

 

1、人口信息

人口信息用于描述一个人基本特征的信息，主要作用是帮助银行知道客户是谁，解决如何触达用户的问题。

主要包括姓名，性别，年龄，电话号码，邮箱，家庭住址等数据维度

2、信用信息

信用信息用于描述用户收入潜力和收入情况，支付能力。帮助银行了解客户资产情况和信用情况，有利于定位目标客户

主要包括客户职业、收入、资产、负债、学历、信用评分等维度

3、消费特征

消费特征用于描述客户主要消费习惯和消费偏好，用于寻找高频和高价值客户；帮助银行依据客户消费特点推荐相关金融产品和服务，转化率将非常高；

为了便于筛选客户，可以参考客户的消费记录将客户直接定性为某些消费特征人群，For Example：差旅人群，境外游人群，旅游人群，餐饮用户，汽车用户，母婴用户，理财人群等。

4、社交信息

社交信息用于描述用户在社交媒体的评论，这些信息往往代表用户内心的想法和需求，具有实时性高，转化率高的特点。

For Example：客户询问上海哪里好玩？澳大利亚墨尔本的交通？房屋贷款哪家优惠多？那个理财产品好？这些社交信息都是代表客户多需求，如果企业可以及时了解到，将会有助于产品推广

5、兴趣爱好

兴趣爱好用于描述客户具有哪方面的兴趣爱好，帮助银行了解客户兴趣和消费倾向，定向进行活动营销。

兴趣爱好的信息可能会和消费特征中部分信息有重复，区别在于数据来源不同。兴趣爱好的信息可能来源于Social 和LBS information

For Example：户外运动爱好者，旅游爱好者，电影爱好者，科技发烧友，健身爱好者，奢侈品爱好者等。

四、金融零售客户大数据分析传统步骤

目前国内的大数据企业，分析步骤是基本上从数据集中到数据处理，从强相关数据到定性分类数据，从引入外部数据到依据业务场景进行筛选目标用户。如下图1-2

1、数据整理和集中

银行内部的信息分布在不同的系统中，一般情况下，人口属性信息主要集中在CRM系统，信用信息主要集中在信贷系统之中，也集中在CRM系统中或ECIF中，消费特征主要集中在渠道和产品系统中。

兴趣爱好和社交信息需要从外部引入，例如客户的行为轨迹可以代表其兴趣爱好和品牌爱好，移动设备到位置信息可以提供较为准确的兴趣爱好信息。社交

信息，可以借助于金融行业自身的文本挖掘能力进行采集和分析，也是可以借助于厂商的技术能力在社交网站上直接获得。社交信息往往是实时信息，商业价值较高，转化率也较高，是大数据预测方面的主要信息来源。例如用用户在社交网站上提出罗马哪里好玩的问题，就代表用户未来可能有出国旅游的需求；如果客户在对比两款汽车的优良，客户购买汽车的可能性就较大。银行可以及时介入，为客户提供金融服务。

客户Y标签数据主要分为五类，人口属性、信用信息、消费特征、兴趣爱好、社交信息。这些数据都分布在不同的信息系统，银行都上线了数据仓库（DW），所有Y标签相关的强相关信息都可以从数据仓库里面整理和集中，并且依据Y标签商业需求，利用ETL，Hadoop，生成用户Y标签的原始数据。

DW成为用户Y标签数据的主要处理工具，依据业务场景和Y标签需求将原始数据进行分类、筛选、归纳、加工等，生成用户Y标签需要的原始数据。

用户分析的纬度信息不是越多越好，只需要找到可五大类Y标签信息强相关信息，同业务场景强相关信息，同产品和目标客户强相关信息即可。根本不存在360度的用户Y标签信息，也不存在丰富的信息可以完全了解客户，另外数据的实效性也要重点考虑。

2、找到同业务场景强相关数据

依据用户Y标签的原则，所有Y标签信息应该是5大分类的强相关信息。强相关信息是指同业务场景强相关信息，可以帮助金融行业定位目标客户，了解客户潜在需求，开发需求产品。

只有强相关信息才能帮助银行有效结合业务需求，创造商业价值。例如姓名、手机号、家庭地址就是能够触达客户的强人口属性信息，收入、学历、职业、资产就是客户信用信息的强相关信息。差旅人群、境外游人群、汽车用户、旅游人群、母婴人群就是消费特征的强相关信息。摄影爱好者、游戏爱好者、健身爱好者、电影人群、户外爱好者就是客户兴趣爱好的强相关信息。社交媒体上发表的旅游需求，旅游攻略，理财咨询，汽车需求，房产需求等信息代表了用户的内心需求，是社交信息场景应用的强相关信息。

银行内部信息较多，在用户Y标签阶段不需要对所有信息都采用，只需要采用同业务场景和目标客户强相关的信息即可，这样有助于提高产品转化率，降低ROI，有利于简单找到业务应用场景，在数据变现过程中也容易实现。

在这里千万不要将用户Y标签工作搞的过于复杂，同业务场景关系不大，这样就让很多金融企业特别是领导失去用户Y标签的兴趣，看不到用户Y标签的商业，不愿意在大数据领域投资。为企业带来商业价值才是用户Y标签工作的主要动力和主要目的。

3、数据进行分类和标签化（定量to定性）

银行集中了所有信息之后，依据业务需求，对信息进行加工整理，需要对定量的信息进行定性，方便信息分类和筛选。这部分工作建议在数据仓库进行，不建议在大数据管理平台（DMP）里进行加工。

定性信息进行定量分类是用户Y标签的一个重要工作环节，具有较高的业务场景要求，考验用户Y标签商业需求的转化。其主要目的是帮助银行将复杂数据简单化，将交易数据定性进行归类，并且融入商业分析的要求，对数据进行商业加工。例如可以将客户按照年龄区间分为学生，青年，中青年，中年，中老年，老年等人生阶段。源于各人生阶段的金融服务需求不同，在寻找目标客户时，可以通过人生阶段进行目标客户定位。银行可以利用客户的收入、学历、资产等情况将客户分为低、中、高端客户，并依据其金融服务需求，提供不同的金融服务。可以参考其金融消费记录和资产信息，以及交易产品，购买的产品，将客户消费特征进行定性描述，区分出电商客户，理财客户（1.3.1已经对理财客户进行了Y标签），保险客户，稳健投资客户，激进投资客户，餐饮客户，旅游客户，高端客户，公务员客户等。利用外部的数据可以将定性客户的兴趣爱好，例如户外爱好者，奢侈品爱好者，科技产品发烧友，摄影爱好者，高端汽车需求者等信息。

将定量信息归纳为定性信息，并依据业务需求进行标签化，有助于银行找到目标客户，并且了解客户的潜在需求，为金融行业的产品找到目标客户，进行精准营销，降低营销成本，提高产品转化率。另外金融企业还可以依据客户的消费特征、兴趣爱好、社交信息及时为客户推荐产品，设计产品，优化产品流程。提高产品销售的活跃率，帮助金融企业更好地为客户设计产品。

4、依据业务需求引入外部数据

利用数据进行Y标签目的主要时为业务场景提供数据支持，包括寻找到产品的目标客户和触达客户。银行自身的数据不足以了解客户的消费特征、兴趣爱好、社交信息。

金融企业可以引入外部信息来丰富客户Y标签信息，例如引入银联和电商的信息来丰富消费特征信息，引入移动大数据的位置信息来丰富客户的兴趣爱好信息，引入外部厂商的数据来丰富社交信息等。

外部信息的纬度较多，内容也很丰富，但是如何引入外部信息是一项具有挑战的工作。外部信息在引入时需要考虑几个问题，分别是外部数据的覆盖里，如何和内部数据打通，和内部信息的匹配率，以及信息的相关程度，还有数据的鲜活度，这些都是引入外部信息的主要考虑纬度。外部数据鱼龙混杂，数据的合规性也是金融企业在引入外部数据时的一个重要考虑，敏感的信息例如手机号、家庭住址、身份证号在引入或匹配时都应该注意隐私问题，基本的原则是不进行数据交换，可以进行数据匹配和验证。

外部数据不会集中在某一家，需要金融企业花费大量时间进行寻找。外部数据和内部数据的打通是个很复杂的问题，手机号／设备号／身份证号的MD5数值匹配是一种好的方法，不涉及隐私数据的交换，可以进行唯一匹配。依据行业内部的经验，没有一家企业外部数据可以满足企业要求，外部数据的引入需要多方面数据。一般情况下，数据覆盖率达到70%以上，就是一个非常高的覆盖率。覆盖率达到20%以上就可以进行商业应用了。

金融行业外部数据源较好合作方有银联、芝麻信用、运营商、中航信、腾云天下、腾讯、微博、前海征信，各大电商平台等。市场上数据提供商已经很多，并且数据质量都不错，需要金融行业一家一家去挖掘，或者委托一个厂商代理引入也可以。独立第三方帮助银行引入外部数据可以降低数据交易成本，同时也可以降低数据合规风险，是一个不错得尝试。另外各大城市和区域的大数据交易平台，也是一个较好的外部数据引入方式。

5、按照业务需求进行筛选客户（DMP的作用）

用户Y标签主要目的是让银行挖掘已有的数据价值，利用数据Y标签技术寻找到目标客户和客户到潜在需求，进行产品推销和设计改良产品。

用户Y标签从业务场景出发，实现数据商业变现重要方式。用户Y标签是数据思维运营过程中到一个重要闭环，帮助金融企业利用数据进行精细化运营和市场营销，以及产品设计。用户Y标签就是一切以数据商业化运营为中心，以商业场景为中，帮助金融企业深度分析客户，找到目标客户。

DMP（大数据管理平台）在整个用户Y标签过程中起到了一个数据变现的作用。从技术角度来讲，DMP将Y标签数据进行标签化，利用机器学习算法来找到相似人群，同业务场景深度结合，筛选出具有价值的数据和客户，定位目标客户，触达客户，对营销效果进行记录和反馈。大数据管理平台DMP过去主要应用在广告行业，在金融行业应用不多，未来会成为数据商业应用的主要平台。

DMP可以帮助信用卡公司筛选出未来一个月可能进行分期付款的客户，电子产品重度购买客户，筛选出金融理财客户，筛选出高端客户（在本行资产很少，但是在他行资产很多），筛选出保障险种，寿险，教育险，车险等客户，筛选出稳健投资人，激进投资人，财富管理等方面等客户，并且可以触达这些客户，提高产品转化率，利用数据进行价值变现。DMP还可以了解客户的消费习惯、兴趣爱好、以及近期需求，为客户定制金融产品和服务，进行跨界营销。利用客户的消费偏好，提高产品转化率，提高用户黏度。

DMP还作为引入外部数据的平台，将外部具有价值的数据引入到银行内部，补充用户Y标签数据，创建不同业务应用场景和商业需求，特别是移动大数据、电商数据、社交数据的应用，可以帮助金融企业来进行数据价值变现，让用户Y标签离商业应用更加近一些，体现用户Y标签的商业价值。

用户Y标签的关键不是360度分析客户，而是为银行带来商业价值，离开了商业价值谈用户Y标签就是耍流氓银行用户Y标签项目出发点一定要从业务需求出发，从强相关数据出发，从业务场景应用出发。用户Y标签的本质就是深度分析客户，掌握具有价值数据，找到目标客户，按照客户需求来定制产品，利用数据实现价值变现。

那么介绍大数据传统分析方案后，后面讲重点介绍基于IDSS和机器学习的大数据分析方案，包括一些常用的ML算法应用、推理机、学习机等内容介绍和应用。