证券业数据挖掘

[作者blog: duzhaoyi2000 ]

自八十年代投资人工智能（AI）研究项目失败后，人工智能转入实际应用时提出了一个新兴的、面向商业应用的研究课题——数据挖掘。目前，越来越多的管理人员正在利用数据挖掘工具，解决所遇到的至关重要的商业问题和决策问题，如企业经营方向的定位、管理模式的确立、营销的决策、内部生产力的促进、成本的控制和企业核心竞争力的获取等。

　　数据挖掘首先是需要在商业环境中收集了大量的数据，然后运用挖掘的知识对企业已有的数据进行分析，具有不同的应用形式。例如：
（1）作为企业经营分析研究工具 （Research）
（2）嵌入企业运营系统提高过程控制（Process Improvement）
（3）作为市场营销分析工具（Marketing）
（4）作为客户关系管理CRM工具(Customer Relationship Management)
　
数据挖掘的概念

　　所谓数据挖掘，是从海量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。也就是根据预定义的商业目标，对大量的企业数据进行探索和分析，揭示其中隐含的商业规律，并进一步将其模型化的先进有效技术过程。数据挖掘是一门交叉学科，它集成了许多学科中成熟的工具和技术，包括数据库技术、统计学、机器学习、模型识别、人工智能、神经网络等等。

　　数据挖掘能做以下六种不同事情：分类 （Classification） 、估值（Estimation）、 预测（Prediction） 、相关性分组或关联规则（Affinity grouping or association rules） 、聚类（Clustering）、描述和可视化（Description and Visualization）

　　（1）分类
　　分类即区分数据类别。首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。
　　（2）估值
　　估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出，同时分类的类别是确定数目的，估值的量是不确定的。
　　（3）预测
　　通常，预测是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。预测其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。
　　（4）相关性分组或关联规则
　　通过分析数据或记录间的关系，决定哪些事情将一起发生。
　　（5）聚类
　　聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚类不依赖于预先定义好的类，不需要训练集。
　　（6）描述和可视化
　　即对数据进行归约、概化或图形描述等。

数据挖掘的使用价值

　　数据挖掘技术源于商业的直接需求，因此它在各种商业领域都存在广泛的使用价值。
　　(1)客户分析 [CRM中的应用]
　　随着“以客户为中心”的经营理念的不断深入人心，分析客户、了解客户并引导客户的需求已成为企业经营的重要课题。通过对积累的交易数据进行分析，可以按各种客户指标（如自然属性、收入贡献、交易额、价值度等）对客户分类，然后确定不同类型客户的行为模式，以便采取相应的营销措施，促使企业利润的最大化。
　　（2）运筹和企业资源的优化
　　节约成本是企业盈利的关键。通过分析历史的财务数据、库存数据和交易数据，可以发现企业资源消耗的关键点和主要活动的投入产出比例，从而为企业资源优化配置提供决策依据，例如降低库存、提高库存周转率、提高资金使用率等。

　　（3）异常检测
　　在许多商业领域中，异常事件具有显著的商业价值，如客户流失、银行的信用卡欺诈、电信中移动话费拖欠以及医学中特殊病情的征兆等。通过数据挖掘中的奇异点分析可以迅速准确地甄别这些异常事件。
　　（4）企业分析模型的管理
　　企业成员在使用数据挖掘系统时，会对模型进行调优和定制。这将会逐步积累符合企业自身需要的模型库，成为企业知识库的重要组成部分。

　　目前，数据挖掘技术在商业上实际应用十分丰富，业务应用中常见的具体例子有：客户细分、客户保留、目标营销、客户拓展、欺诈检测、购物篮分析、信用打分、信用风险评估、投资组合管理、行情分析、安全管理、客户盈利能力分析、资源管理、利润分析、交叉销售、增量销售、客户服务自动化、活动分析、销售预测、收入预测、需求预测、理赔分析、业绩分析、商店选址、库存控制、流程质量控制、故障分析、处方分析等等。以下将重点介绍数据挖掘在证券行业中的应用。
　　数据挖掘是从数据中发现知识，数据密集型行业如证券、银行、电信等经过多年运营沉淀了大量的数据，挖掘、开发和利用这些数据可以使企业进行最适合的定位，将使企业长期的积累得以充分发挥，从而树立竞争优势。
　　证券市场是国家经济的情雨表，受多方面因素影响，券商的经营对数据正确、实时、安全性要求极高。长期以来各券商的交易系统一直走在IT技术应用革新的前列，同时也积累了丰富的数据。整个运营系统产生的数据主要分为两大类：股票行情数据与客户交易数据。股票行情数据由交易所产生，广泛分布，是实时共享信息。一些现有的实时行情接收分析系统例如（钱龙、胜龙、金融家、指南针等等）都能够对其进行从简单到复杂的分析；客户交易数据在各个证券公司的营业部产生，分布于证券公司的营业部及证券交易所，属于相对私有数据。这些数据反映了客户的资金状况，交易状况，持仓状况等，对证券公司和交易所而言具有极高的分析价值。数据挖掘技术已有了应用的空间。

　　随着国内证券行业政策的逐步开放，证券行业的竞争越来越激烈，券商分析决策时对数据的依赖性和敏感度也越来越高。数据挖掘技术作为分析与辅助决策工具已经越来越得到国内券商的重视。即该应用空间亦急需数据挖掘技术。
　　目前，国内证券行业的外部经营环境发生了较大变化，证券市场由卖方市场变为买方市场，市场开始细分，券商对其传统的业务如经纪业务、投行业务和自营业务都在进行不同程度的调整，以期建立自己的核心竞争力，树立竞争优势。如何形成差别化优势是各券商应考虑的重点，形成差别化优势的主要依赖于券商提供的咨询服务与附加服务。数据挖掘在此过程中将发挥重要作用，其技术应用的方向主要有：客户分析、客户管理、财务指标分析、交易数据分析、风险分析、投资组合分析等。

　　从业务角度看，经纪业务是目前国内券商竞争的焦点，它仍是券商利润的主要来源，据统计从事经纪业务获得的收入占各主要券商利润来源的80%以上，而中小证券公司90%的利润主要来自证券营业部。从营销角度看，证券经纪业务是为满足客户需要而提供的一种金融服务活动，营销战略贯穿在证券经纪业务整个活动过程中，分析型客户关系管理（CRM）是国内券商（特别是各营业部）尤其关注的技术，而数据挖掘技术作为分析型CRM的核心技术将扮演重要角色。

　　营业部是否真正了解自己的客户，知道他们的特征、分布和习性？谁是真正的有价值的客户，谁在为证券营业部贡献利润？谁带来了当期的利润，谁又有潜在的价值？传统的按资金量大小来区分大、中、小、散客户价值的方法是否真正反映了客户对营业部利润的贡献？凡此种种问题可以通过客户价值分析来解决。它不仅让我们从投入产出角度去看待客户，而且还为营业部的经营方针提供了决策依据。

　　市场竞争的关键在于对“有价值的客户群”的争夺，“如何抓住客户”是一个永恒不变的主题。毫无疑问谁能够了解客户的属性，预测客户的投资心理变化，谁就能真正地把握证券市场的发展动向，获得市场竞争的优势。客户忠诚度分析正是通过对有价值客户的流失和沉寂客户的分析，寻求有针对性的营销方法和服务，进行客户的拓展和客户的保持。

　　证券行业对划分客户的传统方法是按资金量的大小区分为机构客户、个人大户、中户和散户。几乎所有的证券公司都是将机构客户和大客户视为自己的衣食父母，营业部的组织架构、产品配置，甚至考核指标均是围绕着这部分客户展开。久而久之，这种划分客户的方法似乎已经成为证券行业公认的标准。但从长远观点来看，是否更应该注意客户的平均盈利率，即是否应维持一定的客户盈利率（或适度的客户平均亏损率）才能够使证券营业部获得利润的最大化，使营业部得以长远的发展。客户帐户分析计算了客户的各种盈利率和资金周转率，通过这些指标的分析，并与营业部的当期总体收入相比较，将会发现其中有价值的规律。

　　几乎每一个证券营业部都有相当数量的沉寂客户，他们主要由于亏损和深度套牢而形成。一些营业部沉寂客户的规模竟达到总客户数的1/4—1/3，如能将这些客户唤醒，将会给营业部带来可观的收入。持仓分析的目的就是发现各种程度被套人群，并通过对他们持仓品种和比率的分析，有针对性地提供各种交易建议等咨询服务，使他们可以快速解套，保持一定的活跃度。例如对于套牢的客户，在股票趋势的判断下，给予平仓操作的建议，并在价格底部将该股票买回，这不仅给客户带来了现实的利益，更重要的是将一个可能会沦为沉寂的客户，转变成了活跃的客户，单从本次的一买一卖，营业部就可以获得相当的手续费收入，再考虑到整个套牢的人群，其价值是不言而喻的。

　　随着市场竞争格局的形成，证券营业部客户的随意流动性正在逐步降低，券商的竞争方式也从向着深层次的智能型转变。通过深层次、智能化的服务营销来提升客户的价值，从而使营业部获得最大的收益正成为行业的共识。然而提供个性化的智能营销不能单纯地依赖于有价值客户的自然属性和简单的投资行为，而要结合他们持股的习惯、对行业板块的爱好、持仓比例、交易方式的选择等指标的科学统计和分析。这种深层次的分析要求服务措施的执行者——经纪人必须具备丰富的专业知识、高超的交际能力、以及高度的责任心。这些经纪人不仅是营业部策略的实施人，更是沟通证券营业部和有价值的客户之间的桥梁。
　　以人为本是服务行业的基础，人的价值在证券行业更加得到充分的体现。良好的客户关系是靠长久的感情投资建立的，优秀的经纪人是靠营业部长期培养而成的。简单的奖勤罚懒是法真正地评估经纪人对营业部所能和将要产生的价值。通过对各经纪人小组所辖客户群的盈利状况、资金流失情况、周转情况等历史和实时数据的比较，使营业部对经纪人的管理和奖惩在具有充分说服力的同时，既富人情味，又不失偏颇。既如何管理高水平的经纪人和如何避免由于经纪人的流失而带来的营业部有价值客户的流失，又是摆在营业部管理层的急需解决的课题。

　　上述所有问题及其解决方案都只是证券营业部现代化管理的手段，其结果将最终体现于营业部在激烈的市场竞争环境中的竞争能力是否得以提高？营业部的市场份额是否在持续扩大？营业部的经营成本是否得到有效的控制？营业部的利润是否大幅度地增长？做为证券营业部的最高决策人，以及分析型CRM的最终受益人，营业部的管理者将可以从总体交易状况、现金流动情况、客户总体状况和他们的资产变化情况等方面，对系统的实施效果进行综合的评估和考核。并通过系统对外部报表的自动收集，了解本营业部的市场份额和排名的变化，从而加强管理的力度，制定行之有效的市场营销策略，拓展盈利的空间，实现最大化的投资回报。其典型应用包括有：

客户分析
　　建立数据仓库来存放对全体客户、预定义客户群、某个客户的信息和交易数据，并通过对这些数据进行挖掘和关联分析，实现面向主题的信息抽取。
　　（1）对客户的需求模式和盈利价值进行分类，找出最有价值和盈利潜力的客户群，以及他们最需要的服务，更好地配置资源，改进服务，牢牢抓住最有价值的客户。
　　（2）通过对客户资源信息进行多角度挖掘，了解客户各项指标（如资产贡献、忠诚度、盈利率、持仓比率等），掌握客户投诉、客户流失等信息，从而在客户离开券商之前，捕获信息，及时采取措施挽留客户。

咨询服务
　　根据采集行情和交易数据，结合行情分析，预测未来大盘走势，并发现交易情况随着大盘变化的规律，并根据这些规律做出趋势分析，对客户针对性进行咨询。

风险防范
　　通过对资金数据的分析，可以控制营业风险，同时可以改变公司总部原来的资金控制模式，并通过横向比较及时了解资金情况，起到风险预警的作用。

经营状况分析
　　通过数据挖掘，可以及时了解营业状况、资金情况、利润情况、客户群分布等重要的信息。并结合大盘走势，提供不同行情条件下的最大收益经营方式。同时，通过对各营业部经营情况的横向比较，以及对本营业部历史数据的纵向比较，对营业部的经营状况作出分析，提出经营建议。

　　数据挖掘技术解决了经纪业务中的关键业务问题，为企业的核心资源——有价值客户的保留和拓展奠定了基础，并为营业部的经营定位和成本控制提供了决策的依据和操作的方法。

咨询服务
　　根据采集行情和交易数据，结合行情分析，预测未来大盘走势，并发现交易情况随着大盘变化的规律，并根据这些规律做出趋势分析，对客户针对性进行咨询。

风险防范
　　通过对资金数据的分析，可以控制营业风险，同时可以改变公司总部原来的资金控制模式，并通过横向比较及时了解资金情况，起到风险预警的作用。

经营状况分析
　　通过数据挖掘，可以及时了解营业状况、资金情况、利润情况、客户群分布等重要的信息。并结合大盘走势，提供不同行情条件下的最大收益经营方式。同时，通过对各营业部经营情况的横向比较，以及对本营业部历史数据的纵向比较，对营业部的经营状况作出分析，提出经营建议。

　　数据挖掘技术解决了经纪业务中的关键业务问题，为企业的核心资源——有价值客户的保留和拓展奠定了基础，并为营业部的经营定位和成本控制提供了决策的依据和操作的方法。

咨询服务
　　根据采集行情和交易数据，结合行情分析，预测未来大盘走势，并发现交易情况随着大盘变化的规律，并根据这些规律做出趋势分析，对客户针对性进行咨询。

风险防范
　　通过对资金数据的分析，可以控制营业风险，同时可以改变公司总部原来的资金控制模式，并通过横向比较及时了解资金情况，起到风险预警的作用。

经营状况分析
　　通过数据挖掘，可以及时了解营业状况、资金情况、利润情况、客户群分布等重要的信息。并结合大盘走势，提供不同行情条件下的最大收益经营方式。同时，通过对各营业部经营情况的横向比较，以及对本营业部历史数据的纵向比较，对营业部的经营状况作出分析，提出经营建议。

　　数据挖掘技术解决了经纪业务中的关键业务问题，为企业的核心资源——有价值客户的保留和拓展奠定了基础，并为营业部的经营定位和成本控制提供了决策的依据和操作的方法。