CIO调查：数据挖掘并不遥远

CIO调查：数据挖掘并不遥远
                    赛迪网

让数据像人脑一样智慧，具有自动分析、判断和预测能力，这看似不可思议的应用，正是数据挖掘的功能。数据挖掘正吸引着越来越多的企业的眼球。近日，北京长城仪器厂、国家统计局、北京统计局等不少单位的有关人员纷纷表示正在关注数据挖掘。

　　究竟什么是数据挖掘？国内哪些单位已经应用了数据挖掘？如何挖掘数据？效果如何？有哪些可借鉴的经验？本期采访了中国地质调查局、中石化石油勘探开发研究院、北京长城仪器厂、重庆港务局、国家统计局、湖南统计局、泰安国税总局等20家大中型企事业单位的有关人员及我国数据库专家王珊教授。

　　
20%已应用，20%在建设，25%正在关注


　　数据挖掘离我们并不遥远。调查显示，中国地质调查局、重庆港务局、湖南统计局、南宁地税等4家单位（占20位被调查企业的20%）已经在应用数据挖掘为分析、决策作支持。

　　据中国地质调查局信息中心数据挖掘项目负责人张永波介绍，为了查找矿产资源，需要对海量地质信息进行综合处理、分析和评价。传统方法是由许多专家根据自身经验进行人工评估。人工评估不仅周期长，不利于及时发现、开采矿产资源，也不可避免地带有主观色彩，甚至使判断失误，这间接造成了大量经济损失。为此，早在上世纪80年代，地质行业就引入了计算机，并开始探索数据挖掘，通过数据挖掘对海量地质信息进行自动处理、评价，从而帮助人们预测哪些地方最可能蕴藏着矿产资源。经过近二十年的研发、完善和应用，目前数据挖掘在地质行业开始广泛应用。

　　与中国地质调查局不同，重庆港务局、湖南统计局和南宁地税都在近两年才开始建设数据仓库，并在此基础上摸索着开展了数据挖掘应用，目前已经初步投入使用，有效辅助了领导进行分析决策。

　　除此之外，中石化石油勘探开发研究院、国家统计局、国家工商银行、中国民生银行等20%的被采访企业表示，数据挖掘系统正在建设中。北京长城仪器厂、国家统计局、北京统计局等25%的被采访企业表示正在关注，希望了解国内有哪些成功案例。其他35%的被采访企业则表示，目前的信息化重点是铺设网络，完善办公系统、应用系统等，对数据挖掘不了解，暂时也没考虑。

　　
认识数据挖掘


　　什么是数据挖掘？怎样实现数据挖掘？它如何让数据像人脑一样具有自动分析、判断和预测能力？

　　据中国计算机学会副理事长数据库专业委员会主任王珊教授介绍，数据挖掘是信息化发展到一定程度的产物，是数据利用的一个高级阶段。随着数据库技术的迅速发展，积累的数据越来越多。尽管目前的数据库系统可以实现数据的录入、修改、统计、查询等功能，但无法发现数据中潜存的关联和规则，无法根据现有的数据预测未来的发展趋势。如何发现数据背后隐藏的重要信息，并对其进行更高层次的分析，以便更好地利用这些数据，促使了数据挖掘的出现。目前数据挖掘有许多不同定义，简而言之，就是从数据挖掘就是从大量不完全的实际应用数据中，提取隐含在其中的、人们事先不知道的但又可能有用的信息和知识的过程。

　　数据挖掘的海量数据有两种来源，可以是从数据仓库中来的，也可以是直接从数据库中来。所有的数据都需要再次进行选择，具体的选择方式与任务相关。

　　而所谓的数据仓库不是可以买到的现成产品，是一种解决问题的方案。数据仓库以传统的数据库技术作为存储数据和管理资源的基本手段，以统计分析技术作为分析数据和提取信息的有效方法，以人工智能技术作为挖掘知识和发现规律的科学途径。数据仓库的建立不是要取代原有的数据库，而是数据库技术的一种新的应用，用于支持决策分析。

　　正是由于数据仓库集成了丰富的海量信息，能大大简化数据挖掘过程，因此中国地质调查局、重庆港务局、湖南统计局、南宁地税等4家单位的数据挖掘都是在数据仓库的基础上实现的。

　　“而让数据像人脑一样具有自动分析、判断和预测的关键就是建立分析模型”，王珊表示：“建模就是把你的专业经验、一般规律或普遍情况抽象成一种分析模型。一旦模型建好之后，就可以把它应用到那些情形相似，而结果未知的判断中。”

　　比如，假设你是一个电信公司的营销主管，公司想发展一些新的长途电话用户。依据自身经验，当你要寻找谁是最有潜力的新客户时，你可以先了解一下在长途电话上花费时间比较多的老客户是哪些人。因为你对老客户的很多信息了解得一清二楚，如年龄、性别、信用记录以及长途电话使用状况。这相当于你也掌握了很多潜在客户的同样的信息。通过对这些老客户的年龄、性别、信用记录等信息进行统计分析，你就可以推断出最有潜力的新客户是哪些群体。这比盲目地推销要有效得多。

　　而建模就是在数据仓库里把上述分析过程建成一个模型，从具体应用中抽象出若干变量。比如，长途电话用户的一个简化模型可以用客户的职业、职务、年薪、每个月长话费、性别、地区等变量来表示。根据这个模型，系统就能设法从老客户的大量通话记录中挖掘出潜在的新客户的年龄、性别等信息，帮助你发现新的长途电话客户群体。

　　实际上，数据挖掘系统再有能耐，最终还是要靠人来设计、指挥。挖掘数据的过程就是按照人们设计的“模型”对数据进行处理、分析、预测的过程，它是人的经验、分析过程在计算机中的实现。

　　
效果不错，标准、建模是关键


　　谈起数据挖掘的应用效果和建设经验，中国地质调查局、湖南统计局、重庆港务局和南宁地税局的有关负责人一致认为：效果不错；有必要，也是未来的发展趋势。但实现很不容易，系统还有待完善。总结经验，他们认为：首先数据规划要有统一标准；其次，建模很重要。

　　据中国地质调查局信息中心数据挖掘项目负责人张永波介绍，从效果来看，首先，数据挖掘的分析效率比人工评价提高了很多倍；其次，数据挖掘还能做原来人工没法做的工作，比如叠加处理。地质数据的种类很多，任何一个空间点上都有几十种地质数据，不同专家对此会有不同的评价，如何把几十种数据叠加起来形成一个综合评价，依靠传统的人工操作，根本不可能实现，而数据挖掘就可以。因此，数据挖掘对矿产资源的查找、分析、决策比人工操作相对高效、完整。

　　与此同时，他也认为，实现的难度很大，最难的就是建模，因为它是一个不断反复、不断完善的过程。如何把专家的经验、思想体现出来，不仅要用到专业知识，还要用到神经网络、概率统计、模糊数学等多学科理论。

　　对此，湖南统计局数据仓库办公室副主任肖胜利也深有同感。他认为，建模是一个用户与开发商共同参与的过程，一般要求使用者具备专家的理论水平，否则，可能不知道该怎么用。另外，建模的过程一般是专家经验、普遍经济规律的抽象，它受到外界的人为干扰因素越少，挖掘效果就越好，因此，更适合按市场规律运行的行业企业。

　　根据两年来的建设经验，湖南统计局、南宁地税局、重庆港务局的有关人员都认为，前期的数据规划、数据标准的制订非常重要，否则，数据就没有可比性，挖掘分析的结果就不准确。

　　总之，目前达到理想状态的应用还很少，多数用户仍处于摸索阶段。另外，我国许多中小企业的基础系统还没建立，数据无法集成，这也使得数据挖掘难以开展。因此，普及还有待时日。但已经有不少大中型行业用户已经开始关注和应用了数据挖掘技术，数据挖掘并不是遥不可及的应用。