数据挖掘者与数据挖掘青年的对话（数据挖掘初学者共勉）

说明：以下为数据挖掘者给我(数据挖掘青年)的回信，答复了我作为一个数据挖掘初学者对对数据挖掘的种种疑问。对数据挖掘者表示真诚的感谢！与大家共勉。
   
 数据挖掘者 发表于 2007-5-21 22:22:59 

 

DMman：

  我是一名研一生，专业是数据库。我想自己选择一门方向，认真的学习，作为终身职业。譬如 java程序员、数据挖掘人员、数据库管理人员等等。我比较喜欢数据挖掘，但是若干问题难以释惑。 

问题1：现在选择数据挖掘作为终身职业是明智之举吗？

  现在网上对数据挖掘的前景讨论的很厉害，褒贬不一。但是至少可以确定的是数据挖掘已经越来越被重视了。如你所言，大家看到的只是表面，许多成功的案例企业没有对外公开。但不可否认的是，数据挖掘在中国的应用有屠龙之技的嫌疑，广大的企业还没有重视起来。
  总之，男怕投错行，这个问题总是敲击着我。如果我是您的弟弟，您会鼓励我走数据挖掘之路吗？还是推荐其他的IT职业？ 

IDMer：

  就我个人的观点，数据挖掘的发展还是前途很广阔的。说白了，数据挖掘就是一种分析问题的手段，问题一直会有，解决问题的手段也就一直有存在的必要。也许你听说过美国早期西部淘金热的时候，富起来的不是淘金者，而是为淘金者提供工具、水的人，甚至因为矿工需要结实耐磨的衣服，以致于牛仔裤风行起来并经久不衰。
  至于你提到“屠龙之技”之说，只是很多人因为不熟悉数据挖掘的内部技术而产生的莫测高深的感觉。其实，数据挖掘本身并不是新技术，它融合了来自于统计学、数据库和机器学习等多学科已经成熟的内容，冠上了一个看起来比较时髦的名字而已。
  组成数据挖掘的这三门支柱学科都已经发展了多年，也已得到了广泛的应用。那么我们也有理由相信它们的融合，能帮助我们解决更多的分析方面的问题。何况，业界还是有很多的成功案例，体现出数据挖掘所带了独特优势，而这些，是传统的BI（报表、OLAP等）无法支持的。
 
  以上说了不少数据挖掘的好话，下面再看看硬币的另一面。如果你是我的弟弟（呵呵，虽然我没有，但也和很多年轻的师弟师妹聊过择业的话题），我会建议你不做IT业，哈哈，一句半真半假的玩笑。因为在IT这个行业看起来还是满辛苦的，而且在很多项目中，常常需要重复一些没什么技术含量的任务，消耗的精力不少，获得的成就感却不多。
 
  Anyway，我的建议，其实也是我原来给自己的一句座右铭：认为对的就去做。找到自己的兴趣所在，并且感觉也有发展，那就尽力去做好了。 

DMman：

问题2：如果我现在选择了数据挖掘，应该怎么做？

   您曾经在博客上回复一位北邮同学，建议熟悉学习各种算法；建立模型，创新思路改进算法撰写论文。

   我当前的计划是 学习各种算法的原理；学习java语言；研究weka源码，深入了解几种经典算法的步骤；学习了解ETL，数据仓库、OLAP等；通过使用的数据集建立挖掘模型；思考论文；有空的话 还得SPSS或其他一个流行软件的使用方法。其中，我觉得难点是对数据集的整理形成挖掘流程的输入。

   其中，我也有若干疑惑：掌握一门数据库是很重要的，但是没有时间一一了解SQL Server、Oracle、DB2等，但是在求职时，又说不定单位要求会哪门数据库！？我想就SQL Server单独进行深入的学习，包括学习在SQL Server中数据仓库的建立和数据挖掘的应用，其他的也就不管了。不知我这个选一而弃其他的打算可取不可取？ 

IDMer：

  从你的计划来看，还是对自己要掌握的知识和技能，划出了一个范围。看上去还不错，我只是从个人的经验出发，建议你不必苛求自己十八般武艺样样精通，很多方面只需基本了解，选择几个重点来练成自己的绝活。人的精力毕竟有限，目标越大就越难实现。
  至于选择那些作为重点，就需要在广泛了解的基础上，结合自己的兴趣进行筛选了。
  关于数据库的掌握，我觉得熟悉一种产品已经足够。SQL Server、Oracle、DB2都是关系数据库，在学生阶段把关系数据库的基础理论打牢，熟练运用SQL语句就可以了。这些主流数据库之间的差异，不是遵循的标准不同，而是产品的特性有别，以及在性能调优时的技巧。 

DMman：

问题3：如何使学习阶段与行业应用靠拢？  
   有一位学长，建议我学技术的时候要和行业靠拢，否则，“没有行业背景的技术会很飘”。我觉得他说的有道理，技术是相当宽泛的，你不可能面面俱到；而且，当你实际工作后，也就专于一个行业，技术的需要面也就变窄了。这样，有利于学习重点，不至于在学习时，面面俱到，没有突出。

   但是，在数据挖掘方面，曾经请教过你，数据挖掘人员的工作性质。一种是在甲方做分析人员，利用所掌握的数据挖掘知识来解决一些业务问题。一种是在IT公司，为甲方实施DM、DW和BI等项目（前辈自己便属于此类？）。

   在这里，我不太明白作为甲方，日常具体做些什么？难道是类似于网管性质的？那样不更倾向于数据库管理人员？他们还算是专业的数据挖掘人员吗，怎么觉得公司不大会安排这样的职位呢？

   我比较倾向于做乙方，那样好像更专业似的。但是，乙方的话，都说数据挖掘在金融、电信、银行还是销售等方面主要应用。难道这意味着要学习或了解金融电信的背景、CRM、经济学、Excel……?

   还有，您曾提到，毕业后也可以做研究工作，我觉得提供研究工作的岗位毕竟是少的。而且，那样挣钱多吗（流汗中）？

   是否现在应该考虑以后进哪个（哪类）公司，现在根据它的要求来强化自己呢？ 

IDMer：

  你这位学长说得没错，脱离实际的纯理论大多会消散于无形。至于甲乙方的区别，实际上也没有想像中那么大，特别是对于刚刚参加工作的基层员工来说，可能差不多。
  先在乙方历练几年，然后跳到甲方，这种状况我看到不少。也许是因为在乙方接受的锻炼和学习到新知识经验的机会更多些吧，可以在年轻时有更多的积累。当然，如果有很好的在甲方工作的机会，也是不错的选择。
  到乙方工作，特别是对一直待在校园里的应届生来说，招聘方重点考察的大多是你的知识是否扎实、性格是否有利于融入团队等方面。至于对行业的了解，一般很少有过多的期望，除非你有多年在相关行业做项目的经验。
  国内的研究机构还是以科研院所和高校为主，待遇一般要比公司低，但也有很多人，包括我的师兄师姐以及同学，选择了继续做研究，因为他们会从研究中获得很多乐趣。另外一些研究机构是企业特别是外企的研究院，待遇也很好，但就要求你很出色才有机会加入。做研究还有一个很好的地方，就是国外的院校或研究所。