数据挖掘、机器学习、自然语言处理

开始进入正题，我将介绍如何从零基础入门到基本达到NLP前沿：

----------NLP零基础入门----------

首推资料以及唯一的资料：

Columbia University, Micheal Collins教授的自然语言课程
链接>> Michael Collins

Michael Collins，绝对的大牛，我心目中的偶像，这门课是我见过讲NLP最最最清楚的！尤其是他的讲义！
Collins的讲义，没有跳步，每一步逻辑都无比自然，所有的缩写在第一次出现时都有全拼，公式角标是我见过的最顺眼的（不像有的论文公式角标反人类啊），而且公式角标完全正确（太多论文的公式角标有这样那样的错标，这种时候真是坑死人了，读个论文跟破译密码似的），而且几乎不涉及矩阵表示……（初学者可能不习惯矩阵表示吧）。
最关键的是，Collins的语言措辞真是超级顺畅，没有长难句，没有装逼句，没有语法错误以及偏难怪的表示（学术圈大都是死理工科宅，语文能这么好真实太难得了）。《数学之美》的作者吴军博士在书中评价Collins的博士论文语言如小说般流畅，其写作功底可见一般。

举两个例子，如果有时间，不妨亲自体验下，静下心来读一读，我相信即使是零基础的人也是能感受到大师的魅力的。
1.语言模型（Language Model）
http://www.cs.columbia.edu/~mcollins/lm-spring2013.pdf
2.隐马尔可夫模型与序列标注问题(Tagging Problems and Hidden Markov Models)
http://www.cs.columbia.edu/~mcollins/hmms-spring2013.pdf


现在Michael Collins在coursera上也开了公开课，视频免费看
链接>> Coursera
比看讲义更清晰，虽然没有字幕，但是不妨一试，因为讲的真的好清楚。
其在句法分析与机器翻译部分的讲解是绝对的经典。

如果能把Collins的课跟下来，讲义看下来，那么你已经掌握了NLP的主要技术与现状了。
应该可以看懂部分论文了，你已经入门了。

----------NLP进阶----------

Collins的NLP课程虽然讲的清晰，不过有些比较重要的前沿的内容没有涉及（应该是为了突出重点做了取舍），比如语言模型的KN平滑算法等。
此外，Collins的课程更注重于NLP所依赖的基础算法，而对于这些算法的某些重要应用并没涉及，比如虽然讲了序列标注的算法隐马尔可夫模型，条件随机场模型，最大熵模型，但是并没有讲如何用这些算法来做命名实体识别、语义标注等。

Stanford NLP组在coursera的这个课程很好的对Collins的课进行了补充。
链接>> Coursera

本课程偏算法的应用，算法的实现过的很快，不过上完Collins的课后再上感觉刚刚好~
（这两门课是Coursera上仅有的两门NLP课，不得不佩服Coursera上的课都是精品啊！）

----------进阶前沿----------

上完以上两个课后，NLP的主要技术与实现细节就应该都清楚了， 离前沿已经很近了，读论文已经没问题了。
想要继续进阶前沿，就要读论文了。
NLP比起其它领域的一个最大的好处，此时就显现出来了，NLP领域的所有国际会议期刊论文都是可以免费下载的！而且有专人整理维护，每篇论文的bibtex也是相当清晰详细。

链接>> ACL Anthology

你可以挑自己感兴趣的领域，读一读近几年的论文，对感兴趣的作者跟踪一下他近几年的工作，这就不再多说了~
只提一点，目前NLP领域最顶级的会议是ACL，中稿率只有20%左右，能中一篇那是相当值得炫耀的事，所以ACL论文的质量大部分也都很不错（当然哪里都有灌水的），读一读多少会有收获的。

-------------------------

最后简单谈一下哪个更有发展潜力……作为一个NLP领域的研究生，当然要说NLP领域有潜力啦！

这里YY几个未来可能会热门的NLP的应用：
语法纠错
目前文档编辑器（比如Word）只能做单词拼写错误识别，语法级别的错误还无能为力。现在学术领域最好的语法纠错系统的正确率已经可以做到60%了，部分细分错误可以做到90%以上，转化成产品的话很有吸引力吧~无论是增强文档编辑器的功能还是作为教学软件更正英语学习者的写作错误。

结构化信息抽取
输入一篇文章，输出的是产品名、售价，或者活动名、时间、地点等结构化的信息。NLP相关的研究很多，不过产品目前看并不多，我也不是研究这个的，不知瓶颈在哪儿。不过想象未来互联网信息大量的结构化、语义化，那时的搜索效率绝对比现在翻番啊~

语义理解
这个目前做的并不好，但已经有siri等一票语音助手了，也有watson这种逆天的专家系统了。继续研究下去，虽然离人工智能还相去甚远，但是离真正好用的智能助手估计也不远了。那时生活方式会再次改变。即使做不到这么玄乎，大大改进搜索体验是肯定能做到的~搜索引擎公司在这方面的投入肯定会是巨大的。

机器翻译
这个不多说了，目前一直在缓慢进步中~但我们已经能获益，看越南网页，看阿拉伯网页，猜个大概意思没问题了。此外，口语级别的简单句的翻译目前的效果已经很好了，潜在的商业价值也是巨大的。

不过……在可预见的近几年，对于各大公司发展更有帮助的估计还是机器学习与数据挖掘，以上我YY的那些目前大都还在实验室里……目前能给公司带来实际价值的更多还是推荐系统、顾客喜好分析、股票走势预测等机器学习与数据挖掘应用~