Web数据挖掘小论文

1、目的意义

Web数据挖掘是利用数据挖掘技术从Web文档和Web服务器中发现并提取人们感兴趣的信息或知识的过程。涉及到Internet技术、人工智能、计算机语言学、信息学、统计学等多个领域。

Web包含了丰富和动态的超链接信息，以及Web页面的访问和使用信息，这为数据挖掘提供了丰富的资源。然而，从以下的分析中可以看到，对Web进行有效的知识发现具有极大的挑战性：Web挖掘对象多样性；Web页面的复杂性；Web作为信息源的极强动态性；Web用户群体的广泛性；Web页面的有用价值却极低。随着大数据时代的到来，Web数据挖掘在大数据中的重要地位日益凸显。

2、现状

Web数据挖掘是一个更具挑战性的课题，它实现对Web存取模式、Web结构规则和动态的Web内容的查找。一般地Web挖掘可分为3类：Web内容挖掘、Web结构挖掘和Web使用记录的挖掘。Web数据挖掘通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。大数据技术与传统Web数据挖掘相比，整合了大规模并行处理数据库、数据挖掘网络、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

3、创新设想与方案

Web数据挖掘的对象是大量、异质、分布的Web文档.以Web 作为中间件对数据库进行挖掘,以及对Web服务器上的日志、用户信息等数据所开展的挖掘工作，仍属于传统的数据挖掘的范畴.其次, Web 在逻辑上是一个由文档节点和超链构成的图，因此Web挖掘所得到的模式可能是关于Web内容的，也可能是关于 Web 结构的。此外，由于 Web 文档本身是半结构化或无结构的, 且缺乏机器可理解的语义，而数据挖掘的对象局限于数据库中的结构化数据，并利用关系表格等存储结构来发现知识，因此有些数据挖掘技术并不适用于 Web 挖掘，即使可用也需要建立在对Web文档进行预处理的基础之上。

       首先，确定Web数据挖掘的任务，针对于Internet网络上海量的数据，确定较为清晰的挖掘任务才能提高数据的准确率，挖掘任务包括确定挖掘的主题领域、挖掘的限定范围、挖掘的内容大小、挖掘的精度要求等等。然后利用网络爬虫或者主题搜索引擎从网络上抓取信息数据，抓取过程中需要利用互联网云平台和分布式数据库，并行采集数据。然后对抓取的数据，如Web页面、文档以及图片等等，将这些数据进行清理，建立索引，去噪，提取有用的信息，即对数据进行清洗或者整理。然后对得到的数据进行多维分析、统计分析、挖掘分析等，最后把分析得到的数据进行可视化。

       可以将Web数据挖掘进行以上的一些改进，（1）由于从互联网上抓取数据或者从互联网的用户日志中分析数据时，数据量很大，如果针对所有的数据都进行采集，开销非常大，可以将抓取范围限定，针对于基于统计的Web数据挖掘，取可用解不会影响数据的分析统计，不需要取最优解而花费大量的开销。（2）由于互联网上数据具有高度的重复性，对数据进行清洗时，会占用很大开销，因此尽量从不交叉的搜索域中采集数据。（3）建立学习规则以提高爬取的精准度，并减少冗余。将挖掘的内容进行定期的抽样采集，记录采集结果，多次对比，建立学习规则，如果在发现与现有获得的学习规则差异很大或者完全不相关联时，可以增加抓取规则，以缩小抓取的范围。（4）充分利用url链接，page-rank算法基于url链接，url链接对于Web数据挖掘至关重要，url链接中也包括重要的数据内容，合理的识别url链接将提高Web数据挖掘的效率。

4、应用背景

Web数据挖掘的应用非常广泛，它已经广泛应用于金融业、远程通信业、制造业、医疗服务以及体育事业中，对它的应用研究正在成为一个热点。Web挖掘的应用前景主要表现在：电子商务、电子政务、网站设计以及搜索引擎。在大数据时代，Web数据挖掘的重要性更加凸显，广泛应用于商业数据分析、舆情分析、趋势分析、病情监控、搜索引擎等等。