【网络挖掘：成就与未来方向】之网络挖掘应用程序与相关概念

六、网络挖掘应用程序

1、B2C电子商务个性化体验——Amazon.com

网络挖掘的使用：

1）使用cookies识别用户；

2）对用户过去行为分析并同类型用户分组，以提供个性化消息、类别推荐、金盒子（gold box）；

3）使用聚类、关联分析、时间序列分析等。

 

2、Web搜索——Google

网络挖掘的使用：

1）内容分析确定相关页面；

2）超链接分析根据质量对相关页面排名；

 

3、网络用户跟踪——Double Click

网络挖掘的使用：

1）使用特殊的cookie跟踪用户在多个站点之间的访问；

2）分析多站点行为；

3）使用DART系统提供广告服务。

 

4、了解用户社区——AOL

1）挖掘用户组的兴趣和观点；

2）针对特定群组推广新产品或发表关于某个问题的观点。

 

5、了解拍卖行为——eBay

eBay有详细的数据：拍卖历史记录、参与率、竞价数据、使用数据。

网络挖掘的使用：对参与者类型分类、对拍卖类型分类、确定欺诈性报价、确实拍卖成交。

 

6、个性化门户网站——MyYahoo

使用网络挖掘：

1）创建个性化消息；

2）基于偏好或位置推荐产品或保养；

3）根据偏好或使用发送媒体内容。

 

7、在线文档统计——CiteSeer

 

8、i-Mode –NTT D0C0Mo’s mobile internet accesssystem

有4000万用户从他们的手机访问互联网。

用户可以收发邮件、在线购物或理财、获取交通新闻和天气预报、搜索当地餐馆及其他东西。

 

9、v-TAG网络挖掘服务器

 

 

七、相关概念

1、兴趣度（Interestingness Measure[PT1998,C2000]）

万维网上有两种资源：

网络结构（Web Structure）——反映作者关于浏览行为的观点；

网络使用（Web Usage）——反映用户的浏览行文。

所有与这些信息源矛盾的证据都将被称作“令人感兴趣的（interesting）”。

 

2、用户行为档案（User Behavior Profiles[MSSZ2002]）

目标：理解复杂的人类决策过程。

方法：记录点击流数据；收集其他用户信息，比如人口统计数据和心理调查数据等。

级别：在一个网站内部，如Amazon.com；在整个万维网上，如Alexa研究和DoubleClick。

 

3、分布式网络挖掘（Distributed Web Mining）

动机：网络上的数据是巨大的，并且分布在不同的站点。

传统方法：把所有的数据整合到一个站点，然后进行必要的分析。

问题：耗时、不可伸缩。

解决方案：在不同的位置进行本地数据分析，建立整体模型。

应用程序：根据用户的“网络生活”（用户的兴趣、位置和行为）提供个性化的站点。

两种方法：隐式（Surreptious），不需要用户提交任何信息而跟踪用户在不同网站的访问行为；协作（Co-operative），用户行为报告给一个中央组织或数据库。

 

4、网络可视化（Web Visualization）

动机：网络数据挖掘提供了大量的信息，这些信息通过可视化工具可以更好地被理解，相比纯文本的表示方式。

著名开发工具（Prominent toolsdeveloped）：WebViz、WUM（Web Utlization Miner）、WEEV、WebQuilt、Naviz。

 

5、主题提取（Topic Distillation）

定义：识别与查询主题相关的一组文档或其中的一部分。

方法：Kleinberg的Hubs and Authority；The FOCUSproject；Web Page Reputations；主题敏感的PageRank。

 

6、在线文档计量学（Online Bibiliometrics）

动机：在线文章比离线文章更多地被引用；更容易地互动和交流信息。

例子：SCI，ACM portal，CiteSeer，DBLP等。

 

7、网页分类（WebPage Categorization）

定义：网页分类决定了一个网页所属的类别，这些类别是预先定义好的。

 

8、语义网络挖掘（Semantic Web Mining）

动机：从无结构的网络中自动检索文档是困难的；搜索引擎检索的文档在语义方面是不精确的。

语义网的最初想法：生成附加语义的文档；开发从结构化数据中根据语义挖掘信息的技术。

语义网格式：RDF，节点与附属的属性/值对可以模型化为一个有向的标签图；XML主题网可以由基础数据的语义形成，它可以被看作在线版本的打印索引和目录。

任务：应用网络挖掘技术理解网络上大量非结构化文档的本体；为现有的和未来的文档定义本体以使搜索更加精确。