网页库级垂直搜索引擎技术
来源:互联网 发布:格式化恢复软件免费 编辑:程序博客网 时间:2024/06/05 20:41
垂直搜索是针对某一个行业的专业搜索引擎,是搜索引擎的细分和延伸,是对网页库中的某类专门的信息进行一次整合,定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。
垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取,也就是将网页的非结构化数据抽取成特定的结构化信息数据,好比网页搜索是以网页为最小单位,基于视觉的网页块分析是以网页块为最小单位,而垂直搜索是以结构化数据为最小单位。然后将这些数据存储到数据库,进行进一步的加工处理,如:去重、分类等,最后分词、索引再以搜索的方式满足用户的需求。
整个过程中,数据由非结构化数据抽取成结构化数据,经过深度加工处理后以非结构化的方式和结构化的方式返回给用户。
垂直搜索引擎的应用方向很多,比如企业库搜索、供求信息搜索引擎、购物搜索、房产搜索、人才搜索、地图搜索、mp3搜索、图片搜索……几乎各行各业各类信息都可以进一步细化成各类的垂直搜索引擎。
举个例子来说明会更容易理解,比如购物搜索引擎,整体流程大致如下:抓取网页后,对网页商品信息进行抽取,抽取出商品名称、价格、简介……甚至可以进一步将笔记本简介细分成“品牌、型号、CPU、内存、硬盘、显示屏、……”然后对信息进行清洗、去重、分类、分析比较、数据挖掘,最后通过分词索引提供用户搜索、通过分析挖掘提供市场行情报告。
垂直搜索引擎大体上需要以下技术
1.Spider
2.网页结构化信息抽取技术或元数据采集技术
3.分词、索引
4.其他
垂直搜索引擎的技术评估应从以下几点来判断
1.全面性
2.更新性
3.准确性
4.功能性
垂直搜索的进入门槛很低,但是竞争的门槛很高。没有专注的精神和精湛的技术是不行的。行业门户网站具备行业优势但他们又是没有技术优势的,绝对不要想像着招几个人就可以搞定垂直搜索的全部技术,作为一个需要持续改进可运营的产品而不是一个项目来说对技术的把握控制程度又是垂直搜索成功的重要因素之一。
- 网页库级垂直搜索引擎技术
- 网页库级垂直搜索引擎技术(一)垂直搜索引擎的选型
- 网页库级垂直搜索引擎技术(二)如何做好一个垂直搜索引擎
- 网页库级垂直搜索引擎技术(三)一堆信息抽取的资料文档
- 垂直搜索引擎技术
- 全套垂直搜索引擎技术
- 浅谈垂直搜索引擎技术
- 网页布局水平垂直技术
- 垂直搜索引擎
- 搜索引擎重复网页发现技术分析
- 搜索引擎重复网页发现技术分析
- 搜索引擎重复网页发现技术分析
- 搜索引擎重复网页发现技术分析
- 搜索引擎重复网页发现技术分析
- 搜索引擎重复网页发现技术分析
- 搜索引擎重复网页发现技术分析
- 齐宁:搜索引擎知识 网页查重技术
- 搜索引擎重复网页发现技术分析
- 倒库移库及9选4
- 关于VC时间、日期函数
- SQL 标量函数----->字符串函数 之二 去空格函数 LTRIM() 、RTRIM()
- ArcEngine,delphi创建shp文件
- 哈哈,今天我又学会一小招——判断硬盘上是否存在某个文件夹,如果不存在则自动创建。
- 网页库级垂直搜索引擎技术
- 接受文件拖拽窗口的实现
- 与名人、明星比拼
- 显示代理链错误消息 " 12206 "
- Spring 框架简介
- servlet中文API
- Servlet过滤器
- 设计和仿真无线局域网设备天线
- Gpu Gems3 终于有得下了!