特定场景的Cralwer
来源:互联网 发布:js date yyyymmdd 编辑:程序博客网 时间:2024/06/05 06:29
有时也叫Crawler。
今天整理电脑文档的时候发现很早09年初自己写的一个crawler的设计文档, 打开这个50多页的文档,里边N多的逻辑图及规范定义的数据结构, 才觉得真的好久没有见过写得那么规范的文档了(也许有点自夸, 或者码农都觉得自己的就是规范: )
将其中的总体设计图分享给大家参考,确切的说,并不是一个完整的crawler,而是一个连通性检查模块,所以当中更增加了很多定制化的逻辑。
该设计中严格地区分了数据流及过程,也算是设计图中的一种创新了。
设计时参考了Ming the Web: Discovering Knowledge from Hypertext Data》中的Crawler, 其中完整架构如下:
此处也向大家推荐这本书《Ming the Web: Discovering Knowledge from Hypertext Data》,里边对于从spider 索引建立,ranking,检索过程等搜索引擎相关的技术都有深入浅出的介绍, 特别适合从事互联网,特别是搜索的同学。
参考文档:
Ming the Web: Discovering Knowledge from Hypertext Data
也可关注微博: weibo.com/dustinsea
或者直接访问http://semocean.com
- 特定场景的Cralwer
- RadioButton的特定使用场景
- 特定场景下Ajax技术的使用
- LR查看场景运行后的特定的输出信息
- std::vector实现原理及特定场景下的改进
- 使用句柄实现特定场景的无备份恢复
- python cralwer (爬虫)心得
- 优化无止境——特定场景的位图叠加算法优化
- expdp排除特定用户的特定表
- 指定特定对象的特定事件
- LDAP的特定错误
- 获取特定的目录
- Map的特定方法
- LDAP的特定错误
- 删除特定的对象
- 获取特定的字符串
- doxygen的特定命令
- doxygen的特定命令
- 【Apache Kafka】设计理念浅析
- linux
- QT学习笔记之 IconEditor
- Lync 2013移动客户端支持差异
- linux互传文件scp
- 特定场景的Cralwer
- K近邻算法
- Cow Tours
- python,java,go语言之间的区别!
- android frameworks层增加硬件服务
- 创建一个Date类
- Linux下chkconfig命令详解
- IOS 画线
- Android ImageView 手势控制放大缩小 滑屏切换