现在公开一个DHT网络爬虫网络爬虫供大家一起交流
来源:互联网 发布:wifi网络性能测试仪器 编辑:程序博客网 时间:2024/04/29 03:41
DHT网络本质上是一个用于查询的网络,其用于查询一个资源有哪些计算机正在下载。每个资源都有一个20字节长度的ID用于标示,称为infohash。当一个程序作为DHT节点加入这个网络时,就会有其他节点来向你查询,当你做出回应后,对方就会记录下你。对方还会询问其他节点,当对方开始下载这个infohash对应的资源时,他就会告诉所有曾经询问过的节点,包括你。这个时候就可以确定,这个infohash对应的资源在这个网络中是有效的。效果可以看下具体51搜索展示http://www.51bt.cc,结合Xunsearch全文检索技术,可以达到毫秒级的数据搜索
关于这个网络的工作原理,参看:P2P中DHT网络爬虫以及写了个磁力搜索的网页。
获取到infohash后能做什么?关键点在于,我们现在使用的磁力链接(magnet url),是和infohash对应起来的。也就是拿到infohash,就等于拿到一个磁力链接。但是这个爬虫还需要建立资源的信息,这些信息来源于种子文件。种子文件其实也是对应到一个资源,种子文件包含资源名、描述、文件列表、文件大小等信息。获取到infohash时,其实也获取到了对应的计算机地址,我们可以在这些计算机上下载到对应的种子文件。
关于这个网络的工作原理,参看:P2P中DHT网络爬虫以及写了个磁力搜索的网页。
获取到infohash后能做什么?关键点在于,我们现在使用的磁力链接(magnet url),是和infohash对应起来的。也就是拿到infohash,就等于拿到一个磁力链接。但是这个爬虫还需要建立资源的信息,这些信息来源于种子文件。种子文件其实也是对应到一个资源,种子文件包含资源名、描述、文件列表、文件大小等信息。获取到infohash时,其实也获取到了对应的计算机地址,我们可以在这些计算机上下载到对应的种子文件。
0 0
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- Android应用开发提高系列——Android动态加载(下)——加载已安装APK中的类和资源
- 找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。
- asp.net服务器配置流程
- 设计的目标,摘自JAVA与模式第三章
- DQS安装失败——系统重新引导是否处于挂起状态
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- UVa 10209 - Is This Integration ?
- Windows消息大全
- aix-逻辑卷和文件系统的关系
- DB2锁的兼容性问题
- SSD1306上移植uc/gui(efm32)
- Leetcode: N-Queens II
- android创建文件夹的一些经验教训
- 编辑文章 - 博客频道 - CSDN.NET