现在公开一个DHT网络爬虫网络爬虫供大家一起交流
来源:互联网 发布:阿里云快速备案 编辑:程序博客网 时间:2024/04/29 16:19
DHT网络本质上是一个用于查询的网络,其用于查询一个资源有哪些计算机正在下载。每个资源都有一个20字节长度的ID用于标示,称为infohash。当一个程序作为DHT节点加入这个网络时,就会有其他节点来向你查询,当你做出回应后,对方就会记录下你。对方还会询问其他节点,当对方开始下载这个infohash对应的资源时,他就会告诉所有曾经询问过的节点,包括你。这个时候就可以确定,这个infohash对应的资源在这个网络中是有效的。效果可以看下具体51搜索展示http://www.51bt.cc,结合Xunsearch全文检索技术,可以达到毫秒级的数据搜索利用DHT网络原理制作bt采集蜘蛛
关于这个网络的工作原理,参看:P2P中DHT网络爬虫以及写了个磁力搜索的网页。
获取到infohash后能做什么?关键点在于,我们现在使用的磁力链接(magnet url),是和infohash对应起来的。也就是拿到infohash,就等于拿到一个磁力链接。但是这个爬虫还需要建立资源的信息,这些信息来源于种子文件。种子文件其实也是对应到一个资源,种子文件包含资源名、描述、文件列表、文件大小等信息。获取到infohash时,其实也获取到了对应的计算机地址,我们可以在这些计算机上下载到对应的种子文件。
关于这个网络的工作原理,参看:P2P中DHT网络爬虫以及写了个磁力搜索的网页。
获取到infohash后能做什么?关键点在于,我们现在使用的磁力链接(magnet url),是和infohash对应起来的。也就是拿到infohash,就等于拿到一个磁力链接。但是这个爬虫还需要建立资源的信息,这些信息来源于种子文件。种子文件其实也是对应到一个资源,种子文件包含资源名、描述、文件列表、文件大小等信息。获取到infohash时,其实也获取到了对应的计算机地址,我们可以在这些计算机上下载到对应的种子文件。
0 0
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 对象变量比较
- 利用DHT网络原理制作bt采集蜘蛛
- spring batch(一):基础部分
- 管道 pipe 半双工/全双工
- Android Wear Preview- 归档通知(Stacking Notifications)
- 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
- 编写shell脚本获取本机的网络地址。 比如:本机的ip地址是:192.168.100.2/255.255.255.0,那么它的网络地址是 192.168.100.1/255.255.255.
- 基于堆排序实现的找出N个数据的前M大数据之Java实现
- spring JdbcTemplate 的queryForObject:Incorrect result size: expected 1, actual 0
- final的使用方法
- Storm简介
- K折交叉验证
- 闲暇时间看了下DHT网络
- 基于四象限探测器的激光窃听及定位系统