磁力链接搜索网站研究心得!
来源:互联网 发布:php 发送http请求 编辑:程序博客网 时间:2024/04/28 17:10
分享近一个月研究DHT协议,xunsearch,并实现出磁力搜索!
磁力搜索分为三部分
第一部分
DHT爬虫模块的实现,该模块负责种子信息的采集入库操作,有2种方案!
1、通过dht协议的node采集hash(40位)通过种子缓存服务器下载种子进行分析,可以自己百度种子服务器的下载方式!
2、通过dht协议的node查询peer列表进行下载分析(推荐)优点 不需要进行第三方下载进行的二次处理。采用开源的torrent库。ubuntu系统直接apt-get install python-libtorrent进行下载。centos安装略麻烦,需要编译boots,libtorrent进行源码安装
列举从dht协议直接分析torrent信息源码
if isinstance(alert, lt.metadata_received_alert):
print 'metadata received'
handle = alert.handle
if handle and handle.is_valid():
self._get_file_info_from_torrent(handle)
#不需要下载
session.remove_torrent(handle, True)
if isinstance(alert, lt.metadata_failed_alert):
handle = alert.handle
if handle and handle.is_valid():
self._get_file_info_from_torrent(handle)
#不需要下载
session.remove_torrent(handle, True)
def _get_file_info_from_torrent(self, handle):
file_info = {}
torrent_obj = handle.get_torrent_info()
t_info['name'] = torrent_obj.name()
第二部分
搜索的实现,coreseek考虑到官方停止更新,并且采用空间换时间的概率对与小容量的vps并不是很适合,另外官方的api少的可怜。采用xunsearch开源搜索引擎。各位可以移步xunsearch官网进行查看,生成测试demo非常方便改改样式就能进行订制。
第一篇主要讲解下磁力搜索网站的大体结构和思路方向。
后几篇文章将详细的拆解每一步进行详细的代码说明。
若觉得文章有用请无私的给个赞吧。
附:演示网站地址bt搜索http://www.bttui.com
最后感谢大家的阅读谢谢!
- 磁力链接搜索网站研究心得!
- Go语言爬取网站磁力链接
- python爬虫下载网站磁力链接
- 磁力链接
- 磁力链接
- 磁力搜索
- 一个dht网络的“磁力链接”搜索python代码
- 一个dht网络的“磁力链接”搜索python代码
- 一个dht网络的“磁力链接”搜索python代码
- 一个dht网络的“磁力链接”搜索python代码
- 一个dht网络的“磁力链接”搜索python代码
- 【整理收集】那些神器级别的BT磁力搜索网站
- 【整理收集】那些神器级别的BT磁力搜索网站
- 磁力链接+爬虫
- 【归纳备忘】收集了一些神奇的BT种子磁力链接搜索网址
- BT种子2磁力链接
- 磁力链接搜索引擎源码下载
- 磁力链接 结构解析 分享
- linux下mutex与atomic性能比较
- Socket:java与C之间的文件传送<2>(JAVA语言之间的通信)
- view的onFinishInflate()何时调用的?
- Android照片墙完整版,完美结合LruCache和DiskLruCache
- Socket:java与C之间的文件传送<3>(JAVA与C通信需要注意的地方)
- 磁力链接搜索网站研究心得!
- Yii 过滤器
- 如何在Mac OS X中创建Ubuntu USB启动盘
- 雷军北大15分钟演讲:我至少有胆量去想
- DDL配置
- javaFX初探(Label)
- 1 Machine Learning Summary
- 关于异常处理
- Socket:java与C之间的文件传送<4>(JAVA与C通信)