灵活布置、可二次开发的乌云公开漏洞及知识库搜索

来源：互联网发布：mac制作win7安装盘教程编辑：程序博客网时间：2024/04/30 11:23

*本文原创作者：grt1stnull，本文属FreeBuf原创奖励计划，未经许可禁止转载

感谢hanc00l爬取了wooyun的网页，才使乌云关闭后，大家依旧可以访问以前的漏洞库、知识库。hanc00l发布了基于flask或者torndo的乌云公开漏洞、知识库搜索的github项目，同时发布了已经配置好的虚拟机，允许大家直接把乌云搭建在了本地。

为了方便的在本地进行乌云搜索，我准备把乌云搜索搭建在树莓派上。但是，hanc00l使用的数据库是mangodb，总数据在6GB左右。32位的mangodb支持的总共数据大小最大是2GB，而我的树莓派正是32位，所以我没办法在树莓派上布置。于是利用静态的乌云漏洞库、知识库，我自己建立了数据库、搜索页面，实现了可在apache、nginx等上布置，基于mysql数据库的乌云知识库、漏洞库搜索项目。

我的项目使用python依次处理静态页面，用正则抽取出信息再批量插入数据库；之后又写了个php，实现了对数据库的搜索。

二.python的经验分享

我在python中利用的扩展库是BeautifulSoup与MySQLdb。关于这两个库的介绍有很多，下面我主要介绍下我对这两个库的操作。

1）beautifulsoup的使用

from bs4 import BeautifulSoup     #引用库soup=BeautifulSoup(html,"html.parser")       #创建BeautifulSoup对象，html为目标
corps=soup.find_all('p',class_='words')      #从对象中查找类名为words的p的标签

大家可以输出一下试试

2)MySQLdb的使用

import MySQLdb    #引用库try:   #错误处理
conn=MySQLdb.connect(host='localhost',port=3306,user='root',passwd='',db='wooyun',charset='utf8')     #建立连接，host主机、port端口(默认3306)、user用户、passwd密码、db操作的库、charset字符编码
cur=conn.cursor()  #获取操作游标
reload(sys)
sys.setdefaultencoding('utf-8')   #设置编码
tmp=(title1,date1,author1[0],type1[0],corp1[0],docs)  #要插入的数组
cur.execute("INSERT INTO `bugs`(`title`,`dates`,`author`,`type`,`corp`,`doc`) VALUES(%s,%s,%s,%s,%s,%s)",tmp)    #插入数据库
conn.commit()    #提交操作，插入时不可省
cur.close()    
conn.close()    #关闭连接，释放资源
except MySQLdb.Error,e:
     print "Mysql Error %d: %s" % (e.args[0], e.args[1])    #如果出错，输出错误

对于mysql不是很熟悉的同学如果有phpmyadmin的话可以在phpmyadmin中操作一下数据库，可以预览mysql语句。也可以在mysql命令行中执行语句尝试。

三.php的经验分享

虽然以前一直会php和css，但是这是第一次真正写一个动态页面。

首先对参数进行过滤。判断是否为整数数字：

if(is_numeric($_GET['page'])&&is_int($_GET['page']+0)){
#code
}

php中标签的输出是这样的！

echo "<p style=\"display:inline-block;\">haha</p>";

bootstrap很好用！

推荐链接：

bootstarap基本css样式；

bootstarp组件。

php对数据库的处理：

现在版本的php不再推荐MYSQL函数了，建议使用PDO或者mysqli

本来想使用pdo的，想感受一下预处理。但是pdo会对参数中的某些字符进行转义。无论我怎么处理都会报错，最终我决定使用mysqli了。

//mysql建立连接 
$db=new mysqli('localhost','root','','wooyun'); //localhost:3307
//sql对象错误检查 
if(mysqli_connect_errno()){ 
echo '<br>Error:Please try again later.'; 
exit(); }

参数如上，不解释了。host有两种方式，默认端口是localhost；指定端口是localhost:3307

$query0="SELECT count(*) FROM `".$kind."` WHERE `title` LIKE '%".$keywords."%'";  #mysql语句
$num=$db->query($query0);   #执行该语句
$row=$num->fetch_row();    #取得结果

四.后记

在课业之余用了10天时间搭建完成，见识了很多扩展，很有帮助。

我的新浪微博：http://weibo.com/grt1st

项目github地址：https://github.com/grt1st/wooyun_search

*本文原创作者：grt1stnull，本文属FreeBuf原创奖励计划，未经许可禁止转载

收藏该文

grt1stnull1篇文章等级：1级

这家伙太懒，还未填写个人描述！

个人主页发私信

这些评论亮了

CNZ(2级)“img src=1 onerror=alert(docum...回复
可惜了，乌云关闭的锅我觉得该PR背，早在zf那边打点好，把利益拴在一起，根本就没这事了
)8(亮了

发表评论

已有 14 条评论

FireTao (1级) 2016-09-21回复1楼
点个赞
亮了(0)
lx277856602 (3级) 2016-09-21回复2楼
能搞个docker版的不
亮了(0)
CNZ (2级)“img src=1 onerror=alert(docum... 2016-09-21回复3楼
可惜了，乌云关闭的锅我觉得该PR背，早在zf那边打点好，把利益拴在一起，根本就没这事了
亮了(8)
- 武汉市国家安全局 2016-09-21回复
  @ CNZ 这就是夜壶的故事，用的时候需要，不用的时候嫌脏。所以说说翻脸就翻脸太正常了
  亮了(0)
DragonEgg 2016-09-21回复4楼
其实我是来看mysqldb的断线重连的
亮了(0)
- grt1stnull (1级) 2016-09-21回复
  @ DragonEgg 我是每次写入前再建立连接，所以没断线过。你倒是提醒我了可以在开始处建立连接，添加中途断线处理，如果这样效率更高我会考虑这种方法的。
  亮了(0)
  - DragonEgg 2016-09-21回复
    @ grt1stnull 可以用ping()自己判断
    import MySQLdb
    def connect():
    conn = MySQLdb.connect(user="root",passwd="12345",host="localhost",db="test")
    return conn
    c = connect()
    def xxx():
    global c
    try:
    c.ping()
    except:
    c = connect()
    亮了(0)
tahf (3级)爱学习爱分享的小白猫 2016-09-21回复5楼
不错不错，吧drop搭起来！
亮了(0)
乌云 2016-09-21回复6楼
我还是喜欢这样的
亮了(1)
劳斯来斯奔 2016-09-21回复7楼
我就是通过这条微博找到你的…23333
亮了(0)
苏南同学 2016-09-21回复8楼
听上去不错
亮了(0)
123 2016-09-21回复9楼
https://github.com/CaledoniaProject/wooyun_offline_ui … 楼主累不累
亮了(0)
均分要上82的grt1st 2016-09-21回复10楼
感谢关注[doge]
亮了(0)
夏生阿亮 2016-09-21回复11楼
很早就有人把乌云爬下来并存档放在互联网

0 0