github-popular

项目地址
https://github.com/guanpengchn/github-popular

简介

该项目爬取了github中流行的项目，并进行语言排名和图标分析，供开源爱好者参考

环境依赖

• python 3.6.1
• mongo 3.4.7

相关技术

• scrapy
• flask
• Material Design Lite
• vue

部署

安装python环境
http://www.runoob.com/python3/python3-tutorial.html

安装mongodb环境，可参考以下链接，使用默认端口27017
http://www.runoob.com/mongodb/mongodb-tutorial.html

git clone https://github.com/guanpengchn/github-popular.gitpip install -r requirements.txtpython app.py

访问浏览器
http://locolhost:5000

目录结构

├── README.md                   // help├── app.py                      // web入口├── requirements.txt            // python相关依赖├── scrapy.cfg                  // scrapy配置文件├── startSpider.py              // 开启爬虫脚本├── templates                   // 页面模板├── static                      // 静态资源├── popular                     // 爬虫└── doc                         // 相关文档

效果

mongodb中会生成
db名为popular，collection名为trending的数据
存储了从
https://github.com/trending
获取的数据
最后在网页上进行分析显示