python使用心得之获得github代码库列表
来源:互联网 发布:keka mac 编辑:程序博客网 时间:2024/05/16 06:45
1.背景效果可以看下具体51搜索展示http://www.51bt.cc,结合Xunsearch全文检索技术,可以达到毫秒级的数据搜索
项目需求,要求获得github的repo的api,以便可以提取repo的数据进行分析。研究了一天,终于解决了这个问题,虽然效率还是比较低下。
因为github的那个显示repo的api,列出了每个repo的详细信息,而且是json格式的。现在貌似还没有找到可以分析多个json格式数据的方法,所以用的是比较蠢得splite加re的方法。如果大家有更好的方法,不发留言讨论!
2.代码
import re
import os
def GetUrl(num):
str = os.popen("curl -G https://api.github.com/repositories?since=%d"%(num)).read()
pattern = '"url"'
pattern1='repos'
urls=str.split(',\n')
for i in urls:
if pattern in i and pattern1 in i:
# text1=i.splite(':')
text=re.compile('"(.*?)"').findall(i)[1]
print text
if __name__=='__main__':
GetUrl(1000) 其中num的值指的是页面的id,我们可以做一个循环,不断增大num的值,就可以无限提取repo。因为github的api对于流量是有限制的,所以这么做是一个可行的方法。
项目需求,要求获得github的repo的api,以便可以提取repo的数据进行分析。研究了一天,终于解决了这个问题,虽然效率还是比较低下。
因为github的那个显示repo的api,列出了每个repo的详细信息,而且是json格式的。现在貌似还没有找到可以分析多个json格式数据的方法,所以用的是比较蠢得splite加re的方法。如果大家有更好的方法,不发留言讨论!
2.代码
import re
import os
def GetUrl(num):
str = os.popen("curl -G https://api.github.com/repositories?since=%d"%(num)).read()
pattern = '"url"'
pattern1='repos'
urls=str.split(',\n')
for i in urls:
if pattern in i and pattern1 in i:
# text1=i.splite(':')
text=re.compile('"(.*?)"').findall(i)[1]
print text
if __name__=='__main__':
GetUrl(1000) 其中num的值指的是页面的id,我们可以做一个循环,不断增大num的值,就可以无限提取repo。因为github的api对于流量是有限制的,所以这么做是一个可行的方法。
0 0
- python使用心得之获得github代码库列表
- python使用心得之获得github代码库列表
- python 获得github代码库列表
- git使用心得之github
- 使用github同步python代码
- Python 爬虫的工具列表( 附Github代码下载链接)
- Python 爬虫的工具列表( 附Github代码下载链接)
- Python 爬虫的工具列表 附Github代码下载链接
- Python 爬虫的工具列表 附Github代码下载链接
- Python 爬虫的工具列表 附Github代码下载链接
- Github、NodeJS使用心得
- github 初次使用心得
- Github的使用心得
- Github初次使用心得
- github使用心得
- 使用github的心得
- Python使用Ckan API获得CKAN的group列表
- GitHub 使用之从代码库下载至本地
- 利用Axis2开发WebService(3)---用Java实现调用WebService的客户端程序
- Programming Methodology in Java 笔记 2
- shell使用笔记-算术运算
- linker command failed with exit code 1 (use -v to see invocation)
- 报错记录
- python使用心得之获得github代码库列表
- 强势的SEO团队才能造就高效网站优化
- 基于Haar特征的Adaboost级联人脸检测分类器
- SSL/TLS协议和证书简介
- Cookie深度解析
- ArcGIS教程:使用地理处理包
- java 字符串去重
- Javascript字符串对象的常用方法简明版
- 异常: Software caused connection abort: socket write error