Python读取PDF内容
来源:互联网 发布:fast rcnn tensorflow 编辑:程序博客网 时间:2024/05/21 14:52
1,引言
晚上翻看《Python网络数据采集》这本书,看到读取PDF内容的代码,想起来前几天集搜客刚刚发布了一个抓取网页pdf内容的抓取规则,这个规则能够把pdf内容当成html来做网页抓取。神奇之处要归功于Firefox解析PDF的能力,能够把pdf格式转换成html标签,比如,div之类的标签,从而用GooSeeker网页抓取软件像抓普通网页一样抓取结构化内容。
从而产生了一个问题:用Python爬虫的话,能做到什么程度。下面将讲述一个实验过程和源代码。
2,把pdf转换成文本的Python源代码
下面的python源代码,读取pdf文件内容(互联网上的或是本地的),转换成文本,打印出来。这段代码主要用了一个第三方库PDFMiner3K把PDF读成字符串,然后用StringIO转换成文件对象。(源代码下载地址参看文章末尾的GitHub源)
from urllib.request import urlopenfrom pdfminer.pdfinterp import PDFResourceManager, process_pdffrom pdfminer.converter import TextConverterfrom pdfminer.layout import LAParamsfrom io import StringIOfrom io import opendef readPDF(pdfFile): rsrcmgr = PDFResourceManager() retstr = StringIO() laparams = LAParams() device = TextConverter(rsrcmgr, retstr, laparams=laparams) process_pdf(rsrcmgr, device, pdfFile) device.close() content = retstr.getvalue() retstr.close() return contentpdfFile = urlopen("http://pythonscraping.com/pages/warandpeace/chapter1.pdf")outputString = readPDF(pdfFile)print(outputString)pdfFile.close()
如果PDF文件在你的电脑里,那就把urlopen返回的对象pdfFile替换成普通的open()文件对象。
3,展望
这个实验只是把pdf转换成了文本,但是没有像开头所说的转换成html标签,那么在Python编程环境下是否有这个能力,留待今后探索。
4,集搜客GooSeeker开源代码下载源
1. GooSeeker开源Python网络爬虫GitHub源
5,文档修改历史
2016-05-26:V2.0,增补文字说明
2016-05-29:V2.1,增加第六章:源代码下载源,并更换github源的网址
0 0
- Python读取PDF内容
- 【python PDF解析】python 读取PDF文件内容
- 读取pdf中的内容
- 读取pdf文件内容
- Python读取PDF
- python读取pdf文档
- Python读取PDF文件
- python 读取 pdf 文档
- java读取pdf文件内容
- java读取pdf文件内容
- java读取pdf文件内容
- java读取pdf文件内容
- java读取pdf文件内容
- java读取pdf文件内容
- java读取pdf文件内容
- java读取pdf文件内容
- C#读取PDF、TXT内容
- C# PDFbox读取PDF内容
- cmd连接网络数据库
- [Java并发包学习七]解密ThreadLocal
- 高性能 TCP & UDP 通信框架 HP-Socket v3.5.1 发布
- activiti模型导出——衍生response响应方式解析
- 自定义消息
- Python读取PDF内容
- javascript策略模式
- HTTP工作原理及HTTP请求、响应报文解读
- c++工程里一个文件怎么调用另外一个文件里的函数
- 1、Git简介
- 实习入职第四天:Thread有关知识点2
- 加密灵活性-Cryptographic Agility
- C语言获取系统时间 & 精度
- android 使用lint + studio ,排查客户端无用资源,string,drawable,layout等