phantomjs爬虫在docker下不能正常运行的问题
来源:互联网 发布:淘宝宝贝名称规则 编辑:程序博客网 时间:2024/06/05 01:08
版权声明:可以任意转载,转载时请标明文章原始出处-xjtushilei和作者信息:石磊
背景
和北京xx教育合作的知识图谱项目,因为xx升级了docker镜像的管理,撤掉了之前的docker,导致服务全部瘫痪。虽然立马就锁定了问题,还是记录一下吧,省的所有在centos下进行爬虫的人debug时候找不到原因。
phantomjs
一个基于webkit内核的无头浏览器,即没有UI界面,即它就是一个浏览器,只是其内的点击、翻页等人为相关操作需要程序设计实现。
提供javascript API接口,即通过编写js程序可以直接与webkit内核交互,在此之上可以结合java语言等,通过java调用js等相关操作,从而解决了以前c/c++才能比较好的基于webkit开发优质采集器的限制。
提供windows、linux、mac等不同os的安装使用包,也就是说可以在不同平台上二次开发采集项目或是自动项目测试等工作。
它将非常方便的应用于模拟登陆,如微博、电商类,或是小米、火车票抢票等项目中,下一步计划将其与上述项目结合,开发更有意思的项目。
官网
http://phantomjs.org/
下载与安装
我附个图片算啦,支持各大平台和各种语言。
坑
一般情况下,大家都是只下载了驱动器,没有注意到有些linux环境是没有一些依赖的。比如我的ubuntu是有这些依赖的,但是docker的centos7里是没有的,这就是一个坑。
所以,解决办法就是:
RUN yum install -y fontconfig
阅读全文
0 0
- phantomjs爬虫在docker下不能正常运行的问题
- 关于Dev c++ 不能在Win8系统下正常编译、运行的问题
- 如何解决DriverStudio 3.2 的Visual Studio 2005插件不能在Vista下正常运行的问题
- centos7 rc.local运行 docker 不能正常reboot的处理.
- nutch1.2爬虫在eclipse下运行遇到的问题
- qt解决双击不能正常运行问题(win下)
- ExtJS 3 不能在IE9下正常运行的简单解决办法
- ExtJS 3 不能在IE9下正常运行的简单解决办法
- ExtJS 3 不能在IE9下正常运行的简单解决办法
- 使用第三方库的apk 在Ubuntu下编译后不能正常运行
- 关于在iis6下excel.application能够正常运行,而vista或者window7的iis7下不能运行的总结
- 解决MindManager在win8/10下不能运行的问题
- CentOS7.0下,apache不能正常运行的解决思路
- DEDECMSv57在PHP5.4不能正常运行的解决方法
- opencv 1.0下运行正常的代码,后续版本不能正常运行
- Echars在bootstrap的tab下切换不能正常显示的问题
- 关于BHO不能够正常运行的问题!
- F1611大数组定义,不能正常运行的问题
- 学习矢量量化-LVQ
- Scala中for循环逆序遍历数组
- Hcdp认证培训是什么?
- 生成对抗网络(GAN)的理论与应用完整入门介绍
- 考研,加油,祝福你们
- phantomjs爬虫在docker下不能正常运行的问题
- utils/yum_onlydownload.sh
- 反汇编【for循环】
- LeakCanary测试app内存泄露+registerActivityLifecycleCallbacks管理Activity的生命周期
- PackageManager 分析(1)
- 数据结构学习之链表
- ionic3 调用本地相册并上传图片
- Python 数据处理实践(1)--遍历文件和map()函数
- Ubuntu配置开发环境