Portia可视化爬虫部署
来源:互联网 发布:数据库冗余 编辑:程序博客网 时间:2024/06/05 23:05
安装
如果是 ubuntu14.04 可以参考
可视化爬虫Portia安装和部署踩过的坑
如果是 ubuntu16.04 ,尝试过本地安装,但是因为老是提示 apt-get 安装错误:
Err:15 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main amd64 Packages 404 Not FoundIgn:16 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main i386 PackagesIgn:17 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main all PackagesIgn:18 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main Translation-en_USIgn:19 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main Translation-en
没办法,只能 docker 安装
sudo apt-get install docker.iosudo apt-get install python-pippip install docker-compose启动 dockerdocker run -d -v /data/workspace/portia/portia_projects:/app/slyd/data:rw -p 9001:9001 --name portia-2.0.5 scrapinghub/portia:portia-2.0.5注意:其中的 /data/workspace/portia/portia_projects 路径是在本地的创建项目的文件夹而 /app/slyd/data 是 docker 运行中镜像内的文件夹路径
如果一切顺利,那么可以在 9001 端口看到网页
lsof -i:9001 查看 9001 端口COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEdocker-pr 5277 root 4u IPv6 163606 0t0 TCP *:9001 (LISTEN)
参考:
博客
阅读全文
0 0
- Portia可视化爬虫部署
- 开源可视化网页抓取工具Portia 爬虫
- 30天了解30种技术系列---(16)可视化爬虫工具---Portia
- 可视化的网页内容抓取工具 Portia
- scrapy爬虫学习系列四:portia的学习入门
- 在DEBIAN8.6上搭建Portia(可视化Scrapy)的注意事项
- 爬虫服务器环境部署
- Scrapyd部署爬虫
- Scrapyd部署爬虫项目
- 使用Scrapyd部署爬虫
- Scrapyd部署爬虫
- python爬虫+R数据可视化 实例
- 网易云音乐爬虫 && 数据可视化
- 不会编程也能写爬虫?可视化爬虫工具是什么东东
- 使用Docker部署Scrapy爬虫
- 基于Scrapyd的爬虫部署
- Zoookeeper及可视化UI的部署
- python爬虫(4)——统计并可视化数据
- eclipse 配置pydev插件
- Windows 下批量生成 SWF 缩略图的快速解决方案
- 年龄
- Glide源码解析之山清水秀疑无路(一)
- 理解 LSTM 网络
- Portia可视化爬虫部署
- Intellij IDEA maven 不能建java文件
- 【DIY】实现一个缓存管理器
- 洛谷P2915 Usaco08 Mixed Up Cows
- JAVA_编程小案例_拆高位数字为多个个位数字
- Mongodb快速入门
- C语言:文件函数 fopen(),fclose(),fwrite(),fread()
- 大学生活记录2017.10.26
- Vue之通过http服务打开build后的项目