Portia可视化爬虫部署

来源:互联网 发布:数据库冗余 编辑:程序博客网 时间:2024/06/05 23:05

安装

如果是 ubuntu14.04 可以参考
可视化爬虫Portia安装和部署踩过的坑

如果是 ubuntu16.04 ,尝试过本地安装,但是因为老是提示 apt-get 安装错误:

Err:15 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main amd64 Packages  404  Not FoundIgn:16 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main i386 PackagesIgn:17 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main all PackagesIgn:18 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main Translation-en_USIgn:19 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main Translation-en

没办法,只能 docker 安装

sudo apt-get install docker.iosudo apt-get install python-pippip install docker-compose启动 dockerdocker run -d -v /data/workspace/portia/portia_projects:/app/slyd/data:rw -p 9001:9001 --name portia-2.0.5 scrapinghub/portia:portia-2.0.5注意:其中的 /data/workspace/portia/portia_projects 路径是在本地的创建项目的文件夹而 /app/slyd/data 是 docker 运行中镜像内的文件夹路径

如果一切顺利,那么可以在 9001 端口看到网页

lsof -i:9001 查看 9001 端口COMMAND    PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAMEdocker-pr 5277 root    4u  IPv6 163606      0t0  TCP *:9001 (LISTEN)

参考:
博客