用PyCharm远程调试来编写PaddlePaddle代码
来源:互联网 发布:淘宝数据包导出 编辑:程序博客网 时间:2024/05/18 13:48
0、前言和相关知识
PaddlePaddle运行在Docker中,在这其中我有两个疑问:
1、怎么与Docker交互?
paddlepaddle的book项目就是教程,里面有paddle的项目环境,可以用jupyter botebook来写代码和学习,但是总是觉得有点变扭,毕竟浏览器没有IDE那种质感,其实官方是有如下说法
以交互容器方式运行开发镜像:docker run -it --rm paddlepaddle/paddle:<version>-dev /bin/bash或者,可以以后台进程方式运行容器:docker run -d -p 2202:22 -p 8888:8888 paddledev/paddle:<version>-dev然后用密码 root SSH进入容器:ssh -p 2202 root@localhostSSH方式的一个优点是我们可以从多个终端进入容器。比如,一个终端运行vi,另一个终端运行Python。另一个好处是我们可以把PaddlePaddle容器运行在远程服务器上,并在笔记本上通过SSH与其连接。
PaddlePaddle发布的Docker镜像使用说明 上面内容来自这个页面
第一个命令就是直接用命令行进入docker容器,其中-t选项就是tty的意思,最后的一个是执行的命令(/bin/bash)
第二、三个命令是一起用的额,先开启docker 的后台,再ssh远程过去
2、ssh怎么连上去?
官方教程不是写了做法了么?为什么还那样问!?因为实际操作的时候是一直拒绝连接的,从自己试验多次之后,发现有的镜像压根没有安装openssh-server,有的安装了,但是却没有开启,没开服务当然连不上啊。
而远程调试之前,肯定第一步是连上Docker,不然后面都不能继续。
第一次用docker,不太了解怎么操作docker,搞了几天。了解后,我们得知道几个docker命令:
- docker stop 容器ID 这命令是停止容器
- docker run [选项] 镜像名:tag [命令] [参数]
选项: -i 没有参数 给容器开启一个不间断的输入,没有这个的话,执行完命令容器就会退出
选项:-t 参数在命令处 给容器接入一个tty交互字符界面,参数一般是/bin/bash(个人理解,准确理解亲查阅相关资料
选项:-d 没有参数 开启让容器在后台运行,并在完全开启容器后,打印容器ID
选项:-p 本机端口:docker端口 作用是将docker端口映射到本地 - docker exec [选项] 容器ID 命令 [参数]
- docker images 列出所有镜像
- docker ps 列出正在运行的镜像
- docker ps -a 列出历史记录和情况,其中只有STATUS字段有UP×××字样才是运行中
- docker pull 镜像名:tag 如果不加tag名称,默认为latest这个tag
- docker commit 镜像名称 保存镜像状态,下次开启容器会重置,网上上最好用volume(卷)容器来存在内容(volume容器及相关雷凌不在本教程中),镜像名称格式,推荐是:用户名/项目名 或者 组织名/项目名
本教程暂时只管连上docker,内容保存的话,看看以后的有没空改一改。
下面会开始过程,在这之前,先说说简略过程:
开启Docker镜像->检测openssh-server是否存在->是>>跳过docker commit那一步||否>>安装openssh-server->docker commit保存镜像->docker run 开启镜像->docker exec 开启openssh-server->Pycharm远程调试
1、下载并启动Paddle的Docker镜像
1.1下载镜像(其实命令正常意思是运行这个镜像):
正常的方式是docker pull命令拉取镜像的,但是出于简便,采用如下做法:
docker run -d -p 8888:8888 docker.paddlepaddle.org/book:0.10.0
详细说法请参看:运行这本书
1.2启动book镜像
先列出镜像:
docker images
我们选最后一个镜像:
docker run -d -p 8888:8888 -p 2202:22 docker.paddlepaddle.org/book:0.10.0 docker ps
命令解释:新建docker.paddlepaddle.org/book:0.10.0镜像的容器,把docker的8888、22端口分别映射到8888、2202,并且后台运行
因为这是book项目的镜像里面开启了,jupyter notebook,所以我们可以这么链接上
http://localhost:8888
2、检测openssh-server是否存在
我们直接向docker容器执行命令
docker exec d6f1c2309b7f whereis sshd docker exec d6f1c2309b7f apt-get install openssh-server -y
这里说明一下,docker exec执行的命令其实就是普通Linux命令而已,首先是wheresi sshd,看输出没有路径信息,说明没有这个程序,接着使用apt-get命令安装openssh-server,这个docker exec命令是不能交互的,所以的使用-y代替本来要输入Y或者回车才能继续安装的确认。
继续添加一些配置文件:
打开如下链接:http://localhost:8888
mkdir /var/run/sshdecho 'root:root' | chpasswdsed -ri 's/^PermitRootLogin\s+.*/PermitRootLogin yes/' /etc/ssh/sshd_configsed -ri 's/UsePAM yes/#UsePAM yes/g' /etc/ssh/sshd_config
PS:因为启动镜像的方式没有加选项-t所以只能用jupyter notebook来访问了
如果想用交互的方式来可以用如下来开启镜像:
docker run -d -i -t -p 8888:8888 -p 2202:22 docker.paddlepaddle.org/book:0.10.0 /bin/bashdocker attach 容器id ----如果一直卡着,按ctrl+C就进了进去执行上面的更改配置的命令ctrl+p -> ctrl+q ----退出容器
3、docker commit保存镜像
其实docker是不推荐这样做的,因为这样子重现这个环境会变得很困难
具体可查看使用 Docker 容器应该避免的 10 个事情
但是考虑到,自己构建需要花费大量时间(墙很高),并且这个book项目github上并没有提供Dockerfile文件
docker commit d6f1c2309b7f paddlepaddle/book-ssh:0.10.0
这样子在paddlepaddle/book-ssh:0.10.0这个镜像中添加了openssh-server软件,但是却不能自启动,docker中的linux系统,不能正常设置启动,docker中更讲究的是容器的启动,也就是容器启动时,应用随容器启动而启动,这就需要Dockerfile来构建整个脚本并且添加自启动。
所以我们办不到通过Dockerfile来重构镜像(新生成才对吧),来达到自启动,所以保存之后只能笨一点的方法,手动开启服务,再ssh远程了。
4、docker exec 开启openssh-server
docker exec d6f1c2309b7f /etc/init.d/ssh start
远程试试:
5、Pycharm远程调试
如果你觉得不好,也可以参考这个:Pycharm远程开发配置与使用技巧
创建项目:
添加remote:
接着点ok
会提示如下:
[2017/7/22 2:12] Upload to ssh://root@127.0.0.1:2202/usr/bin/python[2017/7/22 2:12] No files or folders found to process
并且项目是空的:
一直写java,也是第一次看到空项目,我下意识以为出错了,但是新建一个py文件,运行正确,py文件内容如下:
import paddle.v2 as paddleimport paddle.v2.dataset.uci_housing as uci_housingdef main(): # init paddle.init(use_gpu=False, trainer_count=1) # network config x = paddle.layer.data(name='x', type=paddle.data_type.dense_vector(13)) y_predict = paddle.layer.fc(input=x, size=1, act=paddle.activation.Linear()) y = paddle.layer.data(name='y', type=paddle.data_type.dense_vector(1)) cost = paddle.layer.mse_cost(input=y_predict, label=y) # create parameters parameters = paddle.parameters.create(cost) # create optimizer optimizer = paddle.optimizer.Momentum(momentum=0) trainer = paddle.trainer.SGD( cost=cost, parameters=parameters, update_equation=optimizer) feeding = {'x': 0, 'y': 1} # event_handler to print training and testing info def event_handler(event): if isinstance(event, paddle.event.EndIteration): if event.batch_id % 100 == 0: print "Pass %d, Batch %d, Cost %f" % ( event.pass_id, event.batch_id, event.cost) if isinstance(event, paddle.event.EndPass): result = trainer.test( reader=paddle.batch(uci_housing.test(), batch_size=2), feeding=feeding) print "Test %d, Cost %f" % (event.pass_id, result.cost) # training trainer.train( reader=paddle.batch( paddle.reader.shuffle(uci_housing.train(), buf_size=500), batch_size=2), feeding=feeding, event_handler=event_handler, num_passes=30)if __name__ == '__main__': main()
最后是code 0说明正常退出。
这个看不出东西,我们在PyCharm中创建jupyter notebook,就能看到效果了
PyCharm会自动同步本地与ssh远程的服务器文件,还有一个重点就是当你关闭容器,东西会被清空,其实看看,拥有不同的容器ID也可以知道,就是压根就是不同实例,内容是初始值也正常啊。
PS:要显示remotehost:
最后,写得很啰嗦,但是也只是想说清楚一点,不要看得稀里糊涂,我可以只写关键步骤,但是这体现不了这是过程,只体现了结果,所以我选择啰嗦。
6、windows辅助启动脚本
第7行变为你要的名字
第8行改为镜像名字(这个要你机器上的,你用我的这个肯定找不到镜像滴啊
效果:
@echo off title 远程Paddle_Book setlocal enabledelayedexpansion ::color 0D ::mode con cols=50 lines=30 set "book=book-ssh"set "docker-image=paddlepaddle/book3:latest"echo ===================================== echo docker tools echo 显示镜像、容器、所有容器、运行bookecho 打开bookecho ===================================== echo.rem echo.是显示一行空白 echo 1、run bookecho 2、stop bookecho 3、run http://localhost:8888echo 4、list imagesecho 5、list running containersecho 6、list hitstory containers(except %book%echo c、退 出rem 开始循环:loop echo.set /p var=请选择要进行的操作,然后按回车: if "%var%" == "" set /a var=1 if not "%var%" == """" set var=%var:~0,1% for %%t in (1,2,3,4,5,6,c) do if %%t==%var% set /a temp=-1rem 这个for循环检测输入是否是在这个set中rem 这个temp只是一个中间变量,检测是否存在用,在的话应该是-1,否则不是的话说明不在这些数之中if not %temp%==-1 set /a var=-1rem 如果不在set默认值为-1,之后进行提示 if %var% == c goto mExitrem 如果选择的是c的话直接退出 echo ------------------------------------------------ if "%file_path%"=="""" goto mContinue REM 为"双引号就停止" if %var% == -1 goto mError if %var% == 1 ( docker run --name %book% -d -p 2202:22 -p 8888:8888 %docker-image% echo. docker ps echo. echo 正在启动ssh服务 docker exec %book% /etc/init.d/ssh start ) if %var% == 2 ( echo 稍等......正在停止%book% docker stop %book% docker rm %book% ) if %var% == 3 start http://localhost:8888 if %var% == 4 docker images if %var% == 5 docker ps if %var% == 6 docker ps -a if %var% == c goto mExitgoto mContinue :mError echo 输入操作数有误goto mContinue:mContinue goto loop pause :mExitecho 稍等......正在停止%book%docker stop %book%docker rm %book%
- 用PyCharm远程调试来编写PaddlePaddle代码
- pycharm 远程调试openstack 代码
- 利用pycharm远程调试openstack代码
- pycharm远程linux开发和调试代码
- pycharm激活, pycharm远程调试
- 用PyCharm专业版实现远程调试tensorflow
- 用pycharm远程单步调试
- pycharm进行远程调试
- pycharm 远程调试配置
- PyCharm远程调试设置
- Openstack 远程调试 - pycharm
- pycharm远程调试
- PyCharm远程调试openstack
- pycharm 开启远程调试
- Pycharm远程调试
- pycharm远程python调试
- pycharm 远程调试
- Pycharm配置远程调试
- 文章标题
- iOS学习笔记-083.倒影效果
- Python 多线程教程:并发与并行
- Html与CSS学习(一)
- Android实现手机相机
- 用PyCharm远程调试来编写PaddlePaddle代码
- 当下电商网站的主流技术
- 分析很透彻 一个大学教师眼中的未来房价趋势
- CF825F:String Compression(dp & kmp)
- 关于Tomcat异常Failed to start component [StandardEngine[Catalina].StandardHost[localhost].StandardContex
- jsonp跨域详解
- Android L 5.1.1 Rear Camera
- Mysql Access denied for user root@localhost错误解决方法总结
- js中==与===的区别