jupyter配置scala和Spark学习环境
来源:互联网 发布:java svn插件 编辑:程序博客网 时间:2024/05/29 19:07
jupyter配置scala和Spark学习环境
简介:
Jupyter Notebook(此前被称为 IPython Notebook)是一个交互式笔记本,支持运行 40 多种编程语言。Jupyter Notebook 的本质是一个 Web 应用程序,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和 markdown。 用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等
在学习Python的时候无意见发现了这个,很特别,很好用的一个东西。可以直观的展示代码和运行结果等等。后来发现它支持scala语言和Spark基本的学习。所以特别的整理了下配置。
安装过程记录
Anaconda配置
安装Anaconda。【Anaconda附带了很多东西,Python的很多用于科研的包、Ipython、Jupyter、Spider等。安装过程略。安装很简单,不过建议网上再搜索下。
配置jupyter
这里配置一下jupyter的登录。因为默认的情况下,启动Jupyter后,会打开一个浏览器页面。不过,当你一不小心把它关闭后,你需要去终端复制那个token。。比较累,比较烦。
打开Ipython。获取密码。
In [1]: from IPython.lib import passwdIn [2]: passwd()#建议输入密码的时候,不输入~省的下一次在其他浏览器页面打开的时候,还要再输密码Enter password: Verify password: Out[2]: 'sha1:0e422dfccef2:84cfbcbb3ef95872fb8e23be3999c123f862d856'
复制这个:
sha1:0e422dfccef2:84cfbcbb3ef95872fb8e23be3999c123f862d856
接下来生成秘钥:
openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem
创建一个服务器配置:
ipython profile create nbserver
创建jupyter的配置文件:
jupyter notebook --generate-config vim /root/.jupyter/jupyter_notebook_config.py #修改内容c.NotebookApp.password = u'sha1:。。。。。。。。。。。' 这个填写之前复制的那个c.NotebookApp.certfile = u'/root/.jupyter/mycert.pem' 这个其实我不知道干嘛的。。c.NotebookApp.ip = '*'c.NotebookApp.port = 9999
之后就可以启动了~[可以把这个放在后台~]
jupyter notebook
配置scala支持
这个需要特别的安装下,安装过程并不复杂
建议读这个:
https://github.com/alexarchambault/jupyter-scala
把它clone下来,然后Simply run the jupyter-scala
script of this repository to install the kernel. Launch it with --help
to list available (non mandatory) options.
Once installed, the kernel should be listed by jupyter kernelspec list
.
配置Spark
Spark 需要提前安装好,版本不要太老~~
此处使用Apache toree给notebook安装Scala kernel
toree官网下载页,不需要解压,直接使用pip install安装
wget https://dist.apache.org/repos/dist/dev/incubator/toree/0.2.0/snapshots/dev1/toree-pip/toree-0.2.0.dev1.tar.gzpip install toree-0.2.0.dev1.tar.gz
接着使用一下命令安装,其中spark://localhost.localdomain:7077为你的spark地址,/root/spark为你的spark安装目录
jupyter toree install --spark_opts='--master=spark://localhost.localdomain:7077' --user --kernel_name=Spark2.0 --spark_home=/root/spark11
测试是否安装成功,列出kernel列表,
python2 /home/youxiangyang/anaconda2/lib/python2.7/site-packages/ipykernel/resources scala /home/youxiangyang/.local/share/jupyter/kernels/scala spark1.6.2_scala /home/youxiangyang/.local/share/jupyter/kernels/spark1.6.2_scala
运行jupyter,你就可以看到在新建项目那里多出了spark和scala。。
可能还会有较多的问题没有处理完~(其实这时候,笔者已经可以开始用了,暂时还没有遇到问题,如果大家在使用的时候发现了,可以留言讨论)
- jupyter配置scala和Spark学习环境
- Jupyter配置Spark开发环境
- inteliJ scala和spark环境配置
- jupyter安装及配置scala、spark、pyspark内核
- Hadoop,Scala,Spark环境配置
- 基于pyspark 和scala spark的jupyter notebook 安装
- Scala学习笔记-1用Eclipse和IDEA搭建Scala+Spark开发环境
- Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程
- 在Jupyter notebook中配置和使用spark
- Jupyter环境配置error
- Win7下安装和配置sbt,Scala,Eclipse,Spark开发环境
- Spark+Scala环境搭建
- 对spark和scala的进一步学习
- 学习scala和spark的一些内容
- Spark环境配置与学习
- 详解 jupyter notebook 集成 spark 环境安装
- Mac 配置Spark环境scala+python版本(Spark1.6.0)
- Spark+Scala+intellij在win7下开发环境配置
- C++返回值是二维数组
- 一个有用的查备件号的网站
- 【编程】链表问题
- easyui联动效果
- linux下的uname命令详解
- jupyter配置scala和Spark学习环境
- Java上传文件到服务器
- 根据经纬度计算两点之间的距离的公式推导过程以及google.maps的测距函数
- 线程-线程控制
- Caused by: java.lang.IllegalStateException
- 线程死锁
- 浮点数比较
- LengthFieldBasedFrameDecoder使用示例
- 使用TensorFlow编写损失函数 交叉熵(cross entrophy)| 均方误差(MSE)