搭建spark集群环境,较为全面
来源:互联网 发布:linux ping 脚本 编辑:程序博客网 时间:2024/06/06 12:35
先上几个靠谱的链接,根据这些链接,搭建不会遇到太多问题
教程1 https://github.com/hemajun815/tutorial/blob/master/apache/3.installing-spark2.2.0-on-ubuntu.md
可以作为主要的参考,语言简练,很容易上手
教程2 http://blog.csdn.net/henni_719/article/details/77967755
辅助参考资料(一)
教程3 http://blog.csdn.net/u010159842/article/details/72878246
辅助参考资料(二),非常全面,个人因为还要搭建tensorflow平台,因此,这篇文章也是我非常推荐的
注意:搭建之后,shell中spark可以正常运行,hadoop也没有问题,以为就搭建好了,其实这是一个误区,当我尝试运行http://www.powerxing.com/spark-quick-start-guide/ 的例子时候,提示错误,最后发现,在教程一中,一直没有配置的是spark的路径,基于这个猜想,自己做了某些修改,修改的内容是 root/.bashrc文件和spark/conf/spark-env.sh,修改的方式为在教程一的基础上,根据教程二、三配置新的spark路径。最后启动系统,例子运行成功
由于才开始使用ubuntu系统,截图中的重点都不突出,下次安装了图片处理工具再上图
阅读全文
0 0
- 搭建spark集群环境,较为全面
- Spark集群环境搭建
- Spark集群环境搭建
- Spark集群环境搭建
- Spark集群环境的搭建
- 搭建hadoop/spark集群环境
- Spark 分布式集群环境搭建
- spark standalone 集群环境搭建
- Spark集群环境的搭建
- spark筑基篇-00-Spark集群环境搭建
- spark-1.2.0 集群环境搭建
- spark-1.2.0 集群环境搭建
- spark-1.2.0 集群环境搭建
- Spark-1.3.1集群环境搭建
- spark-1.2.0 集群环境搭建
- spark-1.2.0 集群环境搭建
- Spark On Yarn集群环境搭建
- spark环境搭建,伪分布式、集群
- 一脸懵逼学习Hadoop-HA机制(以及HA机制的配置文件,测试)
- 命名规则
- 新路程------ftp get失败
- 微信开发详细文档
- vpn添加日志
- 搭建spark集群环境,较为全面
- Java Swing实用小工具开发
- JAVA进阶----ThreadPoolExecutor机制
- Linux split命令参数及用法详解---linux分割文件命令
- ConfigReader(五十六)—— ReadSkillPassiveConfig
- 在Mac os上安装Xampp、iTop和phpMyAdmin遇到的坑
- canvas restorToCount
- android 图片 上下左右滑动,能放大放小
- Win中安装IDEA2017及实用攻略