搭建spark集群环境,较为全面

来源:互联网 发布:linux ping 脚本 编辑:程序博客网 时间:2024/06/06 12:35

先上几个靠谱的链接,根据这些链接,搭建不会遇到太多问题


教程1    https://github.com/hemajun815/tutorial/blob/master/apache/3.installing-spark2.2.0-on-ubuntu.md

     可以作为主要的参考,语言简练,很容易上手

教程2    http://blog.csdn.net/henni_719/article/details/77967755

     辅助参考资料(一)

教程3    http://blog.csdn.net/u010159842/article/details/72878246

   辅助参考资料(二),非常全面,个人因为还要搭建tensorflow平台,因此,这篇文章也是我非常推荐的


注意:搭建之后,shell中spark可以正常运行,hadoop也没有问题,以为就搭建好了,其实这是一个误区,当我尝试运行http://www.powerxing.com/spark-quick-start-guide/  的例子时候,提示错误,最后发现,在教程一中,一直没有配置的是spark的路径,基于这个猜想,自己做了某些修改,修改的内容是 root/.bashrc文件和spark/conf/spark-env.sh,修改的方式为在教程一的基础上,根据教程二、三配置新的spark路径。最后启动系统,例子运行成功


由于才开始使用ubuntu系统,截图中的重点都不突出,下次安装了图片处理工具再上图



原创粉丝点击