spark 1.3.1以上的集群搭建流程
来源:互联网 发布:cnas 软件测试实验室 编辑:程序博客网 时间:2024/06/08 01:53
1.Ubuntu14.04的安装,以三台电脑为安装流程
【步骤1】Ubuntu每台电脑都设置root用户登录,用root登录进行接下来操作
【步骤2】设置电脑的IP地址,三台电脑的IP地址在同一个网段中
这里以下为例
【172.168.200.100】
【172.168.200.101】
【172.168.200.102】
注:此时,三台电脑互相ping,应该是可以ping通的
【步骤3】ssh的三台电脑相互登录
1.设置每台电脑的hosts,将每台电脑的hosts都设置成相同
gedit /etc/hostname
172.168.200.100 master172.168.200.100 slave1172.168.200.100 slave2网上都有各种设置ssh无密码登录,选择一个设置好ssh登录。
验证是否能通
ssh master
ssh slave1
ssh slave2
能正常ssh通,就可以基础环境搞定
【步骤4】 jdk的环境,hadoop的环境,scale的环境,spark的环境
gedit ~/.bashrc
推荐一次性设置好
【步骤5】一旦这些设置好了,剩下的就是hadoop的配置和spark配置了
【步骤6】配置好这些多,记得先启动hadoop,然后启动spark,这样就ok了
【步骤王】以上主要为搭建流程,,具体操作网上都有,其中以三台电脑的ssh互通为最主要部分
0 0
- spark 1.3.1以上的集群搭建流程
- Spark集群的搭建:
- spark集群的搭建
- Spark集群的搭建
- Spark-1.3.1集群环境搭建
- Spark集群环境的搭建
- spark的standalone集群搭建
- Spark集群环境的搭建
- Spark集群部署流程
- 从0到1搭建spark集群---企业集群搭建
- 搭建Spark的单机版集群
- 基于树莓派的Spark集群搭建
- Spark在Linux下集群的搭建
- Spark Yarn集群搭建的几个注意事项
- 搭建基于mesos的spark集群
- 搭建Spark的单机版集群
- Apache Spark-1.0.1集群搭建
- Spark入门 - 1 搭建Hadoop分布式集群
- 高精度减法——一步一步算法篇
- 在spark中使用Hive报错error: not found: value sqlContext
- uva Ugly Numbers
- chrono
- Java核心之I/O;
- spark 1.3.1以上的集群搭建流程
- 第八周项目三-指向学生类的指针
- TextView的setOnClickListener
- 风云CTF2016 WEB WP
- 前端优化收集
- memmove 和 memcpy的区别以及处理内存重叠问题
- Android中的事件分发机制(下)——View的事件处理
- 方老师与素数
- C程序问题归纳(static,auto,register,extern,程序内存分布图,linux下程序的执行过程......)(一)