Spark(三): 安装与配置
来源:互联网 发布:surge for mac 教程 编辑:程序博客网 时间:2024/06/07 08:52
参见 HDP2.4安装(五):集群及组件安装 ,安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群,基于hadoop yarn 的运行模式。
目录:
- Spark集群安装
- 参数配置
- 测试验证
Spark集群安装:
- 在ambari -service 界面选择 “add Service",如图:
- 在弹出界面选中spark服务,如图:
- "下一步”,分配host节点,因为前期我们已经安装了hadoop 和hbase集群,按向导分配 spark history Server即可
- 分配client,如下图:
- 发布安装,如下正确状态
参数配置:
- 安装完成后,重启hdfs 和 yarn
- 查看 spark服务,spark thrift server 未正常启动,日志如下:View Code
解决方案:调整yarn相关参数配置 yarn.nodemanager.resource.memory-mb、yarn.scheduler.maximum-allocation-mb
yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量,默认是8192(MB),注意,我本机的hdp2-3内存为4G,默认设置的值是512M,调整为如下图大小
yarn.scheduler.maximum-allocation-mb
单个任务可申请的最多物理内存量,默认是8192(MB)。
保存配置,重启依赖该配置的服务,正常后如下图:
测试验证:
- 在任一安装spark client机器(hdp4),将目录切换至 spark 安装目录的 bin目录下
- 命令: ./spark-sql
- sql命令: show database; 如下图
- 查看历史记录,如下:
0 0
- Spark(三): 安装与配置
- Spark(三): 安装与配置
- Spark安装与配置
- spark安装与配置
- spark的配置与安装
- spark集群安装与配置
- Spark安装与环境配置
- Spark本地安装与配置
- Spark 1.3 环境安装与配置
- Hadoop & Spark安装配置与入门
- Openfire+Spark安装配置
- spark安装配置
- Spark安装和配置
- Spark 安装配置实验
- spark安装配置
- spark、scala安装配置
- spark 安装和配置
- Spark 单机安装配置
- HTM-16.2代码(2)——帧间预测(理论)
- AndroidStudio LiveTemplates 使用
- final、finally 和 finalize 区别
- C语言-signal.h简单使用
- SD-SO 更改 item category
- Spark(三): 安装与配置
- linux设置时间同步命令
- pdo笔记
- addScalar的用法与作用
- windows7局域网文件夹共享
- Leetcode 474. Ones and Zeroes (Medium) (cpp)
- Java核心技术点之多线程
- Spark(四): Spark-sql 读hbase
- Nginx基本功能极速入门