Hadoop-Yarn安装部署
来源:互联网 发布:人工智能炒作逻辑 编辑:程序博客网 时间:2024/03/29 14:16
Hadoop Yarn的安装部署于Hadoop类似,以下以CDH4.5为例说明安装步骤。
三台机器,修改/etc/hosts及/etc/sysconfig/network中的HOSTNAME:
172.20.4.142 yarn-namenode
172.20.4.143 yarn-datanode1
172.20.4.147 yarn-datanode2
1、实现无密码namenode ssh to datanode
namenode上执行 ssh-keygen -t rsa -P ''产生id_rsa.pub
cat id_rsa.pub > authorized_keys
scp authorized_keys yarn-datanode1:~/.ssh/
scp authorized_keys yarn-datanode2:~/.ssh/
2、官网下载hadoop CDH4.5 解压至~/platform/hadoop
3、copy安装目录下的 etc/hadoop中文件至HADOOP_CONF_DIR下订制自己的hadoop配置
hadoop-env.sh中可配置$JAVA_HOME, $HADOOP_LOG_DIR, $HADOOP_PID_DIR
yarn-env.sh中可配置$YARN_CONF_DIR, $YARN_LOG_DIR
配置core-site.xml,主要是fs.defaultFS,指定namenode:
<property>
<name>fs.defaultFS</name>
<value>hdfs://yarn-namenode:8020</value>
</property>
配置hdfs-site.xml中namenode和datanode存储数据的目录:
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/jjt/hard_disk/0,/home/pplive/hard_disk/1</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/jjt/hard_disk/hdfs</value>
</property>
配置mapred-site.xml,可不用配mapred.job.tracker
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/jjt/hard_disk/0/mrtmp,/home/jjt/hard_disk/1/mrtmp</value>
</property>
配置yarn-site.xml:
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>yarn-namenode:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/home/jjt/data/yarn/1,/home/jjt/data/yarn/2</value>
</property>
配置slaves文件:
yarn-datanode1
yarn-datanode2
4、修改集群中/etc/profile保证集群中配置的环境变量相同, 从namenode上scp $HADOOP_HOME $HADOOP_CONF_DIR 到所有其他机器
5、执行 hadoop namenode -format格式化,start-all.sh启动集群,或分开执行start-dfs.sh start-yarn.sh,使用jps可查看各节点启动的进程
6、修改本机hosts文件,可通过WEBUI yarn-namenode:8088查看任务执行状态
7、提交测试job执行mapreduce,查看任务是否运行成功,如果出错可提升log4j级别通过log查看具体出差原因。
1 0
- Hadoop-Yarn安装部署
- Hadoop YARN安装部署初探
- Hadoop YARN安装部署初探
- hadoop集群部署(yarn)
- Spark on Hadoop Yarn 部署
- spark 部署在hadoop yarn
- hadoop yarn安装
- Hadoop YARN 安装
- Hadoop Yarn 安装
- Hadoop Yarn 安装
- 安装Hadoop YARN
- Hadoop YARN的安装配置
- linux安装hadoop配置Yarn
- 将Spark部署到Hadoop YARN上
- hadoop分布式部署系列3:YARN
- Spark2.0.1 on yarn with hue 集群搭建部署(五)hue安装支持hadoop
- Storm on YARN 安装部署与感悟
- spark集群安装部署(spark on yarn)
- 1017. A除以B (20) (数学啊 ZJU_PAT)
- Eclipse中10个最有用的快捷键组合
- LEFT JOIN 或 RIGHT JOIN 在GROUP BY 下如何利用COUNT统计有NULL的行
- SuSE Linux常见日志清单
- LINQ的基本语法介绍
- Hadoop-Yarn安装部署
- KAFKA分布式消息系统 <转>
- ios UITableView划动删除的实现
- 解决linux内核配置成runtime后,无法启动的问题(自己添加的lcd代码的问题导致)
- HTML5和CSS3技术出来了 还需要学习CSS2吗?
- Hadoop IO 文件压缩 序列化
- ICMP重定向
- 《黑客免杀攻防》读书笔记-软件逆向工程(8)乘法与除法的识别与优化原理
- zk监听心得