hadoop yarn安装
来源:互联网 发布:华为软件测试平台 编辑:程序博客网 时间:2024/04/29 04:14
hadoop yarn已经解决了MRv1中的诸多问题,在此安装一下hadoop yarn,然后方便学习spark,yarn
在hadoop第一版中的如/etc/hosts,ssh无密码登录等问题在此不会详细介绍,在此只是介绍一下yarn和hadoop version1的基本的配置不一样的地方
基本的三个配置文件会有区别,在此列出我自己的三个文件的配置情况,也是最基本的配置,然后给出yarn-site.xml的配置,最后解决一个遇到的问题。
1,core-site.xml文件
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://10.11.1.42:9100</value> </property></configuration>
2,map-site.xml文件
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
3,hdfs-site.xml文件
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/egraldlo/hadoop/yarn/hadoop_related/data1,/home/egraldlo/hadoop/yarn/hadoop_related/data2</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/egraldlo/hadoop/yarn/hadoop_related/data</value> </property></configuration>
4,yarn-site.xml文件
<configuration> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>mapreduce.shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>10.11.1.42:18040</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>10.11.1.42:18030</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>10.11.1.42:18088</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>10.11.1.42:8025</value> </property></configuration>
遇到的问题:
FATAL org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices: Failed to initialize mapreduce.shuffle java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers
解决方法:
yarn-site.xml文件中的mapreduce.shuffle改为mapreduce_shuffle
<property> <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>mapreduce_shuffle</value> </property>
0 0
- hadoop yarn安装
- Hadoop YARN 安装
- Hadoop Yarn 安装
- Hadoop Yarn 安装
- Hadoop-Yarn安装部署
- 安装Hadoop YARN
- Hadoop YARN的安装配置
- Hadoop YARN安装部署初探
- linux安装hadoop配置Yarn
- Hadoop YARN安装部署初探
- Hadoop 2.x(YARN)安装配置LZO
- 【Hadoop】YARN详解与安装指南
- Hadoop yarn完全分布式安装笔记
- Hadoop YARN的伪分布式安装
- elasticsearch2.2-yarn(hadoop)安装
- Hadoop伪分布式安装二(MapReduce+Yarn)
- Hadoop YARN
- Hadoop YARN
- cache一致性协:MESI和MOESI
- 嵌入式Linux之我行——u-boot-2009.08在2440上的移植详解(五)
- [Android]内存泄露排查实战手记
- Android 自动化测试用例规范
- Linux管理日记(一)
- hadoop yarn安装
- 轻松下载虾米音乐,不话费任何虾币
- 01背包问题
- Cocos2d-x全屏适配问题
- 黑马程序员-关于类的继承问题与final关键字的一些感悟
- Python与Shell之间变量的传递
- js中保证输入不为空的和输入为数的Js
- Oracle中rownum伪列的学习和使用
- ddd