yarn安装与测试
来源:互联网 发布:电脑打字用什么软件 编辑:程序博客网 时间:2024/06/06 11:37
1,配置计算调度系统yarn和计算引擎Map/Redece
2. namenode配置mapred-site.xml
<
property
>
<
name
>mapreduce.framework.name</
name
>
<
value
>yarn</
value
>
</
property
>
<
property
>
<
name
>yarn.resourcemanager.hostname</
name
>
<
value
>master</
value
>
</
property
>
<
property
>
<
name
>yarn.nodemanager.aux-services</
name
>
<
value
>mapreduce_shuffle</
value
>
</
property
>
<
property
>
<
name
>yarn.nodemanager.auxservices.mapreduce.shuffle.class</
name
>
<
value
>org.apache.hadoop.mapred.ShuffleHandler</
value
>
</
property
>
start-yarn.sh
5.运行jsp观察集群结果
6.可以使用yarn-daemon.sh单独启动resourceManager和nodemanager
7.通过网页http://master:8000/观察yarn集群
8.find /usr/local/hadoop -name *example*.jar查找示例文件
9.通过hadoop.jar xxx.jar wordcount /input /output 来运行示例程序
10.通过网页来观察该job的运行情况
11.hadoop job -kill job_id -->mapred job -kill job_id mapred job -list
12.yarn-site 如果是集中启动,其实只需要在管理机上配置一分即可,但是如果单独启动,需要每台机器一份,在网页上可以看到当前机器的配置,以及这个配置的来源
阅读全文
0 0
- yarn安装与测试
- 集群安装:HA与Yarn(测试)
- 集群安装:YARN安装(测试)
- yarn的安装与使用
- 【Hadoop】YARN详解与安装指南
- Storm on YARN 安装部署与感悟
- Yarn的安装与使用详细介绍
- (二)hue与HDFS、YARN集成配置与测试
- 三、HDFS 与Yarn HA 架构部署与测试
- 安装yarn
- Yarn 安装
- 【hadoop】 1005-yarn测试
- Node.js包管理器Yarn的入门介绍与安装
- Spark2.0.1 on yarn with hue 集群安装部署(七)livy安装测试
- Spark2.0.1 on yarn with hue 集群安装部署(六)livy安装测试
- EMQTT测试--安装与测试
- Yarn 2.2.0安装
- hadoop yarn安装
- codeforces——809A/810C——Do you want a date?
- Netty之自定义编码器MessageToMessageEncoder类
- Magento2开发教程
- 【洛谷P1434】滑雪
- 第八届蓝桥杯国赛总结 2017/5/27
- yarn安装与测试
- 5月29日
- Q-学习:增强学习
- 函数类型
- selenium元素选择
- codeforces——810A——Straight «A»
- 搭建简单的nginx
- 再议C#委托
- Chapter4.1.1 函数的对象