hadoop MapReduce集群模式调整匹配及shell脚本处理
来源:互联网 发布:苹果mac系统os 编辑:程序博客网 时间:2024/06/02 03:13
一.克隆多台虚拟机
二.配置虚拟机以文本模式启动(使速度加快,避免图形界面占用较多资源)
1.cd /etc/default
2.cat grub
3.sudo nano grub
将其中GRUB_CMDLINE_LINUX_DEFAULT=”quiet”的quiet替换成test
4.sudo update-grub
5.sudo reboot
三.创建shell脚本(批量处理虚拟机以文本模式启动)
1.创建文件bat.sh
cd ~/Downloads
touch bat.sh
2.使bat.sh可执行,改变权限
chmod a+x bat.sh
3.编辑文件bat.sh
nano bat.sh
#!/bin/bashfor((i=1;i<8;i++)) #假如这里7台虚拟机需要处理{ scp /etc/default/grub root@s$i :/etc/default ssh -t s$i sudo update-grub}
4.执行文件bat.sh
cd ~/Downloads
./bat.sh
四.修改副本数(3)和最小block数(128M)
1.找出所有的配置元素
在[hadoop/share/hadoop/xxx.xxx.jar]中寻找
hadoop-common-2.7.3.jar/core-default.xml
hadoop-hdfs-2.7.3.jar/hdfs-default.xml
hadoop-mapreduce-client-core-2.7.3.jar/mapred-default.xml
hadoop-yarn-common-2.7.3.jar/yarn-default.xml
2.修改配置文件
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
以修改hdfs-site.xml为例(修改副本数):
cd /usr/soft/hadoop2.7.3/etc/hadoop
cat hdfs-site.xml
nano hdfs-site.xml
修改为: <name>dfs.replication</name>
<value
>2</value
>
hdfs-site.xml为例(修改最小block数):
nano hdfs-site.xml
修改为: <name>dfs.blocksize</name>
<value
>20k</value
>
3.发送hdfs-site.xml给所有节点
4.重启集群
[1]删除所有节点的临时目录
nano编辑器软件:ctrl+k 删除一行 ctrl+u 复制一行
a.编辑文件bat.sh
nano bat.sh
#!/bin/bashfor((i=1;i<8;i++)) #假如这里7台虚拟机需要处理{ scp hadoop_install/etc/hadoop/hdfs-site.xml ubuntu@$i:hadoop_install/etc/hadoop/}
b.执行文件bat.sh
cd ~/Downloads
./bat.sh
c.停掉集群
stop-all.sh
d.恢复文件bat.sh原内容
#!/bin/bashfor((i=1;i<8;i++)) #假如这里7台虚拟机需要处理{ ssh s$i rm -fR /tmp/hadoop-ubuntu}
[2]格式化文件系统
hadoop namenode -format
[3]start-dfs.sh
[4]start-yarn.sh
- hadoop MapReduce集群模式调整匹配及shell脚本处理
- hadoop集群及相关服务的启动、停止shell脚本
- Hadoop集群模式下运行Mapreduce任务
- hadoop集群启动和关闭shell脚本
- shell脚本完成hadoop的集群安装
- hadoop(hdfs mapreduce)及异常处理
- Hadoop的集群数据、mapreduce管理及安全机制介绍
- Hadoop集群动态增删节点及备份系数调整
- 使用 Shell 脚本进行 Hadoop Spark 集群的批量安装
- hadoop mapreduce的本地模式及yarn模式
- Hadoop集群-MapReduce初级案例
- Hadoop集群MapReduce初级案例
- Hadoop集群MapReduce初级案例
- Hadoop集群 MapReduce初级案例
- Hadoop集群MapReduce经典案例
- 为hadoop集群安装mapreduce
- Hadoop二次排序及MapReduce处理流程实例详解
- Hadoop二次排序及MapReduce处理流程实例详解
- MD5对密码进行加密,用Apache codec 替换Sun内部API sun.misc.BASE64Encoder
- shell编程之结构化命令if-then
- 4步教你开发风控评分模型
- 1222 Wolf and Rabbit
- IIS配置支持跨域请求
- hadoop MapReduce集群模式调整匹配及shell脚本处理
- 传统企业转向互联网,如何快速提升研发效能?
- 关于Nginx部署多个项目(多个Tomcat)
- requests爬取小说
- 1009. 说反话 (20)
- C++ 标识符的作用域
- 禁地
- Unity引擎中对Vector3向量进行旋转
- Android 项目实例用到的gradle配置技巧