安装Hadoop需要配置的几个文件
来源:互联网 发布:其恕乎是什么意思 编辑:程序博客网 时间:2024/05/21 17:45
记录安装hadoop时需要配置的几个文件。
配置master上的
hadoop-env.sh
修改JAVA_HOME值
export JAVA_HOME=/usr/jdk
yarn-env.sh
修改JAVA_HOME值
export JAVA_HOME=/usr/jdk
slaves
加入几个节点的hostname
slave1slave2
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> </property></configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property></configuration>
mapred-site.xml
<configuration><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property> <name>yarn.resourcemanager.address</name> <value>master:8032</value></property><property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value></property><property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value></property><property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value></property><property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value></property><property> <name>yarn.nodemanager.resource.memory-mb</name> <value>768</value></property></configuration>
yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property></configuration>
将master的配置文件复制到其他节点
sudo scp -r /usr/hadoop/hadoop-2.6.2 hadoop@slave1:~/
启动hadoop
在hadoop-2.6.2文件夹下执行
hdfs namenode -format
然后执行
sbin/start-all.sh
此时执行jps
在master上可以看到
13077 ResourceManager14518 Jps12779 SecondaryNameNode12444 NameNode
在slave上可以看到
7126 DataNode7336 NodeManager7722 Jps
0 0
- 安装Hadoop需要配置的几个文件
- hadoop安装需要配置的文件
- 部署hadoop集群需要配置的文件
- OFBiz 开发需要用到的几个重要(配置)文件
- OFBiz开发需要用到的几个重要(配置)文件
- OFBiz 开发需要用到的几个重要(配置)文件
- OFBiz 开发需要用到的几个重要(配置)文件
- OFBiz 开发需要用到的几个重要(配置)文件
- OFBiz 开发需要用到的几个重要(配置)文件
- OFBiz 开发需要用到的几个重要(配置)文件
- OFBiz 开发需要用到的几个重要(配置)文件
- Hadoop+Hbase+ZooKeeper 安装配置及需要注意的事项
- Hadoop+Hbase+ZooKeeper 安装配置及需要注意的事项
- Hadoop+Hbase+ZooKeeper 安装配置及需要注意的事项
- HBase/Hadoop 安装之前需要注意的配置问题
- Hadoop的安装配置
- Hadoop的安装配置
- Hadoop的安装配置
- LeetCode 212. Word Search II
- Hadoop的“Hello world”---WordCount
- 移动端屏幕适配
- 安装Hadoop时:0 datanode(s) running的解决方法
- 华为OJ 扑克牌大小
- 安装Hadoop需要配置的几个文件
- 2.《Unity中C#脚本语法-常用变量类型》
- 一步一步配置ssh免密码登陆配置ssh免密码登陆
- 轻松入门Github
- 1010 of search
- hdu3652 数位dp经典
- SpringMVC+Spring+Mybatis整合程序之整合
- 一个图片轮播插件---Nivo Slider
- 判断List、Map、Set是否为空及效率比较