hadoop-3.0.0集群环境搭建、配置
来源:互联网 发布:lol防封源码 编辑:程序博客网 时间:2024/06/01 16:27
12月13日hadoop-3.0.0发布正式版啦,试试最新的
Release Notes:
Minimum required Java version increased from Java 7 to Java 8Support for erasure coding in HDFS……Support for more than 2 NameNodes.Default ports of multiple services have been changed.but see the release notes for HDFS-9427 and HADOOP-12811 for a list of port changes.
下载:
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz
解压:
tar xf hadoop-3.0.0.tar.gz
(一)修改配置文件
cd hadoop-3.0.0/etc/hadoop
<property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value></property>
这一步需要先建立对应的目录:
mkdir -p /data/hd3/namenode /data/hd3/datanode
内容如下:
<property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/data/hd3/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/data/hd3/datanode</value> </property>
yarn-site.xml
<property> <name>yarn.resourcemanager.hostname</name> <value>master</value></property><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property><property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value></property><property> <name>yarn.nodemanager.resource.memory-mb</name> <value>49152</value></property><property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>49152</value></property>
mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>
修改slave,注意,这里改成了workers文件
slave1slave2
JAVA_HOME=/home/cloud/jdk1.8.0_144
修改profile文件
sudo vim /etc/profile
添加
OK,至此配置全部完成,下面启动Hadoop。
如果不报错的话,应该看到如下信息:
在Slave机器上jps:
(三)Web端查看
访问 http://10.0.0.1:8088/
export HADOOP_PREFIX=/home/cloud/hadoop-3.0.0export HADOOP_HDFS_HOME=/home/cloud/hadoop-3.0.0export HADOOP_CONF_DIR=/home/cloud/hadoop-3.0.0/etc/hadoop执行生效
source /etc/profile
(二)启动hadoop
老规矩,首次启动需要format namenode。
hdfs namenode -format启动HDFS
start-dfs.sh启动YARN
start-yarn.sh
如果不报错的话,应该看到如下信息:
在Master机器上通过JPS命令查看:
$ jps6993 SecondaryNameNode7715 NodeManager9524 Jps7371 ResourceManager6492 NameNode6669 DataNode
在Slave机器上jps:
$ jps21360 DataNode30233 Jps21643 NodeManager
(三)Web端查看
访问 http://10.0.0.1:8088/
访问 http://10.0.0.1:9870 ,注意,这里是9870,不是50070了:
(四)OK,大功告成
阅读全文
0 0
- hadoop-3.0.0集群环境搭建、配置
- Hadoop集群搭建——环境配置
- Hadoop环境搭建-集群
- hadoop集群环境搭建
- 搭建hadoop集群环境
- Hadoop集群环境搭建
- 搭建hadoop集群环境
- 搭建hadoop集群环境
- 搭建hadoop集群环境
- 搭建hadoop集群环境
- 搭建hadoop集群环境
- hadoop集群环境搭建
- hadoop 集群环境搭建
- Hadoop集群环境搭建
- Hadoop集群环境搭建
- Hadoop集群环境搭建
- Hadoop集群环境搭建
- Hadoop 集群环境搭建!
- React Native之prop-types进行属性确认
- JavaScript实现
- 以太坊ICO实例(代码片不好用!!)
- wife破解(一)
- gerrit pipe8 问题
- hadoop-3.0.0集群环境搭建、配置
- java学习初探十八之线程和进程的区别
- 关于怎么解决opencv无法显示图片的解决办法
- python爬虫 scrapy框架学习
- openstack中region az aggregate概念介绍
- [TensorFlow] demo1 tf.random_uniform 函数
- set方法总结
- JSON解析-python实现
- 巨简单的轮播图