Hadoop伪分布式环境搭建
来源:互联网 发布:远程桌面连接软件 编辑:程序博客网 时间:2024/06/05 06:49
一、环境准备
1、Linux
2、JDK1.8
3、hadoop-2.7.3
jdk和hadoop的安装都比较简单,这里不再赘述
二、Hadoop配置
hadoop安装完成后,配置文件在/etc/hadoop目录下,搭建伪分布式环境需要修改5个配置文件
1、hadoop.env.sh
vim hadoop.env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_144/
将JAVA_HOME指向jdk的安装路径
2、core-site.xml
<configuration> <property> <!-- 指定文件系统的URI --> <name>fs.defaultFS</name> <value>hdfs://localhost:9000/</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/tmp</value> </property></configuration>
3、hdfs-site.xml
<configuration> <!-- 指定hdfs的副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>
4、mapred-site.xml
mv mapred-site.xml.template mapred-site.xmlvim mapred-site.xml<configuration> <!-- 指定mapReduce运行在yarn上 --> <property> <name>mapreduce.fremework.name</name> <value>yarn</value> </property></configuration>
5、yarn-site.xml
<configuration> <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <!-- 指定reducer获取数据的方式 --> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
三、环境变量配置
vim /etc/proflie export JAVA_HOME=/usr/java/jdk1.7.0_65 export HADOOP_HOME=/itcast/hadoop-2.4.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile
四、格式化namenode
hdfs namenode -format (hadoop namenode -format)
五、
1、启动hadoop
#先启动HDFS sbin/start-dfs.sh #再启动YARN sbin/start-yarn.sh
2、验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
http://xxx.x.xx.xxx:50070 (HDFS管理界面)
阅读全文
0 0
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- 伪分布式hadoop环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- hadoop伪分布式环境搭建
- 复合文档格式(一)- Excel XLS文件格式
- 奇数阶幻方(幻方)
- 菜鸟先飞之JAVA_Object类
- 使用Jenkins构建Maven项目
- [leaflet] esri-leaflet(一):初识leaflet
- Hadoop伪分布式环境搭建
- hdu1151最小路径覆盖
- 2017 Multi-University Training Contest
- 二维数组的查找
- Cookie与Session的工作原理解析
- Educational Codeforces Round 26 E
- PHP面向对象深入理解之二(封装、继承、多态、克隆)
- HDU 3460 Ancient Printer(字典树)
- Fractions Again?! UVA