hadoop2.7-windows环境搭建
来源:互联网 发布:淘宝转化率一般是多少 编辑:程序博客网 时间:2024/06/05 15:11
Hadoop分布式环境搭建
环境配置
JDK:java1.8。
这里要保证java环境变量不包含空格,并且java之前环境变量也不包含空格。这里可以用Program Files可以有PROGRA~1代替。例如我的java路径是C:/Program Files/Java/jdk1.8.0_144那么可以用C:/PROGRA~1/Java/jdk1.8.0_144代替。安装java教程看这里。
Hadoop:2.7.3。
- 下载hadoop下载地址
- 解压hadoop到一个文件夹
配置环境变量和java类似
新建HADOOP_HOME变量 地址为C:\xxxx\hadoop-2.7.3,如下图:
新建HADOOP_CONF_DIR变量 地址为 %HADOOP_PREFIX%\etc\hadoop,如下图:
新建YARN_CONF_DIR 变量 地址为%HADOOP_CONF_DIR%,如下图:
PATH添加%HADOOP_HOME%/bin
- 下载winutils相关,hadoop在windows上运行需要winutils支持和hadoop.dll等文件。链接。下载对应版本的就可以,例如我用的是2.7.3,可以直接下载2.7.1的就好。然后把winutils.exe和hadoop.dll复制到hadoop的bin目录下。
hadoop环境配置
首先,进入hadoop文件夹下的etc\hadoop文件夹,文件夹下修改文件:
- 修改core-site.xml为如下代码:
<configuration><property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>
- 修改mapred-site.xml为如下带啊名:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
- 修改hdfs-site.xml如下:
<configuration><property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/c:/hadoop-2.7.1/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/c:/hadoop-2.7.1/data/datanode</value> </property></configuration>
- 修改yarn-site.xml为:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property></configuration>
- 修改hadoop-env.cmd,JAVA_HOME设置为 set JAVA_HOME=C:\Java\jdk1.8.0_144,并在尾部添加
set HADOOP_IDENT_STRING=%USERNAME%set HADOOP_PREFIX=C:\hadoop-2.7.3set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoopset YARN_CONF_DIR=%HADOOP_CONF_DIR%set PATH=%PATH%;%HADOOP_PREFIX%\bin
- 创建slaves文件,并在其中添加localhost
运行hadoop
- 打开cmd,执行‘hdfs namenode -format’,执行没有报错,说明成功
- 然后进入hadoop目录下sbin文件夹,双击start-all.cmd,得到如下图所示四张图:
namenode,datanode,resourcemanager,nodemanager四个进程。则启动成功。
打开cmd输入jps可以看到:
GUI
Resourcemanager GUI 地址 – http://localhost:8088:
Namenode GUI 地址 – http://localhost:50070
参考文献
http://blog.csdn.net/fly_leopard/article/details/51250443
http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/
阅读全文
0 0
- hadoop2.7-windows环境搭建
- hadoop2.7.3-windows下开发环境搭建
- Hadoop2.7环境搭建---Java环境变量
- Hadoop2.7环境搭建---Hadoop配置
- Hadoop环境搭建(ubuntu+hadoop2.7
- Windows下使用Eclipse工具搭建Hadoop2.6.4开发环境
- hadoop2.2环境搭建
- hadoop2.4环境搭建
- Hadoop2.4.1环境搭建
- 搭建Hadoop2.5.2环境
- Hadoop2环境搭建
- hadoop2.2环境搭建
- 搭建hadoop2.2集群环境
- hadoop2.2.0测试环境搭建
- Hadoop2.3.0环境搭建问题
- hadoop2.4单机环境搭建
- hadoop2.4.1集群环境搭建
- hadoop2.2.0环境的搭建
- nyoj 983 首尾相连数组的最大子数组和
- 【Opencv】【Python】Python中opencv模块cv2一些函数用法及简介
- 反转链表
- 关于移动端rem 布局的一些总结
- HDU 1035 Robot Motion(水题,模拟)
- hadoop2.7-windows环境搭建
- Javaweb-Filter拦截器
- HDU 1285 确定比赛名次 拓扑排序
- Java之HashTable学习
- 搭建QNX开发环境-qnx系统环境开发
- 无法打开sdk manager
- 5种PHP创建数组的方式
- 【Leetcode Problem 26】之Remove Duplicates from Sorted Array
- linux uImage/zImage生成过程