教你Windows平台安装配置Hadoop2.5.2(不借助cygwin)
来源:互联网 发布:淘宝运营主要做什么 编辑:程序博客网 时间:2024/06/05 13:26
刚入门Hadoop,开发环境的搭建估计能把一部分人逼走。我也差点疯了。
估计能看到这篇文章的小伙伴们都饱受cygwin和各种配置文件的折磨了吧?
如果你不想在Linux上搭建,又不想安装cygwin。那就继续往下看啦~
步骤:
1. JDK安装(不会的戳这)
2. 下载hadoop2.5.2.tar.gz,或者自行去百度下载。
3. 下载hadooponwindows-master.zip【**能支持在windows运行hadoop的工具】
一、 安装hadoop2.5.2
下载hadoop2.5.2.tar.gz ,并解压到你想要的目录下,我放在D:\dev\hadoop-2.5.2
二、配置hadoop环境变量
1.windows环境变量配置
右键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME,如下图
2.接着编辑环境变量path,将hadoop的bin目录加入到后面;
三、修改hadoop配置文件
- 编辑“D:\dev\hadoop-2.5.2\etc\hadoop”下的core-site.xml文件,将下列文本粘贴进去,并保存;
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
2.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件,粘贴一下内容并保存;
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
3.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”目录下的hdfs-site.xml文件,粘贴以下内容并保存。请自行创建data目录,在这里我是在HADOOP_HOME目录下创建了workplace/data目录;
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
4.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”目录下的yarn-site.xml文件,粘贴以下内容并保存;
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
5.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”目录下的hadoop-env.cmd文件,将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径,然后保存;
- 1
- 2
- 3
- 1
- 2
- 3
四、替换文件
下载到的hadooponwindows-master.zip,解压,将bin目录(包含以下.dll和.exe文件)文件替换原来hadoop目录下的bin目录;
五、运行环境
1.运行cmd窗口,执行“hdfs namenode -format”;
2.运行cmd窗口,切换到hadoop的sbin目录,执行“start-all.cmd”,它将会启动以下进程。
成功后,如图:
至此,hadoop服务已经搭建完毕。
接下来上传测试,操作HDFS
根据你core-site.xml的配置,接下来你就可以通过:hdfs://localhost:9000来对hdfs进行操作了。
1.创建输入目录
- 1
- 2
- 3
- 1
- 2
- 3
2.上传数据到目录
- 1
- 2
- 3
- 1
- 2
- 3
3.查看文件
大功告成。
附录:hadoop自带的web控制台GUI
1.资源管理GUI:http://localhost:8088/;
2.节点管理GUI:http://localhost:50070/;
- 教你Windows平台安装配置Hadoop2.5.2(不借助cygwin)
- 教你Windows平台安装配置Hadoop2.5.2(不借助cygwin)
- 教你Windows平台安装配置Hadoop2.5.2(不借助cygwin)
- 教你Windows平台安装配置Hadoop2.5.2(不借助cygwin)
- Windows平台安装配置Hadoop2.5.2(不借助cygwin)
- nutch环境配置在windows系统上(借助Cygwin)
- Cygwin + OpenSSH FOR Windows的安装配置
- windows和cygwin下hadoop安装配置
- windows下安装cygwin及配置
- windows下安装cygwin及配置
- windows和cygwin下hadoop安装配置
- windows下安装cygwin及配置
- windows下安装cygwin及配置
- windows下安装cygwin及配置
- Cygwin + OpenSSH FOR Windows的安装配置
- Cygwin + OpenSSH FOR Windows的安装配置
- Windows下安装Cygwin配置Hadoop集群
- cygwin安装教程图解:一步一步教你安装设置cygwin
- Android开发中获取尺寸(View和屏幕分辨率)
- 第一次使用Android Studio时你应该知道的一切配置
- LLVM代码研读(1)---- 安装篇
- Unity中为UGUI精灵自定义事件响应区域
- Rails中scopes的几种使用方法
- 教你Windows平台安装配置Hadoop2.5.2(不借助cygwin)
- ContentProvider实现数据共享
- java学习(1)-jdk环境安装以及常用DOS命令
- ionic开发中,键盘弹出遮挡div内元素的解决方案
- 下拉菜单
- 子查询
- Android 5.x 权限问题解决方法
- C++实验4-百钱买百鸡问题
- Charles断点修改