window 下安装Hadoop2.7.2教程
来源:互联网 发布:密码签到软件破解 编辑:程序博客网 时间:2024/06/07 01:32
window 下安装Hadoop2.7.2教程
安装Hadoop首先确保自己本地安装的jdk以及配置好了jdk的环境变量
首先在Hadoop官网下载Hadoop的文件,下载地址:
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
选择hadoop-2.7.2.tar.gz 下载完成之后解压,在window上面安装还需要下载Hadoop.dll文件和winutils.exe文件,下载地址:https://github.com/sardetushar/hadooponwindows/tree/master/bin,选中文件进去点击右边下载即可,下载成功之后将下载的两个文件拷贝到自己本地的Hadoop文件的bin目录下面。
上述工作都完成之后,我们开始配置Hadoop的环境变量,像配置Java环境变量一样,新建系统环境变量,变量名 HADOOP_HOME 变量值 D:\hadoop-2.7.2\hadoop-2.7.2 这里一定选择自己Hadoop的安装路径,我自己的安装在D盘下面,HADOOP_HOME配置成功之后再编辑path路径的值,在最后面加上 ;%HADOOP_HOME%\bin; 一定不能少了分号;配置成功之后全部确认。
然后我们测试安装是否成功,进入到Hadoop的bin目录下面,运行命令hadoop version 成功的会出现
不成功的会出现一个这样的错误
不要着急,这里并不是我们上面配置的错误,而是我们在安装jdk,指定jdk的路径的时候window的路径出现空格的问题,在Hadoop里面不识别空格造成的,这里我们只需修改jdk环境变量的java_home的变量值即可,在这里我们将原有的带有空格的部分换成 C:\PROGRA~1 即可,jdk的安装就不多说了,这里一定要是自己本地的jdk安装路径,此时我们再次在bin目录下面输入命令hadoop version 就会出现上面成功的部分。
环境变量配置成功之后我们要配置Hadoop的基本文件配置:hadoop配置文件位于:hadoop/etc/hadoop下:core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml
core-site.xml:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/hadoop/hadoop272/data/dfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/hadoop/hadoop272/data/dfs/datanode</value> </property> </configuration>
mapred-site.xml:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> yarn-site.xml: <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
格式化系统文件:
hadoop/bin下执行 hdfs namenode -format
待执行完毕即可,不要重复format。
格式化完成后到hadoop/sbin下执行 start-dfs启动hadoop
访问:http://localhost:50070
在hadoop/sbin下启动start-yarn,访问http://localhost:8088可查看 资源、节点管理
第一次搭建Hadoop环境,一切皆上网查找,不对的地方欢迎指正。
参考链接:http://blog.csdn.net/fly_leopard/article/details/51250443
- window 下安装Hadoop2.7.2教程
- hadoop2.7.2安装部署教程
- Hadoop2.7.2 window10 安装教程。
- window下安装nodejs教程
- window下安装docker教程
- window下eclipse下部署hadoop2.7.2可阅读源码
- hadoop2.x 安装教程
- hadoop2.4 安装教程
- hadoop2.2安装教程
- Hadoop2.6.0安装教程
- 安装Nginx教程[window和linux下]
- Window系统下安装tomcat图文教程
- Hadoop2.6.0伪分布下Hbase1.0.0安装教程
- Ubuntu12.04下安装Hadoop2.4.0单机模式详细教程
- linux下命令行安装hadoop2.7.2过程
- ubuntu15.10下安装hadoop2.7.2
- linux下hadoop2.7.2安装笔记
- windows下安装并启动hadoop2.7.2
- rosbuild工作空间创建
- Java并发机制的底层实现
- Gitlab本地代码,自动发布至正式服务器
- 生成csv文件
- 【Python数据分析与展示】(六)处理缺失数据,层次化索引
- window 下安装Hadoop2.7.2教程
- C++函数调用过程深入分析
- RE学习计划
- 大数据可视化分析工具让现代教育更先进
- HDU Square
- Kaggle常用函数总结 原创 2017年07月03日 21:47:34 标签: kaggle 493 kaggle比赛也参加了好几次,在这里就把自己在做比赛中用到的函数汇总到这,方便自己以后查阅
- 恶意代码分析实战 Lab 9-2 习题笔记
- linux ---awk的计算统计
- 解决移动端input框及下拉框内阴影问题