初学hadoop,windows下安装
来源:互联网 发布:校园网络突然连接不上 编辑:程序博客网 时间:2024/05/07 17:35
先bb一下,woc开始使用Cygwin来模拟linux配置hadoop,然后各种错误,找着找着发现原来2.0+的hadoop可以直接在windows下配置.当时真是1w头神兽飞过.
下载hadoop
- 下载地址
http://hadoop.apache.org 下载步骤
选择清华开源镜像站
选择你喜欢的版本. stable是稳定版
解压
放在你喜欢的文件夹下
关于winutils的下载
还需要下载winutils.exe,需要对应的版本.地址https://github.com/steveloughran/winutils,下载之后直接解压,将bin目录里的内容直接覆盖到hadoop的bin
配置hadoop
- 首先配置环境变量
这个不用多说,在path中添加路径${hadoopHome}\bin,例如:”D:\hadoop\bin”,不要忘了加”;”与前面的隔开 配置hadoop文件
所有的配置文件都在D:\hadoop\etc\hadoop的目录下,使用Notepad++/记事本/..打开.文件1:
D:\hadoop\etc\hadoop\hadoop-env.cmd
jdk路径不要有空格set JAVA_HOME=D:\RequiredTools\Java\jdk8u45
文件2:
D:\hadoop\etc\hadoop\core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
文件3:
D:\hadoop\etc\hadoop\hdfs-site.xml
<configuration><property> <name>dfs.replication</name> <value>1</value> </property><property> <name>dfs.namenode.name.dir</name> <value>file:/hadoop/data/dfs/namenode</value></property><property> <name>dfs.datanode.data.dir</name> <value>file:/hadoop/data/dfs/datanode</value></property> </configuration>
文件4:
D:\hadoop\etc\hadoop\mapred-site.xml
mapred-site.xml是复制mapred-site.xml.template,去掉template<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
- 文件5:
D:\hadoop\etc\hadoop\yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property></configuration>
启动hadoop
进入到hadoop–>bin目录下,shift+右键 打开命令行..win8的话建议使用管理员运行cmd
hadoop namenode -format //格式化hdfscd xx/hadoop/sbin //进入到sbin目录下start-dfs.cmd //先启动dfs start-yarn.cmd //再启动yarn //或者//start-all.cmd //相当于以上的两条命令
启动结果
在地址栏输入http://localhost:8088
在地址栏输入http://localhost:50070
安装完成
关于一些配置说明我也不是很清楚,先配置上运行起来再去慢慢弄懂
配置说明:http://blog.csdn.net/xuechongyang/article/details/8691518
参考:http://blog.csdn.net/rav009/article/details/70214788
- 初学hadoop,windows下安装
- Windows下安装Hadoop
- windows下安装hadoop
- Windows下安装Hadoop
- Windows下安装Hadoop
- Windows下安装Hadoop
- Windows下安装Hadoop
- Windows下安装Hadoop
- windows 下安装 hadoop
- Windows下安装Hadoop
- windows下安装配置hadoop
- Windows平台下安装Hadoop
- Windows平台下安装Hadoop
- Windows平台下安装Hadoop
- Windows平台下安装Hadoop
- 在Windows下安装Hadoop
- Windows平台下安装Hadoop
- windows下安装Hadoop 2.4
- Spring Boot + Spring Data + Elasticsearch example
- Vue.js双向绑定的实现原理
- textview显示不同颜色不同大小
- html 各浏览器兼容性
- 线性结构 3 Reversing Linked List
- 初学hadoop,windows下安装
- Java内存溢出和内存泄露
- hdu2107
- ###*android手机6.0后权限问题*
- 51nod:1019 逆序数(树状数组|归并排序|vector)
- OkHttp Wiki翻译(一)使用OkHttp
- POJ 1661Help Jimmy(逆向DP Or 记忆化搜索 Or 最短路径)
- Nginx slab的实现 --- 第五篇“基于页的内存释放”
- 冒泡排序的优化