hadoop入门-在windows上安装,测试hadoop
来源:互联网 发布:windows资源管理器黑屏 编辑:程序博客网 时间:2024/05/17 08:06
上一篇简单叙述了怎么样在windows上编译hadoop,接着上一篇,这篇叙述怎么样安装hadoop并进行简单的验证安装是否正确。编译的机器与安装的机器分开。
我编译的机器是windows7,安装的机器是windows 2008 r2.
第一步:编译完之后,会在target目录下生成hadoop-2.2.0.tar.gz文件,将该文件解压到一个目录下面,然后将整个目录拷贝到目标机器上,尽量选择简单的目录,比如e:\hd
第二步:添加HADOOP_HOME到系统环境变量里,值为e:\hd.并将%HADOOP_HOME%\bin 添加到path里面。
第三步:配置hadoop
1.修改core_site.xml文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
2.修改hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hdp/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hdp/data/dfs/datanode</value>
</property>
</configuration>
3.修改yarn-site.xml文件
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>
yarn.nodemanager.aux-services.mapreduce_shuffle.class
</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
4.修改mapred-site.xml文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
第四步:准备hadoop cluster
执行
cd c:/%HADOOP_HOME%/bin
hdfs namenode -format
说明:如果提示JAVA_HOME没有设置或者设置不对,请安装jdk,最好将jdk安装在没有空格的路径里,然后设置JAVA_HOME系统变量。
第五步:启动HDFS
执行
cd c:/%HADOOP_HOME%/sbin
start-dfs
第六步:启动yarn
执行命令:
cd c:/%HADOOP_HOME%/sbin
start-yarn
第七步:验证hadoop cluster是否工作
访问http://localhost:8042和http://localhost:50070
第八步:测试cluster
执行
hadoop dfs -mkdir /test
以及
hadoop dfs -ls /
- hadoop入门-在windows上安装,测试hadoop
- 在Windows上安装Hadoop
- 在windows上安装hadoop开发测试环境
- hadoop入门-在windows上编译x64位hadoop
- 在windows上安装Hadoop总结
- 在windows上安装Hadoop总结
- [Hadoop]Hadoop 在windows 上伪分布式的安装过程
- Windows上安装 Hadoop
- hadoop-0.21.0在windows上的安装
- 在hadoop上安装hypertable
- 在ubuntu上安装hadoop
- 在UBUNTU上安装Hadoop
- 在ubuntu上安装hadoop
- 在Mac上安装Hadoop
- 在Linux上安装Hadoop
- 在Mac上安装Hadoop
- 在Hadoop上安装Hive
- 在Hadoop上安装HBase
- Ubuntu下修改DNS重启也能用的方法
- arm-linux-ld的理解
- 计算机的启动过程
- 第十一周项目2-求最大公约数
- repo和git使用技巧
- hadoop入门-在windows上安装,测试hadoop
- 断言assert()函数的使用
- Xcode和github入门详细教程!
- CTM(绘图)
- Android突破一之Bitmap、BitmapFactory、BitmapDrawable类
- Hbase 查询为什么快
- rk3128 camera sensor的注册
- spring学习之@ModelAttribute运用详解
- Convolutional Networks for Images,Speech,and Time-series