【hadoop 2.6】hadoop2.6伪分布模式环境的搭建测试使用
来源:互联网 发布:孙娜恩的脸肿了知乎 编辑:程序博客网 时间:2024/06/06 19:14
首先下载安装,这个就不说了,去apache官网下载安装,貌似186M,很大
解压后,我们看下目录结构如下:
[root@com23 hadoop-2.6.0]# lltotal 64drwxr-xr-x 2 20000 20000 4096 Nov 14 05:20 bindrwxr-xr-x 3 20000 20000 4096 Nov 14 05:20 etcdrwxr-xr-x 2 20000 20000 4096 Nov 14 05:20 includedrwxr-xr-x 2 root root 4096 Jan 14 14:52 inputdrwxr-xr-x 3 20000 20000 4096 Nov 14 05:20 libdrwxr-xr-x 2 20000 20000 4096 Nov 14 05:20 libexec-rw-r--r-- 1 20000 20000 15429 Nov 14 05:20 LICENSE.txtdrwxr-xr-x 2 root root 4096 Jan 14 15:23 logs-rw-r--r-- 1 20000 20000 101 Nov 14 05:20 NOTICE.txtdrwxr-xr-x 2 root root 4096 Jan 14 14:53 output-rw-r--r-- 1 20000 20000 1366 Nov 14 05:20 README.txtdrwxr-xr-x 2 20000 20000 4096 Nov 14 05:20 sbindrwxr-xr-x 4 20000 20000 4096 Nov 14 05:20 share这里补充一个yarn框架与之前mapreduce框架的一个比较: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/
解压好了之后,首先来一个standalone跑一个例子:
The following example copies the unpacked conf directory to use as input and then finds and displays every match of the given regular expression. Output is written to the given output directory.
$ mkdir input $ cp etc/hadoop/*.xml input $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+' $ cat output/*下面来看看伪分布模式
涉及到两个配置文件
hadoop-2.6.0/etc/hadoop
core-ste.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>配置好两个配置文件了,这里别忘了配置JAVA_HOME啊
在hadoop-env.sh和yarn-env.sh(如果用到的话,不过要配一起配了)
这里添加一个yarn的配置,mapreduce采用yarn框架的
mapred-site.xml
<configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>yarn-site.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
下面建立ssh localhost免密码登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
都搞定了,开始执行了:
1、文件系统格式化
bin/hdfs namenode -format2、启动namenode和datanode
sbin/start-dfs.sh这一步结束,我们就可以打开hadoop的监控页面看看各个模块的情况了:http://localhost:50070
感觉2.6很酷炫啊!!
下面建立文件系统
bin/hdfs dfs -mkdir /userbin/hdfs dfs -mkdir /user/chiwei
执行完了,我们去到页面上观察下已经出现了我们刚刚创建的文件系统了
sh bin/hdfs dfs -put input /user/chiwei
将input文件夹下的内容放到刚刚创建的文件系统里
sh bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep /user/chiwei/input output 'dfs[a-z.]+'
通过以上命令使用example去分析一下刚刚的文件内容
已经产生输出了
查看内容到hadoop的文件系统去查看,而不是linux的文件系统
[root@com23 hadoop-2.6.0]# sh bin/hdfs dfs -cat /user/root/output/*
最后就是关闭文件系统,datanode,namenode,secondary namenode
[root@com23 hadoop-2.6.0]# sh sbin/stop-dfs.sh 15/01/14 15:56:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableStopping namenodes on [localhost]localhost: stopping namenodelocalhost: stopping datanodeStopping secondary namenodes [0.0.0.0]0.0.0.0: stopping secondarynamenode15/01/14 15:57:07 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable[root@com23 hadoop-2.6.0]#
- 【hadoop 2.6】hadoop2.6伪分布模式环境的搭建测试使用
- hadoop2.4.1的伪分布环境搭建
- vmvare上hadoop2.6的伪分布环境搭建
- Linux环境搭建Hadoop伪分布模式
- 搭建hadoop伪分布模式(hadoop2.2)
- hadoop 伪分布的环境搭建
- hadoop2.6.4+Ubuntu14.04的单机模式和伪分布模式环境搭建
- hadoop 伪分布模式的搭建
- hadoop伪分布环境搭建
- hadoop伪分布环境搭建
- hadoop伪分布环境搭建
- hadoop伪分布环境搭建
- Hadoop伪分布模式搭建
- Hadoop伪分布模式搭建
- 伪分布模式搭建hadoop
- Hadoop2.6.0伪分布环境搭建
- Hadoop2.x伪分布环境搭建
- Hadoop2环境搭建(单机伪分布)
- eclipse发布apk签名
- yii2 安装教程
- Go语言time包的练习及封装
- SpringMVC3.0+myBatis3.2整合的显示和添加功能中时间问题解决
- [C++]LeetCode: 92 Unique Binary Search Trees II
- 【hadoop 2.6】hadoop2.6伪分布模式环境的搭建测试使用
- 中国现状反思--反腐及宗教
- C# PropertyGrid控件应用心得
- iOS静态库的那些坑
- PHP fgets按行读取字符串和explode分割字符串为数组
- 听谁的话
- POJ 1853 Cat(DP)
- Java的文件输入输出
- java.lang.OutOfMemoryError: PermGen space及其解决方法