hadoop搭建以及实例演示
来源:互联网 发布:淘宝店铺评分低能买吗 编辑:程序博客网 时间:2024/05/29 08:34
1.下载jdk和hadoop,并解压至/opt
2.配置环境变量:gedit /etc/profile最后面添加:export PATH="$PATH:/opt/hadoop-0.20.2/bin:/opt/jdk1.7.0_21/bin"
3.配置在/opt/hadoop-0.20.2/conf下的3个文件: gedit hadoop-env.sh
打开java环境变量: export JAVA_HOME=/opt/jdk1.7.0_21
-------------------------------------------
gedit hdfs-site.xml 添加:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
--------------------------------------------
gedit mapred-site.xml添加:
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.child.tmp</name>
<value>/opt/temp</value>
</property>
----------------------------------------------
4.配置完成,可以在浏览器打开http://localhost:50070和http://localhost:50030进如管理监视界面。
5.从本地拷贝文件到hadoop:hadoop fs -mkdir /temp(创建文件夹)hadoop fs -copyFromLocal /opt/a.txt /temp/即可在浏览器界面查看刚刚考入的文件。
6.演示统计字符个数程序:[root@localhost hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar wordcount /achun/a.txt /tt
演示结果:在程序临时创建的文件夹中生成结果文件,内容如下:
book 2
fuck 4
good 2
haha 2
hello 4
mask 2
master 2
yello 2
----------------------------------------------------------
原文如下:
hello
fuck
book
mask
yello
hello
good
fuck
master
haha
hello
fuck
book
mask
yello
hello
good
fuck
master
haha
2.配置环境变量:gedit /etc/profile最后面添加:export PATH="$PATH:/opt/hadoop-0.20.2/bin:/opt/jdk1.7.0_21/bin"
3.配置在/opt/hadoop-0.20.2/conf下的3个文件: gedit hadoop-env.sh
打开java环境变量: export JAVA_HOME=/opt/jdk1.7.0_21
-------------------------------------------
gedit hdfs-site.xml 添加:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
--------------------------------------------
gedit mapred-site.xml添加:
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.child.tmp</name>
<value>/opt/temp</value>
</property>
----------------------------------------------
4.配置完成,可以在浏览器打开http://localhost:50070和http://localhost:50030进如管理监视界面。
5.从本地拷贝文件到hadoop:hadoop fs -mkdir /temp(创建文件夹)hadoop fs -copyFromLocal /opt/a.txt /temp/即可在浏览器界面查看刚刚考入的文件。
6.演示统计字符个数程序:[root@localhost hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar wordcount /achun/a.txt /tt
演示结果:在程序临时创建的文件夹中生成结果文件,内容如下:
book 2
fuck 4
good 2
haha 2
hello 4
mask 2
master 2
yello 2
----------------------------------------------------------
原文如下:
hello
fuck
book
mask
yello
hello
good
fuck
master
haha
hello
fuck
book
mask
yello
hello
good
fuck
master
haha
- hadoop搭建以及实例演示
- hadoop搭建以及问题
- SpringMVC入门学习 环境搭建+实例演示
- hadoop环境的搭建实例
- Hadoop集群搭建以及测试
- Hadoop-2.6.2 HA + Federation 生产环境集群搭建实例以及源码编译案例分享
- Hadoop Herriot测试框架之旅——演示实例
- Ubuntu 安装部署 Hadoop 2.6.5 实例演示
- SpringMVC入门学习(一) 环境搭建+实例演示
- SpringMVC入门学习(一) 环境搭建+实例演示
- SpringMVC入门学习(一) 环境搭建+实例演示
- SpringMVC入门学习(一) 环境搭建+实例演示
- SpringMVC入门学习(一) 环境搭建+实例演示
- SpringMVC入门学习(一) 环境搭建+实例演示
- wait和sleep的区别 以及 实例演示
- (转)wait和sleep的区别 以及 实例演示
- [读后感]spring Mvc 教程框架实例以及系统演示下载
- win7+VS2008安装QT、环境配置以及简单实例演示
- gdb几个有意思的用法
- Windows 7远程协助及系统设置
- QTextEdit 外观属性设置
- could not find class file. make sure the file is compilable 解决办法
- Starling回退到软件渲染模式的原因和解决办法
- hadoop搭建以及实例演示
- 【自定义AlertDialog】退出提示框
- 黑马程序员 java泛型学习总结(二)
- C++构造函数与析构函数的调用关系讨论
- 让Ubuntu开机挂载ntfs磁盘
- hdoj_2010 水仙花数
- Magento 后台不能登录
- HDU 3026 Chinese Chess
- HDU4307(最小割)