【Hadoop】MAC下hadoop2.6安装以及执行wordcount
来源:互联网 发布:java和golang 编辑:程序博客网 时间:2024/06/01 21:42
首先简单介绍下博主的配置环境
- MAC 10.10.0
- hadoop 2.6
- JDK 1.6(可以在shell里用jdk -version查询)
hadoop安装
安装的话推荐使用mac下面的brew,理由就是用brew安装的话,它会自动给帮你配置好相应的路径。当然也可以到官网下载,注意jdk和hadoop版本要对应。
brew install hadoop
安装好了之后,可以使用brew list hadoop 来查看。
位置应该是在:/usr/local/Cellar/hadoop/
这时候就可以直接在shell里执行hadoop命令,是不是很方便。
执行wordcount
首先说一下,现在要执行的wordcount只是简单试验下hadoop是否能工作,并不是多线程的伪分布式,因为还没有配置,这个下一节会讲。
- 1.首先我们先建立以下数据源
- 在hadoop根目录下,建立一个文件夹,叫“input”
- 在里面放上txt数据,我直接把”readme.txt”copy 进去了
- 2.这时候我们就可以执行hadoop的自带命令了
- 首先要找到 hadoop-mapreduce-examples-2.6.0.jar 这个文件的路径,因为自带的例子都是在这个里面的。
- 用 jar 命令来执行,因为都是java写的嘛。
3.执行命令
hadoop jar /usr/local/Cellar/hadoop/2.6.0/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output
- 4.效果
- 这时候你会发现shell蹦出一大串东西
- 最终会生成一个output文件夹,里面的东西打开,就是wordcount
本文来自博客 “李博Garvin“
转载请标明出处:http://blog.csdn.net/buptgshengod
0 0
- 【Hadoop】MAC下hadoop2.6安装以及执行wordcount
- Linux下Apache Hadoop2.7.2的集群安装以及WordCount示例
- Linux下执行Hadoop WordCount.jar
- MAC下hadoop2.7.3安装
- MAC下hadoop2.7.3安装
- Hadoop2.7.2执行WordCount程序
- hadoop执行wordcount例子
- Eclipse执行Hadoop WordCount
- hadoop 执行Wordcount详解
- Linux执行 Hadoop WordCount
- Hadoop学习笔记———《Mac OS X 下hadoop2.6.0安装教程》
- mac 10.9.5 安装hadoop 1.2.1 运行wordcount
- Mac下hadoop2.7 伪分布式安装
- MAC下安装hadoop2.8.1(免编译)
- Hadoop学习笔记(4)-Eclipse下搭建Hadoop2.6.4开发环境并写wordcount
- Hadoop在Linux下伪分布式的安装以及wordcount实例的运行还有Eclipse的使用
- Hadoop平台执行Wordcount程序
- hadoop2.7.4 安装配置以及java wordcount 运行出错的总结
- 【php】手机版访问手机版页面选择“电脑版”之后不回到原来的手机版页面,利用Session实现
- Objective-C static 类方法
- linux操作系统-3进程管理(2)
- shell编程基础(5)---循环指令
- Linux下的UDP通信
- 【Hadoop】MAC下hadoop2.6安装以及执行wordcount
- 日经社説 20150513 「集中期間」後も着実な復興を
- 在ASP.NET MVC3 中利用JSONP跨域登录WEB系统
- Android中Drawable分类汇总(下)
- hibernate和ibatis的区别
- 关于HIVE数据仓库的基本操作
- spring基础知识随笔
- 日经社説 20150513 ネットのプライバシー保護は複眼的に
- No drawer view found with gravity LEFT