hadoop个人笔记,仅供自己参考
来源:互联网 发布:java api手机版 编辑:程序博客网 时间:2024/04/28 12:43
hadoop可以看做成一个软件,就是运行在linux系统上。
对集群上的文件进行操作是,前面得加上hadoop fs,例如查看集群上的更目录下的文件 hadoop fs -ls
将本地(linux系统)上的文件放到集群中时,例如目录input,下面有a.txt b.txt这两个文件,首先转到文件所在的目录input,使用hadoop fs -put *.txt (集群下指定的摸个目录)/user/hadoop/hkcm。说明,hadoop集群默认的根目录是/user/hadoop(我们这里按照的目录),所以,可以直接写成hkcm也行。
查看hadoop所有的命令:hadoop fs
运行hadoop:hadoop jar jar包 类名 输入文件目录 输出文件目录
例如,运行hadoop demo中wordcount例子,首先要转到hadoop安装目录下,然后,命令如下:hadoop jar hadoop-examples-1.0.4.jar wordcount hkcm/input hkcm/output,其中,我把搜有的输入文件放在hadoop的/user/hadoop/hkcm/input目录下,指定的输出结果存放在/user/hadoop/hkcm/output,特别说明,输出目录必须让程序自动生成,如果自己先手动建立,那么会报错。
查看jar中类:jar tvf XXX.jar
0 0
- hadoop个人笔记,仅供自己参考
- enum枚举的试用笔记 (仅供个人参考)
- mysql参考(仅供自己参考)
- 文件上传(仅供个人参考)
- log4j学习_仅供自己参考
- urlrewrite学习_仅供自己参考
- proxool学习_仅供自己参考
- maven学习(仅供自己参考)
- gsoap编译(仅供自己参考)
- 仅供自己参考第三方登录
- 开始学习Matlab,一点一滴记录自己的所学 仅供个人参考Matlab(1)
- HOWTO-Ocsp-Unid-client(水平有限,仅供个人参考)
- struts重复提交学习_仅供自己参考
- Struts标签库(仅供自己参考)
- linux常用命令罗列记忆(仅供自己参考
- 多并发条件依赖执行 (仅供自己参考)
- hadoop命令(仅供自己查看使用)
- 仅供自己记录
- ARM处理器的寄存器组织
- linux内核打印的各种设置-----printk
- Ubuntu安装基础教程
- 清除vs2008中最近打开的工程及文件
- C语言static变量和全局变量的使用
- hadoop个人笔记,仅供自己参考
- 良好的思维习惯让你更聪明
- hdu-1716 排列2(STL函数库运用)
- 最大连续子数组(分治法、动态规划)
- POJ Hotel 线段树 区间合并
- Hide Ribbon With Users Permissions
- FreeBSD
- 深入浅出AT命令(4)-电话本相关命令
- iframe做上传和读取数据