hadoop个人笔记,仅供自己参考

来源:互联网 发布:java api手机版 编辑:程序博客网 时间:2024/04/28 12:43

hadoop可以看做成一个软件,就是运行在linux系统上。

对集群上的文件进行操作是,前面得加上hadoop fs,例如查看集群上的更目录下的文件 hadoop fs -ls

将本地(linux系统)上的文件放到集群中时,例如目录input,下面有a.txt  b.txt这两个文件,首先转到文件所在的目录input,使用hadoop fs -put  *.txt    (集群下指定的摸个目录)/user/hadoop/hkcm。说明,hadoop集群默认的根目录是/user/hadoop(我们这里按照的目录),所以,可以直接写成hkcm也行。

查看hadoop所有的命令:hadoop fs

运行hadoop:hadoop    jar    jar包     类名    输入文件目录    输出文件目录

例如,运行hadoop  demo中wordcount例子,首先要转到hadoop安装目录下,然后,命令如下:hadoop jar hadoop-examples-1.0.4.jar wordcount hkcm/input hkcm/output,其中,我把搜有的输入文件放在hadoop的/user/hadoop/hkcm/input目录下,指定的输出结果存放在/user/hadoop/hkcm/output,特别说明,输出目录必须让程序自动生成,如果自己先手动建立,那么会报错。


查看jar中类:jar   tvf    XXX.jar

0 0
原创粉丝点击