hadoop的HDFS操作

1.进入服务器

ssh -p 2208 haram.shen@x.x.x.x

（一些操作可以参见下python的mapreduce的那个项目）

2.删除hadoop文件

hadoop dfs -rm -r -f /tmp/hx

3.输出固定行：

hadoop dfs -cat /tmp/hxs/out.txt | head -n 100;

4.建立文件夹

hadoop dfs -mkdir /tmp/hx

4.1:把HDFS的文件合并

hadoop fs -text /tmp/hxsout_3/part* | hadoop fs -put -f - /tmp/hs/out.txt;

4.2把hive数据传到HDFS文件

hive -e "select id,user_id,rating from rec.rec_pref_cf" | hadoop dfs -put -f - /tmp/hs/Item_user_score.txt;

4.2传本地文件到HDFS上

hadoop dfs -copyFromLocal /home/haram.shen/cf/colfilter.txt /tmp/hx

4.3  把HDFS文件拉到本地服务器

hadoop fs -get  input1.txt /home/haram.shen/input1.txt

5=============hadoop=================

1.ps -ef | grep in.telnetd 

表示全局正则表达式版本

2.在’/usr/src/Linux/Doc’目录下搜索带字符串’magic’的文件：

$ grep magic /usr/src/Linux/Doc/*

3.用管道来一行行排除的，就是

cat xxx | grep xxx | grep xxx | grep xxx

4.hadoop dfs -getmerge /tmp/hxsout/part-00000.snappy /home/haram.shen/tt.txt

hdfs集群上有一个/user/hadoop/output目录里面有作业执行的结果（多个文件组成）part-000000,part-000001,part-000002然后你想把所有的文件合拢来一起看 

5.查看snappy压缩

hadoop dfs -text /tmp/hxsout/part-00000.snappy | less

=======================================================

5.1 查看 Job 信息：

hadoop job -list 

5.2 杀掉 Job： 

hadoop  job –kill  job_id

5.3 指定路径下查看历史日志汇总：

hadoop job -history output-dir 

5.4 作业的更多细节： 

hadoop job -history all output-dir 

5.5 打印map和reduce完成百分比和所有计数器：

hadoop job –status job_id 

5.6 杀死任务。被杀死的任务不会不利于失败尝试：

hadoop jab -kill-task <task-id> 

5.7 使任务失败。被失败的任务会对失败尝试不利：

hadoop job  -fail-task <task-id>