hadoop系列-linux及hadoop、hdfs、hive、hbase常用命令

来源：互联网发布：qq邮箱smtp服务器端口编辑：程序博客网时间：2024/05/22 00:55

1、查询
查看进程
ps aux|grep ‘eagle-compute-product.jar 142 318’
查看软件路径
which java/python/hadoop

2、执行任务
java带参数任务执行
java -cp lfm.jar -DtrainFilePath=svd_train0913.csv -DtestFilePath=svd_test0913.csv -DoutFilePath1=out1_1.txt -DoutFilePath2=out1_2.txt -Dcat=cat18000759 main.LFM.LFM
java普通任务执行并写入日志
nohup /home/hadoop/hadoop/bin/hadoop（hadoop地址） /home/hadoop/hadoop/bin/hadoop jar /app/rec/sg_viewthenbuyV2/eagle-compute-product.jar（jar地址） 142（jobid） 318（规则id） >> /app/rec/sg_viewthenbuyV2/nohup.out&（日志路径）

3、hadoop、hdfs、hive、hbase常用命令
从linux命令行进入hadoop平台：su - hadoop
从hadoop平台进入hive：hive
从hadoop平台进入hbase：hbase shell

查看hive表在hdfs上的地址
进入hive后desc formatted 表名

将hdfs上的文件拿到hadoop本地

0 0