hadoop 命令总结
来源:互联网 发布:贵州义龙云大数据 编辑:程序博客网 时间:2024/06/10 12:26
1. Hadoop是独立的文件系统,和linux文件系统独立,不能直接使用linux命令。
2. 登录hadoop服务器,先执行haoop的环境变量命令(在root用户下面登陆):
hadoopc1h1:~ # . /opt/client/bigdata_env
执行hadoop启动需要的安全认证:
. /opt/client/bigdata_env
cd /opt/client
hadoop fs -ls /srv/smartcare/inventorycfg/CalcHistory
4. 查看文件内容
hadoop fs -cat /srv/smartcare/inventorycfg/CalcHistory/NPX.dat
hadoop fs -cat /srv/smartcare/inventorycfg/CalcHistory/healthu_day.dat
5. haoop上的文件拷贝到本地:
hadoop fs -copyToLocal /srv/smartcare/inventorycfg/CalcHistory/NetworkMonitorDay.dat
hadoop fs -put f_lkpi_polygon_h /srv/smartcare/calc_input/ran/(-put下载)
6. 删除hadoop上的原文件:
hadoop fs -rm /srv/smartcare/inventorycfg/CalcHistory/NetworkMonitorDay.dat
7. 修改本地文件后上传到hadoop:
haoop fs -copyFromLocal NetworkMonitorDay.dat /srv/smartcare/inventorycfg/CalcHistory/
8. 执行后台命令触发天粒度任务立即执行:
先通过维护IP登录到调度服务器(SCHS),执行
curl -L -H 'Content-Type: application/json' -X POST 127.0.0.1:8081/scheduler/processes/process-insts/spark_npx_1D_schedule_proc
9. Hadoop上小时级别数据目录:
hadoop fs -ls /srv/smartcare/calc_input/ran/t_lkpi_hour_grid
hadoop fs -ls /srv/smartcare/calc_input/ran/t_lkpi_hour_polygon
hadoop fs -ls /srv/smartcare/calc_input/ran/t_lpolygon_grid_relation
hadoop fs -ls /srv/smartcare/calc_input/ran/t_ukpi_hour_grid
hadoop fs -ls /srv/smartcare/calc_input/ran/t_ukpi_hour_polygon
hadoop fs -ls /srv/smartcare/calc_input/ran/t_upolygon_grid_relation
10 DPA日志地址:/var/log/runlog/ecm/app/dpa/computingProcess-32026/computingProcess-0-0/log
查看服务器地址:cat /opt/ecm/app/0010/proc/workspace0/fmtdata/CFG_IP_INFO.csv
11 从HDFS下载配置文件到本地目录:
# mkdir -p /home/omc/pa/patch1022
#cd /home/omc/pa/patch1022
#hadoop fs -get /srv/smartcare/subsche/store/plugin/conf/common_processConf.properties
使用vi命令修改取下来在当前目录的common_processConf.properties文件相关配置项:
上传配置文件到HDFS:
# hadoop fs -put -f common_processConf.properties /srv/smartcare/subsche/store/plugin/conf
2. 登录hadoop服务器,先执行haoop的环境变量命令(在root用户下面登陆):
hadoopc1h1:~ # . /opt/client/bigdata_env
执行hadoop启动需要的安全认证:
. /opt/client/bigdata_env
cd /opt/client
source bigdata_env ossuser keytab/ossuser.keytab
或直接 source /opt/client/bigdata_env ossuser /opt/client/keytab/ossuser.keytab
hadoop fs -ls /srv/smartcare/cal*/ran
访问hadoop文件系统前要先认证,ls是linux命令,访问的是linux,hadoop fs -ls 才能访问hadoop文件系统,hadoop服务器本身是linux系统,HDFS部署在hadoop服务器上,直接ls访问的是物理文件。hadoop fs -ls访问的是数据文件。就像在自己window系统上安装IDE,可以访问.java文件。hadoop fs -ls 可以访问HDFS。
hadoop fs -ls /srv/smartcare/inventorycfg/CalcHistory
4. 查看文件内容
hadoop fs -cat /srv/smartcare/inventorycfg/CalcHistory/NPX.dat
hadoop fs -cat /srv/smartcare/inventorycfg/CalcHistory/healthu_day.dat
5. haoop上的文件拷贝到本地:
hadoop fs -copyToLocal /srv/smartcare/inventorycfg/CalcHistory/NetworkMonitorDay.dat
hadoop fs -put f_lkpi_polygon_h /srv/smartcare/calc_input/ran/(-put下载)
6. 删除hadoop上的原文件:
hadoop fs -rm /srv/smartcare/inventorycfg/CalcHistory/NetworkMonitorDay.dat
7. 修改本地文件后上传到hadoop:
haoop fs -copyFromLocal NetworkMonitorDay.dat /srv/smartcare/inventorycfg/CalcHistory/
8. 执行后台命令触发天粒度任务立即执行:
先通过维护IP登录到调度服务器(SCHS),执行
curl -L -H 'Content-Type: application/json' -X POST 127.0.0.1:8081/scheduler/processes/process-insts/spark_npx_1D_schedule_proc
9. Hadoop上小时级别数据目录:
hadoop fs -ls /srv/smartcare/calc_input/ran/t_lkpi_hour_grid
hadoop fs -ls /srv/smartcare/calc_input/ran/t_lkpi_hour_polygon
hadoop fs -ls /srv/smartcare/calc_input/ran/t_lpolygon_grid_relation
hadoop fs -ls /srv/smartcare/calc_input/ran/t_ukpi_hour_grid
hadoop fs -ls /srv/smartcare/calc_input/ran/t_ukpi_hour_polygon
hadoop fs -ls /srv/smartcare/calc_input/ran/t_upolygon_grid_relation
10 DPA日志地址:/var/log/runlog/ecm/app/dpa/computingProcess-32026/computingProcess-0-0/log
查看服务器地址:cat /opt/ecm/app/0010/proc/workspace0/fmtdata/CFG_IP_INFO.csv
11 从HDFS下载配置文件到本地目录:
# mkdir -p /home/omc/pa/patch1022
#cd /home/omc/pa/patch1022
#hadoop fs -get /srv/smartcare/subsche/store/plugin/conf/common_processConf.properties
使用vi命令修改取下来在当前目录的common_processConf.properties文件相关配置项:
上传配置文件到HDFS:
# hadoop fs -put -f common_processConf.properties /srv/smartcare/subsche/store/plugin/conf
0 0
- hadoop操作命令总结
- hadoop 命令总结
- Hadoop命令总结
- hadoop命令总结
- hadoop 命令总结
- hadoop入门:hadoop使用shell命令总结
- hadoop 使用命令总结【更新ing】
- hadoop运行命令总结(更新中)
- 对hadoop的一些命令总结
- hadoop 2.8 hdfs 命令错误总结
- hadoop之 HDFS fs 命令总结
- Hadoop学习总结之六:HADOOP基本操作命令
- Hadoop下运行WordCount的命令总结(亲身体验)
- Hadoop之HDFS的Shell脚本命令总结
- hadoop命令
- hadoop命令
- hadoop命令
- Hadoop命令
- Gym
- 【JUnit】JUnit软件测试技术(工具)
- C++ 文件读取
- 动态规划―移动路线
- 数据结构 绪论 day1
- hadoop 命令总结
- 什么是LTE(Long Term Evolution)
- Java 发送邮件
- 工作经验
- java 日期对象与日期字符串的转换
- 集合框架-Collection集合-3
- Matlab编程 入门(五)
- Android之适配器
- Kaggle 实战:Ghouls, Goblins, and Ghosts