shell 定时采集至数据至 HDFS
来源:互联网 发布:网站采集软件 编辑:程序博客网 时间:2024/04/28 20:15
上线的网站每天都会产生日志数据。假如有这样的需求:要求在凌晨 24 点开始操作前一天产生的日志文件,准实时上传至 HDFS 集群上。
该如何实现?实现后能否实现周期性上传需求?如何定时?
(一)技术分析
HDFS SHELL:hadoop fs –put // 满足上传文件,不能满足定时、周期性传入。L L inux crontab: :crontab -e0 0 * * * /shell/ uploadFile2Hdfs.sh //每天凌晨 12:00 执行一次
(二) 实现流程
- 一般日志文件生成的逻辑由业务系统决定,比如每小时滚动一次,或者一定大小滚动一次,避免单个日志文件过大不方便操作。
- 比如滚动后的文件命名为 access.log.x,其中 x 为数字。正在进行写的日志文件叫做 access.log。这样的话,如果日志文件后缀是 1\2\3 等数字,则该文件满足需求可以上传,就把该文件移动到准备上传的工作间目录。
- 工作区间有文件之后,可以使用 hadoop put 命令将文件上传。
(三)代码实现
#!/bin/bash#set java envexport JAVA_HOME=/root/apps/jdk1.8.0_65export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH#set hadoop envexport HADOOP_HOME=/root/apps/hadoop-2.7.4export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH#日志文件存放的目录log_src_dir=/root/logs/log/#待上传文件存放的目录log_toupload_dir=/root/logs/toupload/#日志文件上传到hdfs的根路径date1=`date -d last-day +%Y_%m_%d`hdfs_root_dir=/data/clickLog/$date1/ #打印环境变量信息echo "envs: hadoop_home: $HADOOP_HOME"#读取日志文件的目录,判断是否有需要上传的文件echo "log_src_dir:"$log_src_dirls $log_src_dir | while read fileNamedo if [[ "$fileName" == access.log.* ]]; then # if [ "access.log" = "$fileName" ];then date=`date +%Y_%m_%d_%H_%M_%S` #将文件移动到待上传目录并重命名 #打印信息 echo "moving $log_src_dir$fileName to $log_toupload_dir"xxxxx_click_log_$fileName"$date" mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName"$date #将待上传的文件path写入一个列表文件willDoing echo $log_toupload_dir"xxxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date fidone#找到列表文件willDoingls $log_toupload_dir | grep will |grep -v "_COPY_" | grep -v "_DONE_" | while read linedo #打印信息 echo "toupload is in file:"$line #将待上传文件列表willDoing改名为willDoing_COPY_ mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_" #读列表文件willDoing_COPY_的内容(一个一个的待上传文件名) ,此处的line 就是列表中的一个待上传文件的path cat $log_toupload_dir$line"_COPY_" |while read line do #打印信息 echo "puting...$line to hdfs path.....$hdfs_root_dir" hadoop fs -mkdir -p $hdfs_root_dir hadoop fs -put $line $hdfs_root_dir done mv $log_toupload_dir$line"_COPY_" $log_toupload_dir$line"_DONE_"done
阅读全文
0 0
- shell 定时采集至数据至 HDFS
- Shell脚本定时采集日志数据到HDFS
- hadoop学习之HDFS(2.7):实例:开发shell脚本定时采集日志数据到hdfs
- flume采集数据到hdfs
- flume 采集数据到hdfs
- 数据采集收集阶段HDFS
- shell 采集数据
- flume采集本地数据到hdfs
- HDFS定时上传日志的Shell案列
- Flume采集数据到HDFS时,文件中有乱码
- 数据采集之Web端上传文件到Hadoop HDFS
- flume抽取mysql数据至hdfs
- 常用shell(2):shell监控进程的cpu,内存占用(定时采集)
- hdfs shell
- HDFS Shell
- 数据采集之Web端导入DB数据到Hadoop HDFS
- premiere定时采集视频
- J2EE定时采集程序
- VS2010修改开发环境
- Redis的并发竞争问题如何解决
- 动态代理和静态代理的学习
- 算法的分析思路
- 日常运维-7
- shell 定时采集至数据至 HDFS
- 小数化分数
- git提交远程仓库报错
- 文章标题
- Linux文件操作
- 深机之位操作点滴
- Yeoman生成的angular项目引入angular-gettext
- 挑棍子
- servlet和jsp的基本操作