组巡--23G

来源：互联网发布：俄罗斯时间知乎编辑：程序博客网时间：2024/06/07 17:57

对应服务器：
10.9.49.1-7,13-18
原始数据：/home/land/20170102/13/delete/asgroup
这里写图片描述

处理的原始数据：

/home/data/asgroup

处理后的数据：

/home/data/output

处理程序step2.sh :

#!/bin/bashrm -rf /home/data/asgroupall rm -rf /home/data/outputcd /home/data/asgroup for file in `\ls |sort -t "_"  -k 4|grep dat `do#echo $filecat $file |awk -F '\t' '{$4=NULL}{print $0}' OFS='|' >>  /home/data/asgroupall doneecho "-------------collect end-------------"cd /home/data/ip=` ifconfig -a|grep 10.9.49.|awk '{print $2}' |sed 's/addr://g'`mkdir outputdx=`du -sk asgroupall|awk '{print $1}'`ds=`cat asgroupall |wc -l`echo $dx,$ds((sp=dx/204800+1))((di=ds/sp))split -l $di asgroupall output/$ipecho "---------------split end -----------------"i=0id=`hostname |cut -c "4-5"`cd /home/data/outputfor file in `\ls|grep "$ip"`doif [ $i -lt 10 ]thenkey=00$ielif [ $i -lt 100 ]thenkey=0$ielsekey=$ifinyr=`tail $file |sed -n '1p' |awk -F '|' '{print $20}' |cut -c "1-10"|xargs -i date "+%Y%m%d" -d '1970-1-1 0:0:0 GMT + {} seconds'`ser=$key((i=i+1))echo "mv  $file  shanghaiGn$nyr$id$ser.txt"mv  $file  shanghaiGn$nyr$id$ser.txtgzip shanghaiGn$nyr$id$ser.txtdoneecho "-----------------------gzip end -----------------"div=`date +%Y`for nyr in `find . -maxdepth 1 -type f |awk -F "$div" '{print $2}' |cut -c '1-4'|sort |uniq`doecho "mkdir -p $div$nyr/Gn-C"mkdir -p $div$nyr/Gn-Cecho "find . -maxdepth 1 -type f |grep $div$nyr |xargs -i mv {}  $div$nyr/Gn-C/"find . -maxdepth 1 -type f |grep $div$nyr |xargs -i mv {}  $div$nyr/Gn-C/done

上传：

由于10.9.xx网段与集团的ftp不通，无法通过lftp上传，
要先传到10.221.245.43上，在上传到集团ftp

#处理后的目录cd /home/data/output注意时间：时间错了，会坑了自己scp -r ./20161201/Gn-C/* root@10.221.245.43:/home/chb/23G/20161201/Gn-C

0 0