shell脚本批量获取远程服务器多个项目的日志

shell批量获取日志

最近日志比较多, 而且压缩了日志, 并没有上ELK. 临时需要来获取项目的运行日志, 并且解压呈现出来.

***1. 需求环境

1. apache/nginx 并且指定一个本地服务器的log服务作为web服务对外的路径.
   这里我用的本地的/home/www/log/

2. shell运行环境. 我用的debian

***2. 脚本如下

需要获取三个目录的日志, 因为现在日志命名问题, 所以取了三个数组来循环.
提供最近3天的log获取和全量日志获取.
使用了scp来同步日志.

#!/bin/bashset -edeclare -a log_proj1 log_work log_proj2proj_name="proj1 proj2 proj3"bak_dir="/home/www/logs/"file_tailer='.log.gz'd0_date=`date +%F`.log.`date +%Y%m%d`d1_date=`date +%F`.log.`date +%Y%m%d`d2_date=`date -d -1day +%F`.log.`date -d -1day +%Y%m%d`d3_date=`date -d -2day +%F`.log.`date -d -2day +%Y%m%d`d4_date=`date -d -3day +%F`.log.`date -d -3day +%Y%m%d`# proj1log_proj1[1]='main-'${d0_date}.*log_proj1[2]='main-'${d1_date}_*${file_tailer}log_proj1[3]='main-'${d2_date}_*${file_tailer}log_proj1[4]='main-'${d3_date}_*${file_tailer}log_proj1[5]='main-'${d4_date}_*${file_tailer}# proj2log_proj2[1]='console-'${d0_date}.*log_proj2[2]='console-'${d1_date}_*${file_tailer}log_proj2[3]='console-'${d2_date}_*${file_tailer}log_proj2[4]='console-'${d3_date}_*${file_tailer}log_proj2[5]='console-'${d4_date}_*${file_tailer}# proj3log_proj3[1]='console-'${d0_date}.*log_proj3[2]='console-'${d1_date}_*${file_tailer}log_proj3[3]='console-'${d2_date}_*${file_tailer}log_proj3[4]='console-'${d3_date}_*${file_tailer}log_proj3[5]='console-'${d4_date}_*${file_tailer}sync_3_day_log() {    for i in ${proj_name}    do        if [ ! -d "$bak_dir$i" ];        then            mkdir "$bak_dir$i"        fi        logs="log_"${i}"[@]"        for log in ${!logs}        do            scp -P2222 user@123.456.789.10:/logs/project/${i}/$log $bak_dir > /dev/null 2>&1            full_log=$bak_dir$i/$log            if [ ${full_log##*.} = "gz" ] > /dev/null 2>&1;            then                gzip -d $full_log            fi        done    done    echo 'Sync done'}sync_all_log() {    for i in ${proj_name}    do        if [ ! -d "$bak_dir$i" ];        then            mkdir "$bak_dir$i"        fi        scp -r -P1022 user@123.456.789.10:/logs/project/${i}/ $bak_dir > /dev/null 2>&1        echo "All "$i" log sync done!\n";        for log in `ls -la $bak_dir$i | awk '{print $9}'`        do            full_log=$bak_dir$i/$log            if [ ${full_log##*.} = "gz" ] > /dev/null 2>&1;            then                gzip -d $full_log            fi        done    done    echo 'Sync done'}#sync_3_day_logsync_all_log