服务器搬迁清单需要启动任务以及恢复办法

服务器搬迁清单需要启动任务以及恢复办法。

整体搬迁如果周五关机，如果周六下午可以开机搭建集群的话，那么我们只需要改一下crontab时间即可；如果不能的话，到了礼拜天了，则就需要立马添加时间日期。所以，明天得确定一下时间能否在周六下午把集群搭建好。

一、首先来看149服务器恢复办法。​

首先切换hive

 移除点击此处添加图片说明文字

1.第一个，脚本大约执行20个任务，需要在数据库里面配置。

这里怎么一次性重跑看一下文档。文档位置：

F:\市场项目\葛远-云创-数据需求拉取\数据拉取程序使用说明.docx

我这里说一下吧，是跑了。​

 移除点击此处添加图片说明文字

​对应表名称按月份命名的，跨月份后要对表里配置的月进行更新

如 new_market_log_201708 需要变为 new_market_log_201709

需要注意，重跑，也要注意（ 有日期变量的 ）

 移除点击此处添加图片说明文字

2.执行149的crontab:10 7 * * * java -jar /home/hive/sxm/ftp/HiveQuery.jar 0 0 0 0​

 移除点击此处添加图片说明文字

​注意第三个参数是日期格式。

args[2] :默认填0  指定日期:yyyy-MM-dd 

3.安全数据的

每天市场拉取安全数据这里如果要重新跑，需要修改date变量。

 移除点击此处添加图片说明文字

​这里可以看到，我们完全可以这么跑数据

/usr/bin/python /home/hive/sxm/SafeDataInput.py 2017-09-19 2017-09-19

二、143push的定时任务开始了，从北京集群的mysql拉数据到我们hive平台。

这个sh需要执行重跑。那我们看一下吧。

 移除点击此处添加图片说明文字

这个sh其实里面执行了5个sh脚本。

 移除点击此处添加图片说明文字

​source   /opt/ftp/oz_log/app_command_data/java/runjar_ozlogapp_command_import_yesday.sh 

source /opt/ftp/oz_log/java/runjar_oz_data_operate_rec_import_args.sh

source /opt/ftp/oz_log/java/runjar_oz_topic_dict_import_yesday.sh

source /opt/ftp/oz_log/java/runjar_cap_wap_data_import_args.sh

source /opt/ftp/oz_log/java/runjar_cap_wap_data_apk_import_args.sh

​其实执行了5个sh脚本，我们挑一个看

 移除点击此处添加图片说明文字

​yesday_date=`date -d '-1 day' +%Y-%m-%d`

yesday_date_reg=`date -d '-1 day' +%Y%m%d`

注意这两个东西，这两个时间需要改造一下。注意了，需要改造。如果时间错过了，需要增加两天。

注意这个是这5个sh脚本。

 移除点击此处添加图片说明文字

​三、82服务器，4个py脚本，在hive平台做计算。

su hdfs

 移除点击此处添加图片说明文字

​不用担心，上面四个我看过了，都是需要改。

 移除点击此处添加图片说明文字

​就是在执行python时，python XXXX.ph 2017-09-19 2017-09-19

至于后面的维秀直播平台的需要改date参数了。这个么。

 移除点击此处添加图片说明文字

​这个我问一下这个任务的开发者吧。

 移除点击此处添加图片说明文字

那这个就不重要

四、141，除了push的hive同步到mongodb之外还有很多。

su hdfs

 移除点击此处添加图片说明文字

还没有完呢。​

 移除点击此处添加图片说明文字

​用端城的截图就是。

 移除点击此处添加图片说明文字

​那我总结了，就这些要弄了。下面是我把那些注释掉的任务弄出来的。

 移除点击此处添加图片说明文字

00 2 * * * /usr/bin/python /home/hdfs/ImportPayInfoIntoHive.py > /home/hdfs/pay.log

50 0 * * * ./etc/profile;/bin/sh /opt/ftp/freemeos_project/java/freemeos_all_run_args_yesday.sh > /tmp/freeme_progress_log.log

40 0 * * * /bin/sh /opt/ftp/freemeos_project/java/fros_beautify_center/test_beautify.sh

30 2 * * * ./etc/profile;/bin/sh /opt/ftp/oz_log/java/runjar_all_oz_log.sh >> /opt/ftp/oz_log/java/log/cron_command.txt

50 0 * * *  ./etc/profile;/bin/sh /opt/ftp/oz_market/java/runjar_all_oz_market_yesday.sh >> /opt/ftp/oz_market/java/log/runjar_all_oz_market_yesday.txt

50 6 * * * ./etc/profile;/bin/sh /opt/ftp/freemeos_project/java/freemeos_all_run_args_yesday.sh

00 6 * * * ./etc/profile;/bin/sh /opt/ftp/oz_log/java/runjar_all_oz_log.sh >> /opt/ftp/oz_log/java/log/cron_command.txt

#市场push报表

20 15 * * * source /etc/profile;/bin/sh /etl/tools/etl-python/push/push_report.sh > /etl/tools/etl-python/push/push_report_log.txt

00 6 * * *  ./etc/profile;/bin/sh /opt/ftp/freemeos_project/report_data/java/safe_report/safe_report_args_mongo.sh > /tmp/safe_log.txt

#每月第2天 修改数据拉去跨月参数

05 0 2 * *  ./etc/profile;/bin/sh /opt/wxw/importdata/across_month_modiy.sh >> /opt/wxw/importdata/info.log 2>&1

#插入市场 apk标签表oz_market.apk_label_withh2

20 4 * * *  ./etc/profile;/bin/sh  /opt/app/market_recommend/wirte_table_apk_label_withh2.sh > /opt/app/market_recommend/rec_log.txt

#查询半年内imsi安装数据

10 7 * * *  ./etc/profile;/bin/sh  /opt/app/market_recommend/wirte_table_apk_ids_per_imsi.sh > /opt/app/market_recommend/imis_log.txt

#市场应用推荐，hive导出文件 sftp发送到远程服务器,要先于com.tydtech.mig.newmarket_10 

10 5 * * * /bin/sh /opt/wxw/project/rec_hive_file/rec_hive_file.sh >/opt/wxw/project/rec_hive_file/rec_sh.log 2>&1

#安全服务数据

05 8 * * * /bin/sh /opt/wxw/project/safedata_imei/safedata_start.sh >/opt/wxw/project/safedata_imei/safedata_start.log 2>&1

#pcb销量整合

05 15 * * * /bin/sh /opt/wxw/project/pcb_freemeos_sales/pbc_data_start.sh  >/opt/wxw/project/pcb_freemeos_sales/pcb.log 2>&1

#baas push2.0日志 add 2017-08-20

53 13 * * * /bin/sh /opt/wxw/project/baas_push_two/baas_push_two_etl.sh > /opt/wxw/project/baas_push_two/info.log 2>&1

#市场外下-api下载数据 插入 外网 mongo

10 1 * * * /bin/sh /opt/wxw/project/marketHiveToMongo/marketHiveToMongo.sh > /opt/wxw/project/marketHiveToMongo/mongo_to_hive.log 2>&1

总共有17个脚本，当然了，记住这个时间，因为，到了搬迁集群那一天都要用这个时间去恢复的。

可以显而易见的看到push的内容，push的内容其实很容易看到的。那我们先去看一下push的东西？

好。

1.push的sh脚本。

 移除点击此处添加图片说明文字

​其实到了这一步，push项目，将hive平台数据同步到了前台的mongo库了。

/usr/bin/python /etl/tools/etl-python/push/push_detail_statistics_bckdcnt.py $yesday_date $yesday_date

/usr/bin/python /etl/tools/etl-python/push/push_detail_statistics_deploy.py $yesday_date $yesday_date

cd /etl/tools/etl-python/push;/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop jar /home/OTAtest/ToMongo-0.0.1-SNAPSHOT-jar-with-dependencies.jar push_detail_statistics_bckdcnt $yesday_date $yesday_date  > ./hive2Mongo.log 

cd /etl/tools/etl-python/push;/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop jar /home/OTAtest/ToMongo-0.0.1-SNAPSHOT-jar-with-dependencies.jar push_detail_statistics_deploy $yesday_date $yesday_date   > ./hive2Mongo.log

​分别针对推送部署的和静默下载统计的。这个如果要重新跑很好改的，就是把后面的时间改掉么拉倒了。说道这里等下又要去弄了，因为，8好的push数据又重复了，稍后还要去弄一下。

2.上面所提到的每个脚本都需要重新搞的。

 移除点击此处添加图片说明文字

 又看到了老朋友 ，给入开始时间和结束时间了，这种就比较简单了，我在启动python脚本的时候，直接给入时间即可。

好了，大致的，服务器集群搬迁之后的恢复情况这里就大致写这么点儿，后面会有详细的方案，到底是恢复日期手动写参数，还是​改写crontab时间。我们还是要等开会的。接下来，先去解决问题吧。