Mysql分表数据通过Shell进行导出与统计
来源:互联网 发布:淘宝搜索词分析收费 编辑:程序博客网 时间:2024/05/22 00:22
1、分表数据的统计
[root@master tv]# cat submeter_data_static.sh
2、分表数据的导出与导入
[root@master tv]# cat submeter_data_export&import.sh
[root@master tv]# cat submeter_data_static.sh
#!/bin/bash#/usr/bin/mysql -hsrchostip -P50506 -usrcmysqluser -ppasswordstring -N -e"select table_name from information_schema.tables where table_schema='schema_name' and table_name like 'room_info_%';" > /root/tv/data/schema_name.room_info.listi=1cnt=0for tab in $(cat /root/tv/data/schema_name.room_info.list)docol_num=$itab_name=$(awk -F "|" 'NR=='$col_num' {print $1}' /root/tv/data/schema_name.room_info.list)#echo $tab_name#room_info data proc ...cnt_value=$(/usr/bin/mysql -hsrchostip -P50506 -usrcmysqluser -ppasswordstring -N -e"select count(*) from schema_name.$tab_name where substr(updated_time,1,10) ='2016-09-28' and state='0';")cnt=`expr $cnt + $cnt_value`echo $cnt: $(( i++ ))doneecho 最后的计算数据是:$cnt
2、分表数据的导出与导入
[root@master tv]# cat submeter_data_export&import.sh
#!/bin/bashrm -rf /root/tv/data/schema_name.room_info.dat/usr/bin/mysql -hsrchostip -P50506 -usrcmysqluser -ppasswordstring -N -e"select table_name from information_schema.tables where table_schema='schema_name' and table_name like 'room_info_%';" > /root/tv/data/schema_name.room_info.listi=1for tab in $(cat /root/tv/data/schema_name.room_info.list)docol_num=$itab_name=$(awk -F "|" 'NR=='$col_num' {print $1}' /root/tv/data/schema_name.room_info.list)echo $tab_name#room_info data proc .../usr/bin/mysql -hsrchostip -P50506 -usrcmysqluser -ppasswordstring -N -e"select CONCAT(ifnull(\`room_id\`,''),'|',ifnull(\`uid\`,''),'|',ifnull(\`state\`,''),'|',ifnull(\`created_time\`,''),'|',ifnull(\`updated_time\`,'')) from schema_name.$tab_name;" >> /root/tv/data/schema_name.room_info.dat: $(( i++ ))done/usr/bin/mysql -hstatic_database_ip -uroot -p123 -e "use guanzhu;truncate table room_info;load data local infile '/root/tv/data/schema_name.room_info.dat' into table room_info fields terminated by '|' enclosed by '' lines terminated by '\n' ignore 0 lines;"if false;then#room_info data proc .../usr/bin/mysql -hsrchostip -P50506 -usrcmysqluser -ppasswordstring -N -e"select CONCAT(ifnull(\`room_id\`,''),'|',ifnull(\`uid\`,''),'|',ifnull(\`state\`,''),'|',ifnull(\`created_time\`,''),'|',ifnull(\`updated_time\`,'')) from schema_name.room_info_0;" >> /root/tv/data/schema_name.room_info.dat/usr/bin/mysql -hstatic_database_ip -uroot -p123 -e "use guanzhu;load data local infile '/root/tv/data/schema_name.room_info.dat' into table room_info fields terminated by '|' enclosed by '' lines terminated by '\n' ignore 0 lines;"fi
0 0
- Mysql分表数据通过Shell进行导出与统计
- Mysql分表数据通过Python进行汇总统计
- Python利用groupby模块进行Mysql分表数据的汇总统计
- 通过Python进行MySQL表信息统计
- 使用shell进行mysql数据统计并上传
- mysql -- 通过linux shell 脚本,导出部分数据
- 通过ODBC与MySQL进行数据交互
- Shell导出MySql部分表及数据
- 通过sqoop进行mysql与hive的导入导出
- 通过sqoop 实现hdfs与mysql的数据导入导出
- Greenplum中通过外部表进行数据导入导出
- Greenplum中通过外部表进行数据导入导出 .
- MySQL 按条件导出某部分数据
- MySQL 按条件导出某部分数据
- Java 让excel导出大量数据进行分表打成压缩包进行下载
- Shell 统计导出数据 awk 里使用shell变量 参数
- Linux下通过php对Mysql中的数据进行定时统计并入库
- Linux中通过shell进行数据计算
- 使用Nexus搭建Maven私服
- 关于webapp的浏览记录写法
- MySQL的查询、子查询及连接查询
- <context annotation-config />标签意义:
- 缓存问题
- Mysql分表数据通过Shell进行导出与统计
- ES集群安装配置
- 正则表达式从入门到精通
- Maven Log4j2 Marker 不同类型的日志写入不同的文件
- Spring的加载过程
- ES in Hive
- Android网络编程(一)--网络的体系结构篇
- 最新uboot的Kbuild系统 4 make构建Uboot简略流程
- STRUTS2 类型转换器 BigDecimal 处理