使用Shell进行Mysql间数据以文本形式传输及注意事项

来源：互联网发布：防火墙udp端口4950 编辑：程序博客网时间：2024/05/19 01:14

1、程序目录结构

[root@master timeline]# pwd/root/timeline[root@master timeline]# tree.├── data│   ├── jellyfish_user.user_profile.dat│   └── jellyfish_user.user_profile.list└── etl_script    └── user_profile.sh2 directories, 3 files

2、进行Mysql数据卸装Shell程序

[root@master etl_script]# cat user_profile.sh

#!/bin/bashrm -rf /root/timeline/data/jellyfish_user.user_profile.dat/usr/bin/mysql -hsrc-ip -Psrc-port -usrc-user -psrc-passwd -N -e"select table_name from information_schema.tables where table_schema='jellyfish_user' and table_name like 'user_profile%';" > /root/timeline/data/jellyfish_user.user_profile.listi=1for tab in $(cat /root/timeline/data/jellyfish_user.user_profile.list)docol_num=$itab_name=$(awk -F "|" 'NR=='$col_num' {print $1}'  /root/timeline/data/jellyfish_user.user_profile.list)echo $tab_name#user_profile data proc .../usr/bin/mysql -hsrc-ip -Psrc-port -usrc-user -psrc-passwd -N -e"set character_set_results=utf8;select CONCAT(ifnull(\`uid\`,''),'|',ifnull(\`nickname\`,''),'|',ifnull(\`avatar\`,''),'|',ifnull(\`signature\`,''),'|',ifnull(\`gender\`,''),'|',ifnull(\`type\`,''),'|',ifnull(\`source\`,''),'|',ifnull(\`phone_num_verified\`,''),'|',ifnull(\`id_card_verified\`,''),'|',ifnull(\`state\`,''),'|',ifnull(\`last_login_time\`,''),'|',ifnull(\`created_time\`,''),'|',ifnull(\`updated_time\`,'')) from jellyfish_user.$tab_name;" >> /root/timeline/data/jellyfish_user.user_profile.dat: $(( i++ ))done/usr/bin/mysql -htgt-ip -utgt-user -ptgt-passwd -e "set character_set_results=utf8;use timeline;truncate table user_profile;load data local infile '/root/timeline/data/jellyfish_user.user_profile.dat' into table user_profile character set utf8 fields terminated by '|' enclosed by '' lines terminated by '\n' ignore 0 lines;"

3、说明及注意事项
3.1、关于中文乱码问题
导出时出现乱码，需要在命令行前添加【set character_set_results=utf8;】;导入时出现乱码，需要添加load data选项【character set utf8】放在into table与fileds中间。

3.2、Mysql分表的导出
导出Mysql分表，采用如例所示的到Mysql字典中查找的方法，循环逐个导出追加数据文件的方式。

3.3、源表字段格式的查找
源表字段列部分采用通过Sql进行拼脚本的方式，但要注意，需要手动去除所得结果的【,'|'】，但最后的括号不去除。
-- 取源表字段的SQL：

select CONCAT('CONCAT(',GROUP_CONCAT(concat('ifnull(\\`',b.COLUMN_NAME,'\\`,\'\')',',\'|\'')),')')from information_schema.`TABLES` a left join information_schema.`COLUMNS` b on a.TABLE_NAME=b.TABLE_NAME and a.TABLE_SCHEMA=b.TABLE_SCHEMAwhere a.table_NAME='time_line';

0 0