linux 批量转换UTF8到GB2312并处理UTF8的BOM标记
来源:互联网 发布:惊艳类长相知乎 编辑:程序博客网 时间:2024/06/05 15:13
背景
本人在使用oracle的sqlplus批量导入UTF8编码的sql脚本时,由于不了解如何设置让sqlplus识别UTF8格式,导致出现乱码、错行等错误,而使工作无法继续,在google无果的情况下只好想办法转换编码。
由于文件较多,手动转换太麻烦,于是想到用脚本批量转换,幸好网上相关脚本比较多,实现起来唯一的麻烦是UTF8的BOM标记。
下面脚本经本人测试可以工作,欢迎高手留言指正
内容
- #!/bin/bash
- for loop in `find . -type f -name "*.sql" -print`
- do
- echo $loop
- mv -f $loop $loop.tmp
- dos2unix $loop.tmp
- file_check_utf8='file_check_utf8.log'
- sed -n '1l' $loop.tmp >$file_check_utf8
- if grep '^\\357\\273\\277' $file_check_utf8 >/dev/null 2>&1
- then
- echo 'UTF-8 BOM'
- sed -n -e '1s/^...//' -e 'w intermediate.txt' $loop.tmp
- iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt
- rm -rf intermediate.txt
- rm -rf $loop.tmp
- elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>&1
- then
- echo 'UTF-8'
- iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp
- rm -rf $loop.tmp
- else
- echo 'ANSI'
- mv -f $loop.tmp $loop
- fi
- rm -rf $file_check_utf8
- #模拟unix2dos,要求文本文件最后一行必须有换行符
- sed -n -e 's/$/\r/g' -e 'w '$loop.tmp $loop
- mv -f $loop.tmp $loop
- done
解释
- 处理UTF8的BOM,本人没有找到好的办法,最后用sed+grep判断了一下,如果前三个字节是\\357\\273\\277,则文件必定是UTF8,用sed去掉这三个字节再转换
- 为了避免重复或者遗漏,脚本中用iconv对没有BOM的文件尝试转换了一把,转换成功说明文件是UTF8,否则说明是ANSI也就是GB2312
- 关于最后的sed命令,那是因为本人的系统上没有unix2dos命令,所以进行了模拟,目的是为了方便自己在windows下查看和编辑
问题
- 如果有高手知道如何设置sqlplus,能够让sqlplus直接导入UTF8文件,还望不吝留言告知
- 关于如何去掉UTF8前三个字节的BOM,如果各位高手有更好更简单的办法,也欢迎留言
谢谢!
- linux 批量转换UTF8到GB2312并处理UTF8的BOM标记
- linux 批量转换UTF8到GB2312并处理UTF8的BOM标记
- linux 批量转换UTF8到GB2312并处理UTF8的BOM标记
- UTF8 到GB2312 的 转换
- utf8 和 gb2312 的转换
- UTF8到GB2312的用法
- 批量转换cp936到utf8
- linux下批量删除utf8 bom
- UTF8 - GB2312转换
- UTF8、GB2312相互转换
- Linux下 GB2312和UTF8转换接口
- linux ICONV字符GB2312转换UTF8
- Linux utf8与gb2312转换函数
- Linux下 GB2312和UTF8转换接口
- linux文件字符集转换(utf8-gb2312)
- asp utf8到gb2312
- Linux批量转换gbk编码文件到utf8编码
- GB2312和 UTF8的互相转换函数
- 【2013Esri全球用户大会精彩看点】Portal for ArcGIS新产品亮点
- 斐波那契数列 C++ 实现代码
- 2013年五大主流浏览器 HTML5 和 CSS3 兼容性大比拼
- Android开发之旅:环境搭建及HelloWorld
- Android View.onMeasure方法的理解
- linux 批量转换UTF8到GB2312并处理UTF8的BOM标记
- PHP WEB 执行 命令。。。
- 异步 Servlet 与 Comet 风格应用程序
- Android strings.xml 显示特殊符号
- platform设备驱动全透析
- /tmp/ccTEUgva.o:(.data+0x0): multiple definition of `a'
- Ext智能提示 - Spket(Dreamweaver插件)
- 字符转换错误 int->CString
- Linux 可加载内核模块剖析