linux 批量转换UTF8到GB2312并处理UTF8的BOM标记
2013-07-17 11:03
232 查看
背景
本人在使用oracle的sqlplus批量导入UTF8编码的sql脚本时,由于不了解如何设置让sqlplus识别UTF8格式,导致出现乱码、错行等错误,而使工作无法继续,在google无果的情况下只好想办法转换编码。由于文件较多,手动转换太麻烦,于是想到用脚本批量转换,幸好网上相关脚本比较多,实现起来唯一的麻烦是UTF8的BOM标记。
下面脚本经本人测试可以工作,欢迎高手留言指正
内容
[plain] viewplaincopy
#!/bin/bash
for loop in `find . -type f -name "*.sql" -print`
do
echo $loop
mv -f $loop $loop.tmp
dos2unix $loop.tmp
file_check_utf8='file_check_utf8.log'
sed -n '1l' $loop.tmp >$file_check_utf8
if grep '^\\357\\273\\277' $file_check_utf8 >/dev/null 2>&1
then
echo 'UTF-8 BOM'
sed -n -e '1s/^...//' -e 'w intermediate.txt' $loop.tmp
iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt
rm -rf intermediate.txt
rm -rf $loop.tmp
elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>&1
then
echo 'UTF-8'
iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp
rm -rf $loop.tmp
else
echo 'ANSI'
mv -f $loop.tmp $loop
fi
rm -rf $file_check_utf8
#模拟unix2dos,要求文本文件最后一行必须有换行符
sed -n -e 's/$/\r/g' -e 'w '$loop.tmp $loop
mv -f $loop.tmp $loop
done
解释
处理UTF8的BOM,本人没有找到好的办法,最后用sed+grep判断了一下,如果前三个字节是\\357\\273\\277,则文件必定是UTF8,用sed去掉这三个字节再转换为了避免重复或者遗漏,脚本中用iconv对没有BOM的文件尝试转换了一把,转换成功说明文件是UTF8,否则说明是ANSI也就是GB2312
关于最后的sed命令,那是因为本人的系统上没有unix2dos命令,所以进行了模拟,目的是为了方便自己在windows下查看和编辑
问题
如果有高手知道如何设置sqlplus,能够让sqlplus直接导入UTF8文件,还望不吝留言告知关于如何去掉UTF8前三个字节的BOM,如果各位高手有更好更简单的办法,也欢迎留言
谢谢!
相关文章推荐
- linux系统下批量转换UTF8到GB2312并处理UTF8的BOM标记
- linux 批量转换UTF8到GB2312并处理UTF8的BOM标记
- linux 批量转换UTF8到GB2312并处理UTF8的BOM标记
- 处理linux下面的mysql乱码问题(下面的utf8换成gb2312也是可以的)
- 使用python 3.0 处理utf8格式的文件BOM问题
- Java处理带BOM(字节顺序标记)的文本
- linux下批量删除utf8 bom
- ACSII,GB2312,GBK,GB18030,Unicode,UTF8,UTF16,UTF32,BOM区别与转换——字符编码最全总结
- linux ICONV字符GB2312转换UTF8
- linux下找出utf8带BOM头的文件
- C语言编码转换gb2312 to utf8,utf8 to gb2312 代码,GCC编译,支持Windows、Linux
- linux下批量删除utf8 bom的实现方法
- UTF8编码页面提交参数登录到GB2312编码处理
- windows下文本[GBK(gb2312)]批量转换为linux文本(utf-8)
- linux下批量删除utf8 bom
- Linux下 GB2312和UTF8转换接口
- BOM的来源是不可能出现的字符,GB2312双字节高位都是1,Unicode理论的根本缺陷导致UTF8的诞生
- linux文件字符集转换(utf8-gb2312)
- Linux中正则表达式与文件格式化处理命令(awk/grep/sed)
- 【Linux运维-集群技术进阶】集群/分布式环境下5种session处理策略