Linux下批量把GDK编码的文章转化为UTF-8编码的文章以及“iconv: 未知 xxx 处的非法输入序列”错误处理
2014-08-20 14:40
267 查看
Linux下批量转换GBK文件到UTF-8编码方法
查看文件编码
file -i filename
1.递归转换(包括子文件夹)
find default -type d -exec mkdir -p utf/{} \;
find default -type f -exec iconv -f GBK -t UTF-8 {} -o utf/{} \;
这两行命令将default目录下的文件由GBK编码转换为UTF-8编码,目录结构不变,转码后的文件保存在utf/default目录下。
2.转换
命令格式如下
$enca -L 当前语言 -x 目标编码 文件名
例如要把当前目录下的所有文件都转成utf-8
$enca -L zh_CN -x utf-8 *
linux命令行bash下,使用iconv转换UTF-8编码到gb2312的时候遇到问题: iconv: 未知 xx 处的非法输入序列
在iconv中加入 -c 选项,忽略无效的字符,竟然成功了。
/*--------------------------------我是分割线--------------------------------*/
以上参考http://hi.baidu.com/maleung/blog/item/a75403ed6ea19fd8b21cb1db.html
-----------------------------------------------------------------
这里还可以像php里一样,参数中加入//IGNOR,如下
iconv -f gbk//IGNORE -t utf8//IGNORE hufu.csv> hufu-utf8.csv
也可以正常执行
查看文件编码
file -i filename
1.递归转换(包括子文件夹)
find default -type d -exec mkdir -p utf/{} \;
find default -type f -exec iconv -f GBK -t UTF-8 {} -o utf/{} \;
这两行命令将default目录下的文件由GBK编码转换为UTF-8编码,目录结构不变,转码后的文件保存在utf/default目录下。
2.转换
命令格式如下
$enca -L 当前语言 -x 目标编码 文件名
例如要把当前目录下的所有文件都转成utf-8
$enca -L zh_CN -x utf-8 *
iconv: 未知 xxx 处的非法输入序列
linux命令行bash下,使用iconv转换UTF-8编码到gb2312的时候遇到问题: iconv: 未知 xx 处的非法输入序列在iconv中加入 -c 选项,忽略无效的字符,竟然成功了。
/*--------------------------------我是分割线--------------------------------*/
以上参考http://hi.baidu.com/maleung/blog/item/a75403ed6ea19fd8b21cb1db.html
-----------------------------------------------------------------
这里还可以像php里一样,参数中加入//IGNOR,如下
iconv -f gbk//IGNORE -t utf8//IGNORE hufu.csv> hufu-utf8.csv
也可以正常执行
相关文章推荐
- iconv: 未知 189 处的非法输入序列
- [遇到的问题]iconv: 未知206处的非法输入序列
- man 报错 iconv: 未知 1799 处的非法输入序列
- Struts2输入校验以及错误信息处理(2)——用Struts2定义好的校验框架进行校验
- errorC2146的处理以及数据库未知错误产生的原因
- __BEGIN__; __END__是opencv中的一种错误处理机制,它可以防止非法的内存释放,以及内存泄露
- python 字符串编码 str和unicode 区别以及相互转化 decode('utf-8') encode('utf-8')
- [解决方案]未知2136143处的非法输入序列
- 使用iconv转换出现“非法输入序列”的问题
- Linux使用iconv将gbk编码转化为utf-8编码
- WDCP从php5.2升级到5.3的办法,以及升级过程中iconv错误的处理
- 关于UTF-8的BOM标识以及非法字符65279错误的一些记录
- 闰年测试以及非法输入的处理方法
- 评论python编码文章《立即停止使用 setdefaultencoding('utf-8'), 以及为什么》
- 关于软件测试(4):闰年输入的判断以及非法输入的处理测试
- 练习1-24: 编写一个程序,查找C语言程序中的基本语法错误,如圆括号,方括号以及花括号不配对等。要正确的处理引号(包括单引号,双引号)~转移字符序列与注释(如果读者想把该程序编写成完全通用的程序,难度会比较大。)
- 插入Mysql数据库是,字符utf8编码超过3位时的错误以及解决,Incorrect string value: '\xF0\xA1\xBF\xA8\xE9\x82...' for column
- 处理输入框中输入非法字符的办法,将输入的非法字符转化成合法字符。
- Struts2输入校验以及错误信息处理(1)——用Action中定义的validate()方法进行校验
- 对于直接地址栏输入的中文参数 在UTF-8系统中的接收,编码的问题.