Python处理以BOM开头的UTF-8编码文件

EF BB BF是被称为 Byte order mark (BOM)的文件标记，用来指出这个文件是UTF-8编码。

UTF8的BOM有三个字节，分别是0xef, 0xbb, 0xbf, 因此在写你的文本之前，写入”\xef\xbb\xbf”即可标记文件为UTF-8编码文件。

linux下查找包含BOM头的文件和清除BOM头命令

查找包含BOM头的文件，命令如下：

grep -r -I -l $’^\xEF\xBB\xBF’ ./

这条命令会查找当前目录及子目录下所有包含BOM头的文件，并把文件名在屏幕上输出。

但是，删除BOM头，网上找到的命令大多不能用，比较常见的命令是：

find . -type f -exec sed -i ‘s/\xEF\xBB\xBF//’ {} \;

这个命令会把当前目录及所有子目录下的BOM头删除掉。

python处理前三个字节是否为BOM_UTF8

f = open("2017-5-17-1.txt","r")
lightSen = []

for line in f.readlines():
if '\xef\xbb\xbf'  in line:
str1 = line.replace('\xef\xbb\xbf','')#用replace替换掉'\xef\xbb\xbf'
lightSen.append(int(str1.strip()))#strip()去掉\n
else:
lightSen.append(int(line.strip()))

print(lightSen)

f.close