python3 读取大文件分解成若干小文件
2015-11-05 16:49
295 查看
有个数据实在太大了,有1.7G,打开慢,改文件也慢,我们将其分解成若干个中等文件
[/code]
[/code]
有一个问题,之前的sql文件保存为utf-8格式,实际上在文件中夹杂中部分乱码,读取时会出错,所以需要try屏蔽
[code] [code]#!/usr/bin/env python3
# -*- coding: utf-8 -*-
f = open("123.sql",'r',encoding='utf-8')
readlist = []
i = 0
i=i+1
filename = "mytest_{0}.sql".format(i)
wf=open(filename, 'w', encoding='utf-8')
linecount=0
while 1:
try:
line = f.readline()
wf.write(line)
linecount=linecount+1
if(linecount >;= 200000):
linecount = 0
print(filename)
i=i+1
wf.close()
filename = "mytest_{0}.sql".format(i)
wf=open(filename, 'w', encoding='utf-8')
if not line:
break
except Exception as e:
print("read except:" + str(e))
continue
#print("read except:" + str(e))
f.close()
print(filename)
wf.close()
[/code]
[/code]
有一个问题,之前的sql文件保存为utf-8格式,实际上在文件中夹杂中部分乱码,读取时会出错,所以需要try屏蔽
相关文章推荐
- [python]pygame游戏开发学习(二)
- python 服务器清除日志文件
- python 基础理解...
- Python操作Access数据库
- 机器学习实战笔记(Python实现)-01-机器学习实战
- 举例讲解Python中的死锁、可重入锁和互斥锁
- 用Python写飞机大战游戏之pygame入门(4):获取鼠标的位置及运动
- Python
- python3格式化时间
- 【详解】Python统一解密改进版
- python爬虫 模拟登陆
- python正则表达式详解
- Python正则表达式
- python一些技巧
- Python----virtualenv虚拟沙盘
- python base64
- python 学习笔记(06)
- python的图形化界面
- Python 导入外部类文件
- Python - 切片