FUCK, 排查python写入mysql数据库过慢的过程(心都碎了)
2015-10-15 17:47
537 查看
最近写了一个程序,实时读取rsyslog日志,但是遇到一个问题:mysql插入速度存在延时,速度非常慢,于是开始了排查;
1. 分析程序,将认为比较耗时的地方进行线程分析,无效;
2. 按照网上说的,多行插入,commit都没有效果;
3. 重装mysql驱动,无效;
4. 编写简单的测试语句插入数据库,发现较慢,进一步在mysql中执行sql语句发现较慢,确定是mysql的问题;
5. 查看mysql的日志大小,以及目录空间,发现都没有问题,排除;
6. 关闭myql的bin选项,发现插入速度快了将近一半,可是还是不能接受,这也不是正确的做法;
7. 最后想到是否是磁盘的IO负载过高?排查时发现磁盘的IO速度非常慢,才100多兆,初步定位应该是该问题;
8. 切换mysql 的数据目录到ssd,发现问题解决,原来是磁盘的IO太慢导致的插入速度过慢。
当然了,上面的问题可能是个案,如果大家各种方法都排出了,不妨看下是否是我遇到的问题。
1. 分析程序,将认为比较耗时的地方进行线程分析,无效;
2. 按照网上说的,多行插入,commit都没有效果;
3. 重装mysql驱动,无效;
4. 编写简单的测试语句插入数据库,发现较慢,进一步在mysql中执行sql语句发现较慢,确定是mysql的问题;
5. 查看mysql的日志大小,以及目录空间,发现都没有问题,排除;
6. 关闭myql的bin选项,发现插入速度快了将近一半,可是还是不能接受,这也不是正确的做法;
7. 最后想到是否是磁盘的IO负载过高?排查时发现磁盘的IO速度非常慢,才100多兆,初步定位应该是该问题;
8. 切换mysql 的数据目录到ssd,发现问题解决,原来是磁盘的IO太慢导致的插入速度过慢。
当然了,上面的问题可能是个案,如果大家各种方法都排出了,不妨看下是否是我遇到的问题。
相关文章推荐
- python django model类型摘要
- python sorted函数以及operator.itemgetter函数
- python cmd 模块使用
- <LeetCode><Easy> 205 Isomorphic Strings --HashTable
- python中一些链接数据库所用到的包
- python 的日志logging模块学习
- python pyqt4 PyQT实现了使用QThread后台处理数据
- python]用urllib2设置代理访问网页
- python lamba表达式
- 用Python和OpenCV创建一个图片搜索引擎的完整指南
- python 文件删除 移动 复制等操作
- 一、初识Python ----- 人人都爱列表
- python 核心编程(第二版)p301 装饰器实例纠正
- python端口扫描工具——nmap
- <LeetCode><Easy>206 ReverseLinkedList
- 简单介绍使用Python解析并修改XML文档的方法
- Python中将字典转换为XML以及相关的命名空间解析
- 【conf】配置文件入门 ConfigParser for Py2.7.6
- python sum()函数和.sum(axis=0)函数的使用
- Python 基础语法(一)