关于MySQL-Proxy子进程异常退出BUG修复
2014-05-14 23:42
302 查看
关于 MySQL-Proxy 子进程异常退出的问题,我已经在之前的博文中提到过:
/article/4424438.html
相关的错误信息如下图所示:
经查阅11号信号为SIGSEGV,表示进程执行了一个无效的内存引用或发生段错误,从而导致子进程异常退出。
我们知道 MySQL-Proxy 采用的是父子进程的模式,处理请求都是由子进程来完成的,而父进程只起到监控子进程的作用, 我们一般会在 MySQL-Proxy 的配置文件中添加“keepalive=true”参数,以确保在子进程异常退出时,由父进程自动将其拉起。
刚开始定位到以下两个源码文件:
src/chassis-unix-daemon.c
src/chassis-mainloop.c
在其中看到了对 SIGTERM/SIGINT/SIGHUP 三个信号的处理,于是也按照类似的方法添加了对 SIGSEGV 信号的处理(将其信号忽略掉),修改大致如下:
src/chassis-unix-daemon.c:
既然以上方法不能解决我们的问题,于是就想到了通过开启 coredump 的方式来进行调试追踪,设置如下:
# ulimit -c unlimited
# echo "1" > /proc/sys/kernel/core_uses_pid
# mkdir -p /root/corefile
# echo "/root/corefile/core-%e-%p-%t" > /proc/sys/kernel/core_pattern
重新编译 MySQL-Proxy(注意要加上“-g”参数):
# ./configure --prefix=/usr/local/mysql-proxy \
--with-lua=/usr/local/lua \
--with-mysql=/usr/local/mysql \
GLIB_CFLAGS="-I/usr/local/glib-2.32.4/include/glib-2.0" \
GLIB_LIBS="-L/usr/local/glib-2.32.4/lib/glib-2.0 -lglib-2.0" \
GMODULE_CFLAGS="-I/usr/local/glib-2.32.4/include" \
GMODULE_LIBS="-L/usr/local/glib-2.32.4/lib -lgmodule-2.0" \
GTHREAD_CFLAGS="-I/usr/local/glib-2.32.4/include" \
GTHREAD_LIBS="-L/usr/local/glib-2.32.4/lib -lgthread-2.0" \
LDFLAGS="-L/usr/local/lib -lm -L/usr/local/lib64 -lcrypto" \
LUA_CFLAGS="-I/usr/local/lua/include" \
LUA_LIBS="-L/usr/local/lua/lib -llua-5.1 -ldl" \
CFLAGS="-DHAVE_LUA_H -g"
# make && make install
再次启动编译后的 MySQL-Proxy 程序,几分钟后会生成如下core文件:
采用 GDB 进行追踪调试:
# cd /usr/local/mysql-proxy/bin
# gdb ./mysql-proxy /root/corefile/core-mysql-proxy-32354-1400039241
得到如下信息:
通过参考360的Atlas源码,我们最终定位到network-conn-pool-lua.c中的network_connection_pool_lua_add_connection函数,修改如下:
修改前:
修改后:
我们可以在 360 Atlas 的对应修改位置,看到如下信息,我想大家应该明白是什么原因引起了吧!!!
经测试,一切 OK !!!
本文出自 “人生理想在于坚持不懈” 博客,请务必保留此出处http://sofar.blog.51cto.com/353572/1411344
/article/4424438.html
相关的错误信息如下图所示:
经查阅11号信号为SIGSEGV,表示进程执行了一个无效的内存引用或发生段错误,从而导致子进程异常退出。
我们知道 MySQL-Proxy 采用的是父子进程的模式,处理请求都是由子进程来完成的,而父进程只起到监控子进程的作用, 我们一般会在 MySQL-Proxy 的配置文件中添加“keepalive=true”参数,以确保在子进程异常退出时,由父进程自动将其拉起。
刚开始定位到以下两个源码文件:
src/chassis-unix-daemon.c
src/chassis-mainloop.c
在其中看到了对 SIGTERM/SIGINT/SIGHUP 三个信号的处理,于是也按照类似的方法添加了对 SIGSEGV 信号的处理(将其信号忽略掉),修改大致如下:
src/chassis-unix-daemon.c:
signal(SIGSEGV, chassis_unix_signal_forward); ...... signal(SIGSEGV, SIG_DFL);src/chassis-mainloop.c:
struct event ev_sigterm, ev_sigint, ev_sigsegv; ...... signal_set(&ev_sigsegv, SIGSEGV, sigsegv_handler, NULL); event_base_set(chas->event_base, &ev_sigsegv); signal_add(&ev_sigsegv, NULL); ...... signal_del(&ev_sigsegv);虽然不再报错,也能正常工作,但好景不长,5分钟左右就挂掉了。因为我们将 SIGSEGV 信号忽略掉了,子进程异常退出时,父进程收不到导致子进程异常退出的 SIGSEGV 信号,当然也就无法正常将其子进程拉起,所以此方法不能解决我们的问题。
既然以上方法不能解决我们的问题,于是就想到了通过开启 coredump 的方式来进行调试追踪,设置如下:
# ulimit -c unlimited
# echo "1" > /proc/sys/kernel/core_uses_pid
# mkdir -p /root/corefile
# echo "/root/corefile/core-%e-%p-%t" > /proc/sys/kernel/core_pattern
重新编译 MySQL-Proxy(注意要加上“-g”参数):
# ./configure --prefix=/usr/local/mysql-proxy \
--with-lua=/usr/local/lua \
--with-mysql=/usr/local/mysql \
GLIB_CFLAGS="-I/usr/local/glib-2.32.4/include/glib-2.0" \
GLIB_LIBS="-L/usr/local/glib-2.32.4/lib/glib-2.0 -lglib-2.0" \
GMODULE_CFLAGS="-I/usr/local/glib-2.32.4/include" \
GMODULE_LIBS="-L/usr/local/glib-2.32.4/lib -lgmodule-2.0" \
GTHREAD_CFLAGS="-I/usr/local/glib-2.32.4/include" \
GTHREAD_LIBS="-L/usr/local/glib-2.32.4/lib -lgthread-2.0" \
LDFLAGS="-L/usr/local/lib -lm -L/usr/local/lib64 -lcrypto" \
LUA_CFLAGS="-I/usr/local/lua/include" \
LUA_LIBS="-L/usr/local/lua/lib -llua-5.1 -ldl" \
CFLAGS="-DHAVE_LUA_H -g"
# make && make install
再次启动编译后的 MySQL-Proxy 程序,几分钟后会生成如下core文件:
采用 GDB 进行追踪调试:
# cd /usr/local/mysql-proxy/bin
# gdb ./mysql-proxy /root/corefile/core-mysql-proxy-32354-1400039241
得到如下信息:
通过参考360的Atlas源码,我们最终定位到network-conn-pool-lua.c中的network_connection_pool_lua_add_connection函数,修改如下:
修改前:
修改后:
我们可以在 360 Atlas 的对应修改位置,看到如下信息,我想大家应该明白是什么原因引起了吧!!!
经测试,一切 OK !!!
本文出自 “人生理想在于坚持不懈” 博客,请务必保留此出处http://sofar.blog.51cto.com/353572/1411344
相关文章推荐
- 关于Servlet中连接mysql抛出ClassNotFoundException这个异常的解决方法
- 关于SQLyog操作Mysql双主、主从复制异常问题
- 关于MySQL异常捕捉那些事儿
- 用Nhibernate连接多个数据库,两个Mysql,一个Sql。还有关于异常和错误码的讨论。包含源代码
- 关于MySql删除语句报出1175异常
- 关于MySQL存储过程异常处理的一点心得
- android关于异常退出的学习
- 【Android】关于PhotoView频繁缩小异常退出的BUG
- 关于MySql的Unhandled异常
- 关于Android7.0版本及其以上系统获取本地数据(图片和文件)报系统出现异常,正在退出问题
- 关于linux上的mysql异常:Starting MySQL. ERROR! The server quit without updating PID file ……
- 关于mysql主从复制error_code 1593的小异常BUG
- 关于MySql异常 Access denied for user 'xx'@'yy'的复盘
- android关于异常退出的学习
- mysql“因客户端异常退出导致下次无法连接”的解决方案
- 关于centos6.7上安装mysql出现的异常
- 关于DataNode经常异常退出的问题
- 关于继承CListView类在退出时出现异常的解决方案
- 关于mysql登录异常处理方法 - mysql ERROR 1045 (28000)
- 关于用loadlin引导安装异常退出的问题