skynet服务的缺陷 lua死循环
2016-11-16 21:10
197 查看
skynet是一套多人在线游戏的轻量级服务端框架,使用C+Lua开发。skynet的显著优点是,使用这套框架,大多数时候只是用lua写代码,很少用到c,这在一定程度上提高了开发效率。lua虽然没有C高效,但开发复杂业务却是非常敏捷。不过,skynet文档相对较少,所以这里利用一点时间学习和总结skynet相关内容,文章就讲解下skynet服务出现lua死循环如何处理。
在前面的一篇文章[1]介绍到,skynet服务运行可以霸占调度器,如果lua代码有死循环,那这个服务可以霸占一个skynet调度线程。从cpu层面看到,skynet进程独占了一个cpu核心。在写上篇文章的时候,没想到生产环境也出现以上的情况,以为代码规范化可以避免这个问题。然而随着项目越来越庞大了,果真出现这样的情况。
这个问题最致命的是,一旦skynet服务lua代码进入了死循环,这个服务无法被kill掉。就是说服务被kill了没效果,实际上服务还在跑,还占用了一个skynet调度线程。
回到文章,skynet服务出现lua死循环后如何处理?其实,skynet作者博客[2]也说明了这个问题,他也提供了办法来解决,让skynet服务跳出死循环。做法是,在 lua vm 在处理 JMP CALL TAILCALL FORLOOP 这几条 opcode 时,去检查一个全局变量,如果全局变量被设置成和自己的 lua state 相同的指针,就立刻抛出一个异常。
local skynet = require "skynet"
local sprotoloader = require "sprotoloader"
local max_client = 64
skynet.start(function()
skynet.error("Server start")
skynet.uniqueservice("protoloader")
if not skynet.getenv "daemon" then
local console = skynet.newservice("console")
end
skynet.newservice("debug_console",8000)
skynet.newservice("simpledb")
skynet.newservice("test") -- 新加了这个服务
local watchdog = skynet.newservice("watchdog")
skynet.call(watchdog, "lua", "start", {
port = 8888,
maxclient = max_client,
nodelay = true,
})
skynet.error("Watchdog listen on", 8888)
skynet.exit()
end)看下 test 服务的代码 test.lua
启动skynet进程,跑下这个例子。
然而,实际线上遇到的复杂环境没有这么简单。
照前面的方法,调用signal指令后,结果却大相径庭:
那么,要怎么处理这个问题?skynet还有方法解决?答案是否定的,没有了。现在,只能去改skynet的代码了
要怎么修改skynet的代码。方法不复杂,只需要改一处内容。
kill :0100000e
:0100000e snlua test
OK再看下skynet的运行日志,这个异常的服务已经被kill掉了
参考:
[1] skynet服务的本质与缺陷 没有开花的树[2] skynet 的 signal 可以中断 lua vm 的运行 云风的blog[3] skynet 控制台管理使用技巧 没有开花的树
在前面的一篇文章[1]介绍到,skynet服务运行可以霸占调度器,如果lua代码有死循环,那这个服务可以霸占一个skynet调度线程。从cpu层面看到,skynet进程独占了一个cpu核心。在写上篇文章的时候,没想到生产环境也出现以上的情况,以为代码规范化可以避免这个问题。然而随着项目越来越庞大了,果真出现这样的情况。
这个问题最致命的是,一旦skynet服务lua代码进入了死循环,这个服务无法被kill掉。就是说服务被kill了没效果,实际上服务还在跑,还占用了一个skynet调度线程。
回到文章,skynet服务出现lua死循环后如何处理?其实,skynet作者博客[2]也说明了这个问题,他也提供了办法来解决,让skynet服务跳出死循环。做法是,在 lua vm 在处理 JMP CALL TAILCALL FORLOOP 这几条 opcode 时,去检查一个全局变量,如果全局变量被设置成和自己的 lua state 相同的指针,就立刻抛出一个异常。
结束lua死循环
说了这么多,到底要怎么做才能结束lua死循环?方法就是,在skyent控制台输入 signal命令,为 signal <service addr>,例子如下:signal :0100000e以上,:0100000e 为某个skynet服务的地址。如果不了解skynet控制台,可以参考我的这篇文章[3]。示例lua死循环及处理
现在以一个例子测试这个问题。# vi examples/main.lualocal skynet = require "skynet"
local sprotoloader = require "sprotoloader"
local max_client = 64
skynet.start(function()
skynet.error("Server start")
skynet.uniqueservice("protoloader")
if not skynet.getenv "daemon" then
local console = skynet.newservice("console")
end
skynet.newservice("debug_console",8000)
skynet.newservice("simpledb")
skynet.newservice("test") -- 新加了这个服务
local watchdog = skynet.newservice("watchdog")
skynet.call(watchdog, "lua", "start", {
port = 8888,
maxclient = max_client,
nodelay = true,
})
skynet.error("Watchdog listen on", 8888)
skynet.exit()
end)看下 test 服务的代码 test.lua
# vi examples/test.lua local skynet = require "skynet" skynet.start(function() skynet.fork(function() while true do local t={} end end) end)
启动skynet进程,跑下这个例子。
# ./skynet examples/config [:01000001] LAUNCH logger [:01000002] LAUNCH snlua bootstrap [:01000003] LAUNCH snlua launcher [:01000004] LAUNCH snlua cmaster [:01000005] LAUNCH snlua cslave [:01000007] LAUNCH snlua datacenterd [:01000008] LAUNCH snlua service_mgr [:01000009] LAUNCH snlua main [:0100000a] LAUNCH snlua protoloader [:0100000b] LAUNCH snlua console [:0100000c] LAUNCH snlua debug_console 8000 [:0100000d] LAUNCH snlua simpledb [:0100000e] LAUNCH snlua test [:0100000f] LAUNCH snlua watchdog [:01000010] LAUNCH snlua gate [:01000010] Listen on 0.0.0.0:8888 [:01000009] Watchdog listen on 8888 [:01000009] KILL self [:01000002] KILL self [:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 33) [:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 33) [:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 33)以上日志看出,skynet有服务陷入了死循环。趁现在试下 signal指令。
# nc 127.0.0.1 8000 Welcome to skynet console signal :0100000e OK看下skynet的运行日志,skynet服务已跳出了死循环,cpu使用恢复了正常。
[:0100000e] recv a signal 0 [:0100000e] lua call [0 to :100000e : 1 msgsz = 0] error : ./lualib/skynet.lua:516: ./lualib/skynet.lua:155: nil stack traceback: ./examples/test.lua:6: in upvalue 'func' ./lualib/skynet.lua:452: in upvalue 'f' ./lualib/skynet.lua:104: in function <./lualib/skynet.lua:103> stack traceback: [C]: in function 'assert' ./lualib/skynet.lua:516: in function 'skynet.dispatch_message'
然而,实际线上遇到的复杂环境没有这么简单。
复杂多变的线上问题
假如你的代码是这样,靠上面的方法就无法解决问题了local skynet = require "skynet" skynet.start(function() skynet.fork(function() while true do pcall(function() while true do local t={} end end) end end) end)以上的例子中,死循环嵌套死循环,中间还有pcall的处理。当然,真正的代码不可能这样写,但由于项目函数调用层次过深,就可能出现这样的问题。
照前面的方法,调用signal指令后,结果却大相径庭:
# ./skynet examples/config [:01000001] LAUNCH logger [:01000002] LAUNCH snlua bootstrap [:01000003] LAUNCH snlua launcher [:01000004] LAUNCH snlua cmaster [:01000005] LAUNCH snlua cslave [:01000006] LAUNCH harbor 1 [:01000007] LAUNCH snlua datacenterd [:01000008] LAUNCH snlua service_mgr [:01000009] LAUNCH snlua main [:0100000a] LAUNCH snlua protoloader [:0100000b] LAUNCH snlua console [:0100000c] LAUNCH snlua debug_console 8000 [:0100000d] LAUNCH snlua simpledb [:0100000e] LAUNCH snlua test [:0100000f] LAUNCH snlua watchdog [:01000010] LAUNCH snlua gate [:01000009] KILL self [:01000002] KILL self [:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 33) [:0100000e] recv a signal 0 [:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 33) [:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 33)skynet服务还健在,收到了signal指令,但是还是没跳出死循环
那么,要怎么处理这个问题?skynet还有方法解决?答案是否定的,没有了。现在,只能去改skynet的代码了
要怎么修改skynet的代码。方法不复杂,只需要改一处内容。
vi ./3rd/lua/lvm.c /* Add by skynet */ lua_State * skynet_sig_L = NULL; LUA_API void lua_checksig_(lua_State *L) { if (skynet_sig_L == G(L)->mainthread) { //skynet_sig_L = NULL; 注释掉这行代码 lua_pushnil(L); lua_error(L); } }保存后,重新编译skynet
# make clean -C 3rd/lua # make clean # make linux现在,再启动下skynet,然后在控制台执行一下命令。# nc 127.0.0.1 8000 Welcome to skynet console signal :0100000e OK
kill :0100000e
:0100000e snlua test
OK再看下skynet的运行日志,这个异常的服务已经被kill掉了
# ./skynet examples/config [:01000001] LAUNCH logger [:01000002] LAUNCH snlua bootstrap [:01000003] LAUNCH snlua launcher [:01000004] LAUNCH snlua cmaster [:01000005] LAUNCH snlua cslave [:01000006] LAUNCH harbor 1 16777221 [:01000007] LAUNCH snlua datacenterd [:01000008] LAUNCH snlua service_mgr [:01000009] LAUNCH snlua main [:01000009] Server start [:0100000a] LAUNCH snlua protoloader [:0100000b] LAUNCH snlua console [:0100000c] LAUNCH snlua debug_console 8000 [:0100000d] LAUNCH snlua simpledb [:0100000e] LAUNCH snlua test [:0100000f] LAUNCH snlua watchdog [:01000010] LAUNCH snlua gate [:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 35) [:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 35) [:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 35) [:00000000] A message from [ :00000000 ] to [ :0100000e ] maybe in an endless loop (version = 35) [:0100000e] recv a signal 0 [:0100000e] lua call [0 to :100000e : 1 msgsz = 0] error : (no error message) [:01000003] KILL :100000e好了,文章到这里就结束了。原理是既然跳出一层死循环无法解决问题,那么就跳出所有的死循环吧。因为标记是全局变量的关系,所以同一时间只能处理一个skynet服务。最后,还是那句话,有问题,欢迎反馈。
参考:
[1] skynet服务的本质与缺陷 没有开花的树[2] skynet 的 signal 可以中断 lua vm 的运行 云风的blog[3] skynet 控制台管理使用技巧 没有开花的树
相关文章推荐
- skynet记录7:服务(c和lua)
- skynet lua服务常用API
- skynet服务的本质与缺陷
- skynet lua服务callback执行过程
- skynet服务的本质与缺陷
- skynet服务的本质与缺陷
- Skynet服务器框架(四) Lua服务创建和启动剖析
- skynet如何启动一个lua服务
- skynet服务的本质与缺陷
- skynet源码剖析06 service-src下的C服务实现文件说明
- lua实现的循环背景
- lua学习小结之lua循环
- 互联网安全协议有缺陷 恐受到拒绝服务***
- skynet框架应用 (七) 本地服务间消息通信
- skynet项目lua代码简单加密
- UPYUN基于ngx_lua的动态服务路由方案
- Lua 循环
- 一个Windows后台服务(.Net的C#版) - 定时访问数据库循环发送手机短信
- Lua学习——循环、函数、表等简单用法
- Lua循环