tsdb import 相关
2015-08-26 00:02
387 查看
今天一直在做opentsdb 大量导入数据的工作。 中间遇到了一些值得记录的问题, 这里随手记一下 明天好好整理
1. 多进程logger
python的logging模块不支持多进程,但我们可以用syslog模块 把进程写给linux/unix的syslog服务。
syslog 有local 0 - 7 8个通道。 把一个通道配置到你的日志文件 然后写入即可
2. 多进程
apply_async 这个函数有点奇怪。下面的代码df如果是string就可以。如果不是string, 那么子进程好像不会运行。。
1. 多进程logger
python的logging模块不支持多进程,但我们可以用syslog模块 把进程写给linux/unix的syslog服务。
syslog 有local 0 - 7 8个通道。 把一个通道配置到你的日志文件 然后写入即可
2. 多进程
apply_async 这个函数有点奇怪。下面的代码df如果是string就可以。如果不是string, 那么子进程好像不会运行。。
#!/usr/bin/python __author__ = 'mingwli' import syslog import multiprocessing from multiprocessing import Pool import pydevd syslog.openlog('file: %s' % "My file", 0, syslog.LOG_LOCAL0) def write_log(f): syslog.syslog('Log msg: %s' % 'test msg') pool = Pool(processes=20) result = [] mylist = range(0, 20) for df in mylist: result.append(pool.apply_async(write_log, (str(df)))) pool.close() pool.join() print "all done"
相关文章推荐
- 简介alert()与console.log()的不同
- js控制多图左右滚动切换效果代码分享
- java开发前奏
- javascript中的五种基本数据类型
- jQuery实现的网页竖向菜单效果代码
- js鼠标点击图片切换效果代码分享
- js支持键盘控制的左右切换立体式图片轮播效果代码分享
- jQuery实现带滑动条的菜单效果代码
- jQuery网页选项卡插件rTabs用法实例分析
- jQuery实现的简洁下拉菜单导航效果代码
- js+css实现的圆角边框TAB选项卡滑动门代码分享(2款)
- jquery实现漂亮的二级下拉菜单代码
- jquery validate和jquery form 插件组合实现验证表单后AJAX提交
- jquery实现图片水平滚动效果代码分享
- jquery实现LED广告牌旋转系统图片切换效果代码分享
- 纯javascript实现分页(两种方法)
- jquery实现平滑的二级下拉菜单效果
- jQuery ui实现动感的圆角渐变网站导航菜单效果代码
- jQuery下拉友情链接美化效果代码分享
- js仿苹果iwatch外观的计时器代码分享