python自动生成执行集群操作脚本
2016-06-15 17:36
691 查看
外部转入参数,循环列表生成脚本,并执行:
#!/usr/bin/python
#
import sys
import os
list=['2016-06-07','2016-06-08','2016-06-09','2016-06-10','2016-06-11','2016-06-12','2016-06-13']
for d in list:
cmd='hadoop distcp hftp://hadoop2:50070/user/datamart/adobe/adobe.'+sys.argv[1]+'/'+d+' /user/hive/warehouse/adobe.db/'+sys.argv[2]+'/load_day='+d
print cmd
os.system(cmd)
for d in list:
cmd='hive -e"alter table adobe.'+sys.argv[2]+' add partition(load_day=\''+d+'\') location \'/user/hive/warehouse/adobe.db/'+sys.argv[2]+'/load_day='+d+'\';"'
print cmd
os.system(cmd)
print 'ok'
后台执行脚本:
#!/usr/bin/python
#
import sys
import os
list=['2016-06-07','2016-06-08','2016-06-09','2016-06-10','2016-06-11','2016-06-12','2016-06-13']
for d in list:
cmd='hadoop distcp hftp://hadoop2:50070/user/datamart/adobe/adobe.'+sys.argv[1]+'/'+d+' /user/hive/warehouse/adobe.db/'+sys.argv[2]+'/load_day='+d
print cmd
os.system(cmd)
for d in list:
cmd='hive -e"alter table adobe.'+sys.argv[2]+' add partition(load_day=\''+d+'\') location \'/user/hive/warehouse/adobe.db/'+sys.argv[2]+'/load_day='+d+'\';"'
print cmd
os.system(cmd)
print 'ok'
后台执行脚本:
nohup python distcpData.py ADOBE_NWD_PRD adobe_nwd_prd > prd.log &
相关文章推荐
- python包的各种安装问题汇总
- 最近在学python web初体验
- Python学习笔记 —— 类
- [ 每日一课】 Python官方文档 1 -- 简介
- python释放内存(2)
- Python 获得命令行参数的方法
- python 释放内存(1)
- Python连接Hive
- Python基本运算符
- python学习笔记 操作文件和目录
- Python学习笔记 20160615
- Python自然语言处理第二章部分习题
- python lib error
- Python编码问题
- python学习笔记 IO 文件读写
- python中获取div的文本内容并和想定结果进行对比
- Numpy详细教程
- 第一个 Python 程序
- 第一个 Python 程序
- Python SMTP发送邮件