您的位置:首页 > 编程语言 > Python开发

python脚本 快速执行mapreduce程序

2013-05-20 19:06 295 查看
  在命令行下执行mapreduce程序时,我们需要输入很长的字符串,文件的输入路径、输出路径等。

  一个简单的python脚本即可,省去这些不必要的麻烦,以后执行mapreduce程序时,只需要进行稍微更改即可。runjob.py脚本内容如下:

#!/usr/bin/python

import os
cmd = 'hadoop jar examples.jar org.apache.hadoop.myexamples.WordCount hdfs://NameNode:9000/user/cloud/input/cite1.txt hdfs://NameNode:9000/user/cloud/output008'
os.system(cmd)


  下面,我们给这个文件赋予可执行的权限:

  chmod 775 runjob.py //当前用户和当前用户所属的组具有读、写、执行的权限,其它用户具有读、写的权限。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: