您的位置:首页 > 运维架构 > Shell

将本地文件目录移动(或cp)到hdfs下shell脚本

2011-04-27 17:06 260 查看
写了一下脚本,实现了以下功能:
1、保证同一时间只有一个该脚本的实例在运行,避免造成操作冲突
2、移动本地文件目录到hdfs下,目录路径相同
uploadtoHadoop.sh
#!/bin/bash
#pid=`ps -ef | grep -v grep | grep uploadtoHadoop | awk '{print $2}'`
pid=`ps -ef | grep -v grep | grep uploadtoHadoop | wc -l`
usage()
{
        echo "usage: `basename $0` /data/192.168.0.1/20110313/***/"
}
URL=$1
if [ $# -ne 1 ]
then
        usage
        exit 1
fi
if [ "$pid" = "2" ]
then
        echo start
        hadoop fs -mkdir $1/
        hadoop fs -moveFromLocal $1/* $1/
        echo complete
else
        echo program exist!
fi
 
使用如下 sh uploadHadoop.sh /待移动的目录名称
start
complete
如果该脚本同时执行2个实例,第二个实例会报错,退出。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐