将本地文件目录移动(或cp)到hdfs下shell脚本
2011-04-27 17:06
260 查看
写了一下脚本,实现了以下功能:
1、保证同一时间只有一个该脚本的实例在运行,避免造成操作冲突
2、移动本地文件目录到hdfs下,目录路径相同
uploadtoHadoop.sh
使用如下 sh uploadHadoop.sh /待移动的目录名称
start
complete
如果该脚本同时执行2个实例,第二个实例会报错,退出。
1、保证同一时间只有一个该脚本的实例在运行,避免造成操作冲突
2、移动本地文件目录到hdfs下,目录路径相同
uploadtoHadoop.sh
#!/bin/bash #pid=`ps -ef | grep -v grep | grep uploadtoHadoop | awk '{print $2}'` pid=`ps -ef | grep -v grep | grep uploadtoHadoop | wc -l` usage() { echo "usage: `basename $0` /data/192.168.0.1/20110313/***/" } URL=$1 if [ $# -ne 1 ] then usage exit 1 fi if [ "$pid" = "2" ] then echo start hadoop fs -mkdir $1/ hadoop fs -moveFromLocal $1/* $1/ echo complete else echo program exist! fi |
使用如下 sh uploadHadoop.sh /待移动的目录名称
start
complete
如果该脚本同时执行2个实例,第二个实例会报错,退出。
相关文章推荐
- 自动化挂载HDFS文件系统到本地目录
- 将本地的一个文件目录复制/移动到局域网上的其他机器上的方法
- 02.linux的文件系统简介、查看目录ls命令、切换目录cd命令、创建目录mkdir、删除目录rm、移动重命名mv、创建文件touch、拷贝cp
- hadoop创建文件夹及将本地文件移动到hdfs中
- Linux命令之目录切换、创建/删除/复制/移动文件 - cd,mkdir,cp,mv,rmdir,rm
- Linux命令:cp 命令--创建文件和目录的副本 mv命令--移动或重命名文件/目录
- 自动化挂载HDFS文件系统到本地目录
- linux学习(6) ls(查看文件,目录) 复制、删除与移动: cp, rm, mv,取得路径的文件名称与目录名称
- hdfs有多级目录 合并文件下载到本地(递归下载)
- linux怎么将一个文件移动到另一个目录下
- spark streaming监控HDFS文件目录
- 拷贝本地文件至HDFS异常:No FileSystem for scheme: file
- 移动硬盘删除文件时提示“文件或目录损坏且无法读取”的解决方法-chkdsk 命令的巧用
- SSH框架 POI建立excel表格弹出文件选择目录后保存到本地
- 20160218自学Linux_根文件目录介绍+目录管理命令学习(mkdir,rmdir,tree,touch,stat,rm,nano,cp,mv,insatll)
- Centos 7 安装lnmp 移动数据库文件目录,重启后无法访问Web服务,笔记
- 通过NFSv3挂载HDFS到本地目录
- fuse挂载hadoop2.0.0文件系统hdfs到本地
- Linux 文件和目录管理之列出、删除、复制、移动及改名
- UNIX文件目录管理基本命令之移动光标屏幕翻滚插入文本