shell split文件分割方法
2017-01-13 11:32
453 查看
1.需求
每天有一批数据(200m)的数据要写入redis,使用一个脚本进行读取文件、写入需要的时间太长了,优化方式是将大文件拆分成小文件,启动多个进程去写入redis,设定每个文件的行数是40000行。
2.脚本
3.调用方法
每天有一批数据(200m)的数据要写入redis,使用一个脚本进行读取文件、写入需要的时间太长了,优化方式是将大文件拆分成小文件,启动多个进程去写入redis,设定每个文件的行数是40000行。
2.脚本
scriptDate=$1 basePath="/home/data/" dataFileName="click_$1.data" baseFile="$basePath$dataFileName" dataFile="/home/data/$dataFileName" testFile="/home/script/InsertRedis.sh" if [ -d "$basePath" ]; then echo "exists" fi mkdir $basePath cp $dataFile $basePath/ cd $basePath j=0 split -40000 $dataFile data_ rm $baseFile for i in `ls -1` do echo "file is $i" sh $testFile $basePath$i $scriptDate $i & folder_list[j]=$i j=`expr $j + 1` done
3.调用方法
./split.sh 20161225
相关文章推荐
- Linux大文件分割split和合并cat使用方法
- shell基础11:文件分类、合并和分割(sort,uniq,join,cut,paste,split)
- Linux 大文件分割split与合并cat使用方法
- Linux(CentOS)用split命令分割文件的方法
- Linux大文件分割split和合并cat使用方法
- Linux大文件分割split使用方法
- Linux大文件分割split和合并cat使用方法
- Linux大文件分割split和合并cat使用方法
- CentOS 中用 Split 命令分割文件的方法
- shell基础11:文件分类、合并和分割(sort,uniq,join,cut,paste,split)
- shell基础11:文件分类、合并和分割(sort,uniq,join,cut,paste,split)
- linux下分割和查看文件的方法split---wc
- split分割文件命令
- Visual Style中的shellstyle.dll文件修改方法
- String.split方法对"."分割的处理
- [置顶] linux大文件分割命令split(学习笔记)
- C#文件分割的方法
- 在Python中用split()方法分割字符串的使用介绍
- 使用ipython notebook读取GBK文件,进行split时无法分割
- (转)使用tar和split打包分割文件