perl对大量大文件进行读写
2014-05-04 19:55
218 查看
在对大量文件进行读写时,最好将文件存为gz文件,可以节约读写硬盘的时间,硬盘也不会那么卡。
在写gz文件时,最好使用PerlIO::gzip模块。这个模块不用调用gzip命令,减少了程序占用的线程数量,可以有效的降低load。
下面是一个例子。
在写gz文件时,最好使用PerlIO::gzip模块。这个模块不用调用gzip命令,减少了程序占用的线程数量,可以有效的降低load。
下面是一个例子。
#! /usr/bin/env perl use strict; use warnings; use List::Util; use FileHandle; use PerlIO::gzip; my %fh; my @a=(1..100); for(my $i=1;$i<=100;$i++){ open $fh{$i}, ">:gzip", "x.$i.gz"; #open ($fh{$i},"|gzip > x.$i.gz"); #此行是不推荐的写法 } for(my $i=0;$i<1e9;$i++){ my @b=List::Util::shuffle @a; my $x=$b[0]; $fh{$x}->print("@b\n"); } foreach my $i(keys %fh){ close $fh{$i}; }
相关文章推荐
- java中RandomAccessFile 类对文件进行读写
- Java使用jxl对excel文件进行简单的读写
- ini文件读写,适合大量输出。
- python对文件进行读写操作
- perl,读取所需文件的路径,然后打开相应的文件,并对文件中的DNA序列进行计数,substr函数对长字符串的片段化处理功能
- 用C语言进行BMP文件的读写
- 从哪些方面对Android文件读写进行测试?
- java进行文件读写操作详解
- 对项目配置文件app.comfig进行读写操作
- linux下如何知道一个文件被哪个进程进行读写
- 【实战】多台NFS客户机挂载同一台NFS服务器时,每台客户机都能对共享文件进行读写操作 推荐
- 用功能强大的Perl读写Excel文件
- [Visual C++系列]3.5 利用序列化进行文件读写
- perl读写文件和命令行解析
- Fileatream表示文件流,它能够打开和关闭文件,并对文件进行单字节的读写操作。 StreamReader和StreamWriter以文本方式对流进行读写操作。建立一个文本文件,分别使用上面两种方
- java中RandomAccessFile 类对文件进行读写
- perl简单读写文件
- Java 如何对文件进行多个Object对象流的读写操作
- Java中通过输入输出流进行文件的读写
- perl 读写文件