perl去除重复内容的脚本代码(重复行+数组重复字段)
假如有这样的一段序列:
1 2
1 2
2 1
1 3
1 4
1 5
4 1
我们需要得到如下的结果:
1 3
1 5
2 1
4 1
那么,请借助以下的perl脚本来实现。
代码一:
#!/bin/perl
use strict;
use warnings;
my $filename;
my %hash;
my @information;
my $key1;
my $key2;
print "please put in the file like this f:\\\\perl\\\\data.txt\n";
chomp($filename=<STDIN>);
open(IN,"$filename")||die("can not open");
while(<IN>)
{
chomp;
@information=split/\s+/,$_;
if(exists $hash{$information[0]}{$information[1]})
{
next;
}
else
{
$hash{$information[0]}{$information[1]}='A';
}
}
close IN;
open(IN,"$filename")||die("can not open");
while(<IN>)
{
@information=split/\s+/,$_;
if(exists $hash{$information[1]}{$information[0]})
{
delete $hash{$information[0]}{$information[1]}
}
else
{
next;
}
}
close IN;
open(OUT,">f:\\A_B_result.txt")||die("can not open");
foreach $key1 (sort{$a<=>$b} keys %hash)
{
foreach $key2 (sort{$a<=>$b} keys %{$hash{$key1}})
{
print OUT "$key1 $key2\n";
}
}
close OUT;
代码二:
如果有一个文件data有10G大,但是有好多行都是重复的,需要将该文件中重复的行合并为一行,那么我们需要用什么办法来实现
cat data |sort|uniq > new_data #该方法可以实现,但是你需要花上好几个小时。结果才能出来。
下面是一个使用perl脚本来完成此功能的小工具。原理很简单,创建一个hash,每行的内容为键,值由每行出现的次数来填充,脚本如下;
#!/usr/bin/perl
# Author :CaoJiangfeng
# Date:2011-09-28
# Version :1.0
use warnings;
use strict;my %hash;
my $script = $0; # Get the script namesub usage
{
printf("Usage:\n");
printf("perl $script <source_file> <dest_file>\n");}
# If the number of parameters less than 2 ,exit the script
if ( $#ARGV+1 < 2) {&usage;
exit 0;
}
my $source_file = $ARGV[0]; #File need to remove duplicate rows
my $dest_file = $ARGV[1]; # File after remove duplicates rowsopen (FILE,"<$source_file") or die "Cannot open file $!\n";
open (SORTED,">$dest_file") or die "Cannot open file $!\n";while(defined (my $line = <FILE>))
{
chomp($line);
$hash{$line} += 1;
# print "$line,$hash{$line}\n";
}foreach my $k (keys %hash) {
print SORTED "$k,$hash{$k}\n";#改行打印出列和该列出现的次数到目标文件
}
close (FILE);
close (SORTED);
代码三:
通过perl脚本,删除数据组中重复的字段
#!/usr/bin/perl
use strict;
my %hash;
my @array = (1..10,5,20,2,3,4,5,5);
#grep 保存符合条件的元素
@array = grep { ++$hash{$_} < 2 } @array;
print join(" ",@array);
print "\n";
您可能感兴趣的文章:
- 去除文件中重复行,保序perl代码。
- js 合并 数组,并去除重复的内容
- perl脚本去除文件中重复数据
- 【探讨】寻求去除数据库字段中存放重复内容的最佳方法
- 【求助】寻求去除数据库字段中存放重复内容的最佳方法
- Perl数组去除重复元素
- js 高效去除数组重复元素示例代码
- 两段Perl脚本代码(数组应用与say用法)
- js 高效去除数组重复元素示例代码
- Perl寻找去除数组中重复元素
- Perl寻找去除数组中重复元素
- java:去除数组重复内容
- 算法:C#数组去除重复元素算法研究
- 一道Javascript面试题,去除数组中的重复数字,大家看看我的做法是否正确
- 去除数组中重复元素
- 去除数组中的重复数据
- Dynamics CRM EntityCollection 根据实体中的某个字段为依据去除重复数据
- java 去除数组重复数据,并输出重复数据值
- Sqlserver更新数据表xml类型字段内容某个节点值的脚本
- 【LeetCode题目记录-10】已排序的数组去除重复元素