perl去除重复内容的脚本代码(重复行+数组重复字段)实用指南-45看点

平时做技术实践时，很多问题不是概念不会，而是细节没串起来。拿“perl去除重复内容的脚本代码(重复行+数组重复字段)”来说，它看着像小点，放到项目里常会牵出环境、配置、兼容性和维护成本。下面按实际采用顺序，把思路、关键写法和容易踩坑的地方讲清楚，便于大家直接对照操作。

假如有这样的一段序列：
1 2
1 2
2 1
1 3
1 4
1 5
4 1
我们需得到如下所示的结果：
1 3
1 5
2 1
4 1
那么，请借助以下的perl脚本来实现。

代码一：

复制代码代码如下所示:

#!/bin/perl
use strict; 
use warnings; 
my $filename; 
my %hash; 
my @information; 
my $key1; 
my $key2; 
print "please put in the file like this f:\\\\perl\\\\data.txt\n"; 
chomp($filename=); 
open(IN,"$filename")||die("can not open"); 
while() 
{ 
 chomp; 
 @information=split/\s+/,$_; 
 if(exists $hash{$information[0]}{$information[1]}) 
 { 
 next; 
 } 
 else 
 { 
 $hash{$information[0]}{$information[1]}='A'; 
 } 
 } 
 close IN; 
 open(IN,"$filename")||die("can not open"); 
 while() 
 { 
 @information=split/\s+/,$_; 
 if(exists $hash{$information[1]}{$information[0]}) 
 { 
 delete $hash{$information[0]}{$information[1]} 
 } 
 else 
 { 
 next; 
 } 
 } 
 close IN; 
 open(OUT,">f:\\A_B_result.txt")||die("can not open"); 
 foreach $key1 (sort{$a<=>$b} keys %hash) 
 { 
 foreach $key2 (sort{$a<=>$b} keys %{$hash{$key1}}) 
 { 
 print OUT "$key1 $key2\n"; 
 } 
 } 
close OUT; 

代码二：

结合项目来看，若有一个文件data有10G大，但是有好多行都是重复的，需将该文件中重复的行合同时为一行，那么我们需用什么办法来实现
实际处理时，cat data |sort|uniq > new_data #该方法能够完成，但是你需花上好几个小时。结果才能出来。
结合项目来看，下面是一个采用perl脚本来完成此功能的小工具。原理很轻松，新建一个hash，每行的内容为键,值由每行出现的次数来填充，脚本如下所示;

复制代码代码如下所示:

#!/usr/bin/perl
# Author :CaoJiangfeng
# Date:2011-09-28
# Version :1.0
use warnings;
use strict;

my %hash;
my $script = $0; # Get the script name

sub usage
{
printf("Usage:\n");
printf("perl $script \n");

}

# If the number of parameters less than 2 ,exit the script
if ( $#ARGV+1 < 2) {

&usage;
exit 0;
}

my $source_file = $ARGV[0]; #File need to remove duplicate rows
my $dest_file = $ARGV[1]; # File after remove duplicates rows

open (FILE,"<$source_file") or die "Cannot open file $!\n";
open (SORTED,">$dest_file") or die "Cannot open file $!\n";

while(defined (my $line = ))
{
chomp($line);
$hash{$line} += 1;
# print "$line,$hash{$line}\n";
}

foreach my $k (keys %hash) {
print SORTED "$k,$hash{$k}\n";#改行打印出列和该列出现的次数到目标文件
}
close (FILE);
close (SORTED);

代码三：

借助perl脚本，删除数据组中重复的字段

复制代码代码如下所示:

#!/usr/bin/perl
use strict;
my %hash;
my @array = (1..10,5,20,2,3,4,5,5);
#grep 保存符合条件的元素
@array = grep { ++$hash{$_} < 2 } @array;
print join(" ",@array);
print "\n";

您可能感兴趣的文章:

PERL脚本学习笔记
Perl5 OOP学习笔记
perl脚本实现限制ssh最大登录次数（兼容白名单）
Perl采用Tesseract-OCR实现验证码识别教程
perl与shell拿到昨天、明天或多天前的日期的代码
为Java程序员准备的10分钟Perl教程
perl批量查询ip归属地的方法代码
在Perl中采用Getopt::Long模块来接收用户命令行参数
perl中单行注释和多行注释采用介绍
perl脚本学习指南--读书笔记