perl与中文信息处理 (转载)
2009-12-19 23:09
253 查看
perl与中文信息处理
转载自 /article/5042295.html一、文件分割
#!/usr/bin/perl#此程序将一个大文本文件分成两个。
#以一个.txt结尾被分割文件作为参数。
#如果没有提供待分割文本,那么程序中止运行。
die if $#ARGV == -1;
#输入文件以.txt结尾,输出文件替换.txt扩展名为.out1和.out2
$outfile1 = $ARGV[0];
$outfile2 = $ARGV[0];
$outfile1 =~ s//..+$//.out1/i;
$outfile2 =~ s//..+$//.out2/i;
#打开输入输出文件以供读写
open(OUT1, "> $outfile1") or die "无法创建第一个新文件用以保存分割结果/n";
open(OUT2, "> $outfile2") or die "无法创建第二个新文件用以保存分割结果/n";
# $Line获取文件的总行数
open(TXT, $ARGV[0]) or die "无法打开被分割文件。/n";
@Lines=<TXT>;
$Lines = @Lines;
close (TXT);
# 如果行号小于总行数的一半,写入结果文件out1,大于一半,写入out2
$LineNo = 0;
open(TXT, $ARGV[0]) or die "无法打开被分割文件。/n";
while ($line = <TXT>) {
$LineNo +=1;
if ($LineNo < ($Lines/2+1) ) {
print OUT1 $line;
}
else{
print OUT2 $line;
}
}
print "已经分割完毕!";
#关闭输入、输出文件
close(TXT);
close(OUT1);
close(OUT2);
sub usage
{
print "/n/tusage = perl edit3.pl INPUTFILE/n";
}
##############################################
二、字频统计
#!/usr/bin/perl#如果在文本中使用大字符集,那么将文本保存成utf-8格式。
#并将下面的注释标志去掉,同时给后面的简体中文编码语句加注释标记
#use utf8;
#使用简体中文编码,否则拆分单个汉字会出错。
use encoding "euc-cn";
#如果不提供待统计文本,退出程序
die if $#ARGV == -1;
#打开待统计文件
open(TXT, $ARGV[0]) or die "无法打开待统计文件。/n";
#哈希表,用于存放“汉字=>频率值”对。
%frequency = ();
#读取每一行,用chomp()删除句末换行符,否则会出错。
#用split函数将字符串分割为每一个汉字。每找到一个汉字,该字频率加1。
while($string = <TXT>){
chomp($string);
foreach $character (split //, $string) {
$frequency{$character}++;
}
}
#打印统计结果。
print "字频统计结果是: /n";
while ( ($k,$v) = each %frequency ) {
print "$k => $v/n";
}
#排序后打印结果。
print "字频统计结果是(由小到大排序后): /n";
@character = sort {$frequency{$a} <=> $frequency{$b} }( keys %frequency);
foreach $character (@character){
print "$character => $frequency{$character}/n";
}
####################################################
三、回文
#从一个词表中查找回文,或者从古诗中查找回文诗。#!/usr/bin/perl
use encoding "euc-cn";
open(TXT, $ARGV[0]) or die "无法打开词表。/n";
#用reverse()函数将一个词颠倒,用eq操作符作比较,去掉双音重迭词。
while($word = <TXT>){
chomp ($word);
if ($word eq reverse ($word) && length($word)> 2){
print "$word/n";
}
}
我用一个词表测试,找到如下的回文词。
八十八
白蛋白
背对背
背靠背
补一补
不得不
不可不
不能不
大哥大
等一等
东北东
东南东
动不动
对不对
多得多
多伦多
俄亥俄
二十二
敢不敢
各顾各
狗咬狗
国与国
好不好
会不会
记日记
肩并肩
九十九
铐手铐
克拉克
空对空
里外里
六零六
六六六
六十六
骂天骂
美不美
面对面
难上难
能不能
怕只怕
七十七
人对人
三十三
石灰石
时不时
实打实
史前史
试一试
是不是
手把手
手拉手
手牵手
手挽手
说的说
四十四
梯恩梯
文言文
五十五
心连心
心贴心
锌镀锌
惺惺惜惺惺
亚细亚
岩浆岩
要不要
一对一
一九九一
硬碰硬
有没有
愈来愈
越来越
纸盒纸
嘴对嘴
相关文章推荐
- perl对中文的处理(encode,decode) (转载)
- Perl对中文的处理问题 (转载)
- Ubuntu server 中文环境乱码问题的解决办法(转载)
- [转载]java中文问题
- perl DEV KIT 生成 exe 后中文无法用的解决方法
- (转载)SSH Secure Shell Client及PuTTY中文乱码问题、语法高亮变下划线问题解决
- (转载)PHP如何获取中文字符串长度 utf8_strlen()/mb_strlen()
- 《转载》让cocos2d-x for WP7添加中文支持
- (转载)【Perl】批量word和PPT文档转pdf
- Windows XP英文版安装中文语言包来解决无法显示中文的方法(转载)
- 通过更改字库文件组件及相关设置实现对NK进行裁剪(尤其适用中文简体系统)(转载)
- JSP中pageEncoding和charset区别,中文乱码解决方案(转载)
- IK Analyzer 3.0 中文分词器 转载
- java解压多目录Zip文件(解决中文乱码问题)--转载
- [转载]MySQL 全文搜索中文支持
- 《ArcGIS Runtime SDK for Android开发笔记》——问题集:如何解决ArcGIS Runtime SDK for Android中文标注无法显示的问题(转载)
- (转载)Windows下JetBrains CLion中文输出乱码的解决方法
- 关于perl中中文乱码的解决办法
- Learning Perl ... (转载)
- [转载]中文分词免费源码资源