perl与中文信息处理 （转载）

perl与中文信息处理

转载自 http://www.cnblogs.com/starspace/archive/2008/12/10/1351911.html

一、文件分割 

#!/usr/bin/perl
#此程序将一个大文本文件分成两个。

#以一个.txt结尾被分割文件作为参数。
#如果没有提供待分割文本，那么程序中止运行。
die if $#ARGV == -1;

#输入文件以.txt结尾，输出文件替换.txt扩展名为.out1和.out2
$outfile1 = $ARGV[0];
$outfile2 = $ARGV[0];
$outfile1 =~ s//..+$//.out1/i;
$outfile2 =~ s//..+$//.out2/i;

#打开输入输出文件以供读写
open(OUT1, "> $outfile1") or die "无法创建第一个新文件用以保存分割结果/n";
open(OUT2, "> $outfile2") or die "无法创建第二个新文件用以保存分割结果/n";

# $Line获取文件的总行数
open(TXT, $ARGV[0]) or die "无法打开被分割文件。/n";
@Lines=<TXT>;
$Lines = @Lines;
close (TXT);

# 如果行号小于总行数的一半，写入结果文件out1，大于一半，写入out2
$LineNo = 0;
open(TXT, $ARGV[0]) or die "无法打开被分割文件。/n";
while ($line = <TXT>) {
    $LineNo +=1;
    if ($LineNo < ($Lines/2+1) ) {
        print OUT1 $line;
    }
    else{
        print OUT2 $line;
        }
  }
  print "已经分割完毕！";
 
#关闭输入、输出文件
close(TXT);
close(OUT1);
close(OUT2);


sub usage
        {
        print "/n/tusage = perl edit3.pl INPUTFILE/n";
        } 

 

##############################################

二、字频统计 

#!/usr/bin/perl
#如果在文本中使用大字符集，那么将文本保存成utf-8格式。
#并将下面的注释标志去掉，同时给后面的简体中文编码语句加注释标记
#use utf8;

#使用简体中文编码，否则拆分单个汉字会出错。
use encoding "euc-cn";

#如果不提供待统计文本，退出程序
die if $#ARGV == -1;

#打开待统计文件
open(TXT, $ARGV[0]) or die "无法打开待统计文件。/n";

#哈希表，用于存放“汉字=>频率值”对。
%frequency = ();

#读取每一行，用chomp()删除句末换行符，否则会出错。
#用split函数将字符串分割为每一个汉字。每找到一个汉字，该字频率加1。
while($string = <TXT>){
    chomp($string);
    foreach $character (split //, $string) {
    $frequency{$character}++;
}
}

#打印统计结果。
print "字频统计结果是： /n";

while ( ($k,$v) = each %frequency ) {
print "$k => $v/n";
}

#排序后打印结果。
print "字频统计结果是（由小到大排序后）： /n";

@character = sort {$frequency{$a} <=> $frequency{$b} }( keys %frequency);
foreach $character (@character){
    print "$character => $frequency{$character}/n";
}

####################################################

三、回文

#从一个词表中查找回文,或者从古诗中查找回文诗。
#!/usr/bin/perl
use encoding "euc-cn";
open(TXT, $ARGV[0]) or die "无法打开词表。/n";

#用reverse()函数将一个词颠倒，用eq操作符作比较，去掉双音重迭词。
while($word = <TXT>){
    chomp ($word);
    if ($word eq reverse ($word) && length($word)> 2){
        print "$word/n";
    }
}
 

 我用一个词表测试，找到如下的回文词。
八十八
白蛋白
背对背
背靠背
补一补
不得不
不可不
不能不
大哥大
等一等
东北东
东南东
动不动
对不对
多得多
多伦多
俄亥俄
二十二
敢不敢
各顾各
狗咬狗
国与国
好不好
会不会
记日记
肩并肩
九十九
铐手铐
克拉克
空对空
里外里
六零六
六六六
六十六
骂天骂
美不美
面对面
难上难
能不能
怕只怕
七十七
人对人
三十三
石灰石
时不时
实打实
史前史
试一试
是不是
手把手
手拉手
手牵手
手挽手
说的说
四十四
梯恩梯
文言文
五十五
心连心
心贴心
锌镀锌
惺惺惜惺惺
亚细亚
岩浆岩
要不要
一对一
一九九一
硬碰硬
有没有
愈来愈
越来越
纸盒纸
嘴对嘴