【分享】Perl讀取和生成、顯示UTF-8文本、UTF-16文本

paktc

    去年的時(shí)候就看了網(wǎng)上有關(guān)的一些文章。但也就是臨時(shí)需要，臨時(shí)看看。
沒有去探索究竟是咋回事。最近又翻了不少文章，做了一個(gè)小小的總結(jié)，結(jié)合了自己的觀點(diǎn)。
以下討論全部是基于windows xp平臺(tái)。

參考文章：
關(guān)于Perl對(duì)中文的處理問題
有了這篇文章我們知道以u(píng)tf-8形式保存的perl腳本，如何在屏幕上輸出我們想要的中文。

Perl Unicode全攻略
這篇就更詳細(xì)了，如何轉(zhuǎn)碼，有幾種方法，終端顯示、GUI的時(shí)候是以什么編碼輸出，應(yīng)有盡有

Perl如何創(chuàng)建一個(gè)UTF-8的文件
CSDN的一個(gè)問答貼（代碼見7樓、11樓）

在windows下讀取utf-8文本一定會(huì)遇到BOM的問題，于是下面幾個(gè)文章也少不了了：
UTF-8、BOM、<feff>的問題
「帶 BOM 的 UTF-8」和「無 BOM 的 UTF-8」有什么區(qū)別？
Windows 記事本的 ANSI、Unicode、UTF-8 這三種編碼模式有什么區(qū)別？

     好了，資料那么多，其實(shí)都輪不到我說什么。做了幾種情況下的測(cè)試，在ANSI格式下保存的perl腳本
處理utf-8文本的時(shí)候遇到了不少頭痛的問題，最后自己做了一些總結(jié)，一句話描述就是：
用ANSI格式保存的perl 如何正確顯示、讀取、生成 UTF-8格式的文本。

用"中文"兩個(gè)字作為示例，先做一個(gè)簡(jiǎn)單的解析，稍后作為參考：

1. use Encode;
   
2. $text="中文";
   
3. printf "“$text”一詞在三種狀態(tài)下的編碼數(shù)據(jù)：\n";
   
4. printf("%-25s","原GB2312編碼:");
   
5. xcode($text,'x');
   
6. printf("%-25s","根據(jù)其編碼信息，解碼為統(tǒng)一碼:");
   
7. xcode(decode('gb2312',$text),'x');
   
8. printf("%-25s","按UTF-8編碼:");
   
9. xcode(encode('utf8',decode('gb2312',$text)),'x');
   
10. print "\n";
    
11. <STDIN>;
    
12. 
    
13. #一個(gè)用來顯示編碼的函數(shù)
    
14. sub xcode {
    
15.         # xcode("string",'Mode'); Mode = x(hex), b(bin), d(int)
    
16.         for my $v ( split(//,$_[0]) ) {
    
17.                 print sprintf ("%l$_[1] ",ord($v));        
    
18.         }
    
19.         print "\n" if (!defined $_[2]);
    
20. }
    
21. 
    

復(fù)制代碼

“中文”一詞在三種狀態(tài)下的編碼數(shù)據(jù)：
原GB2312編碼:            d6 d0 ce c4
按GB2312解碼為統(tǒng)一碼:    4e2d 6587
按UTF-8編碼:             e4 b8 ad e6 96 87

$data=decode('gb2312',$text) 對(duì) $text 解碼成 “統(tǒng)一碼” 到 $data （參考 http://zh.wikipedia.org/wiki/Unicode）
這個(gè)過程就像有一個(gè)八進(jìn)制的數(shù)字要轉(zhuǎn)為十六進(jìn)制，我們暫時(shí)先轉(zhuǎn)到十進(jìn)制，然后再轉(zhuǎn)十六進(jìn)制。
為什么不直接轉(zhuǎn)呢？只因?yàn)槲覀兿胍�先知道這個(gè)數(shù)在我們熟悉的形式是怎么樣的，讓我們有一個(gè)清楚的對(duì)照。

"寫"的操作 （腳本用ANSI文本形式保存）

1. use Encode;
   
2. #生成utf-8文本
   
3. 
   
4. #正確的方法1
   
5. open WRT,">:utf8","UTF-8 1.txt";
   
6. print WRT decode('gb2312',"中文");  #通過decode解碼為“統(tǒng)一碼”
   
7. close WRT;                             #然后perl以:utf8形式寫入文本時(shí)幫我們將“統(tǒng)一碼”轉(zhuǎn)為UTF-8編碼
   
8. 
   
9. #錯(cuò)誤示例
   
10. open WRT,">:utf8","UTF8 ERR.txt";
    
11. print WRT "中文";                   #此時(shí)"中文"的編碼還是GB2312的形式
    
12. close WRT;                          #perl將其當(dāng)做“中間數(shù)據(jù)”直接轉(zhuǎn)為utf8將得到錯(cuò)誤的結(jié)果
    
13. 
    
14. #正確的方法2
    
15. open WRT,">:raw","UTF8 2.txt";
    
16. print WRT encode("utf-8",decode('gb2312',"中文"));  #用:raw模式，直接以UTF-8編碼的形式寫入。
    
17. close WRT;
    

復(fù)制代碼

用notepad打開三種方法輸出的文本顯示如下：


    也就是說，要讓perl輸出時(shí)做出正確的轉(zhuǎn)換，先要把數(shù)據(jù)轉(zhuǎn)化為 “通用” 的數(shù)據(jù)。
或者就干脆不要讓perl幫你做轉(zhuǎn)換，自己用函數(shù)編碼出正確的UTF-8格式的“中文”編碼，
并以:raw 形式寫入文本。

下面是讀取、在終端輸出的操作：（腳本以ANSI格式保存）
錯(cuò)誤的示例：

1. use Encode;
   
2. 
   
3. open READ,"<:utf8","UTF-8 1.txt";
   
4. $text=<READ>;
   
5. print $text;
   
6. close READ;
   
7. <STDIN>;

復(fù)制代碼

原本的中文被顯示為：涓 枃 并提示wide character。
      原因是perl用<:utf8 模式讀取的時(shí)候，分析了utf-8編碼并轉(zhuǎn)碼為“統(tǒng)一碼”：
0x4e2d 0x6587，在cmd終端上顯示需要再編碼為GB2312格式。把print $text 改
為 print encode('gb2312',$text);就可以顯示正確的結(jié)果

      或者用<:raw模式讀入，得到的是UTF-8編碼的數(shù)據(jù)，
先 decode('utf-8',$text) 轉(zhuǎn)到中間數(shù)據(jù)  然后再將返回的結(jié)果encode('gb2312', ... 并打印到終端

1. 
   
2. use Encode;
   
3. 
   
4. open READ,"<:raw","UTF-8 1.txt";
   
5. $text=<READ>;
   
6. print encode('gb2312',decode('utf-8',$text));
   
7. close WRT;
   
8. <STDIN>;
   

復(fù)制代碼

windows下讀取帶BOM（\xef\xbb\xbf 位于文件頭）的UTF-8文本
方法有幾種：
一、"<:raw"模式讀入文本數(shù)據(jù)，去掉\xef\xbb\xbf 對(duì)剩下的數(shù)據(jù)轉(zhuǎn)碼。
二、用 <:utf8模式讀取（<:raw讀取后進(jìn)行decode也行） perl不會(huì)幫你去掉\xef\xbb\xbf
而是像對(duì)待所有文本一樣，對(duì)其轉(zhuǎn)碼，變成了\x{feff} ，這個(gè)時(shí)候去掉\xfe\xff 就是了。

1. use Encode;
   
2. 
   
3. #第一種方法
   
4. open FILE, "<:raw","UTF-8 with BOM.txt";
   
5. $raw=<FILE>;
   
6. $raw=~s/\xef\xbb\xbf//;
   
7. print encode('gb2312',decode('utf-8',$raw));
   
8. close FILE;
   
9. 
   
10. #第二種方法A
    
11. open FILE, "<:utf8","UTF-8 with BOM.txt";
    
12. $data=<FILE>;
    
13. $data=~s/\x{feff}//;
    
14. print encode('gb2312',$data);
    
15. close FILE;
    
16. 
    
17. #第二種方法B
    
18. open FILE, "<:raw","UTF-8 with BOM.txt";
    
19. $raw=<FILE>;
    
20. $data=decode('utf-8',$raw);
    
21. $data=~s/\x{feff}//;
    
22. print encode('gb2312',$data);
    
23. close FILE;
    
24. <STDIN>;

復(fù)制代碼

2013-12-30
補(bǔ)充，以上所說的“統(tǒng)一碼”，請(qǐng)參考 http://zh.wikipedia.org/wiki/Unicode

2013-12-31
讀windows下的unicode文本（UTF-16）
這里一定會(huì)遇到BOM，參考這篇文章：
Unicode簽名bom
         所謂的unicode保存的文件實(shí)際上是utf-16，只不過恰好跟unicode的碼相同而已,
    在概念上unicode與utf是兩回事，unicode是內(nèi)存編碼表示方案，而utf是如何保存和
    傳輸unicode的方案。

示例文本unicode.txt（另存的時(shí)候選unicode）

• 中國(guó)制造
• 第二行
  

第一行的編碼是：ff fe 2d 4e fd 56 36 52 20 90 d 0 a   
第二行的編碼是：0 2c 7b 8c 4e 4c 88
(ff fe 就是文件頭，BOM)

decode('utf-16',$uni_str) 的時(shí)候和處理UTF-8的時(shí)候是不一樣的。它會(huì)幫你去掉BOM。
所以不需要手動(dòng)去掉\xFF\xFE ，在處理文本第二行的時(shí)候提示
UTF-16:Unrecognised BOM 2c ……　  因?yàn)榈诙�行是不帶BOM信息的，所以
把全文合并到一個(gè)變量中，做一次處理就可以得到正確的結(jié)果

mcshell

這個(gè)不錯(cuò)  支持下

yinyuemi

Mark~                                    

seufy88

支持一下。

pitonas

支持 {:2_172:}

paktc

這里咨詢大家一個(gè)問題，
在嘗試寫UTF-16BE文本的時(shí)候，\r\n 寫入文本后，編碼總是不正確。
其他字符比如 tab 都正常，這個(gè)問題如何解決？

代碼保存為ANSI格式

1. use Encode;
   
2. open WRT,'>:encoding(utf-16)','encoding[utf-16].txt' or die "$!";
   
3. print WRT decode('gb2312',"中        文\r\n");      # 1
   
4. close WRT;

復(fù)制代碼

好像是activeperl的問題？在ubuntu寫了個(gè)腳本(用utf-8格式保存的)，

1. 
   
2. #!/usr/bin/perl -s
   
3. use Encode;
   
4. chdir "~/桌面";
   
5. open WRT,">encoding(UTF-16):crlf","new.x";
   
6. print WRT decode('utf-8',"中文\n");
   
7. close WRT;
   

復(fù)制代碼

生成的txt文件復(fù)制到windows查看，換行正常。
同樣的腳本復(fù)制到windows執(zhí)行，行尾就變成了兩個(gè)黑色符號(hào)。
……

Using :encoding and :crlf together?
The :crlf PerlIO layer doesn't like the :encoding layer.

在這里找到了最終答案 關(guān)鍵詞 "perl  write utf-16 text crlf"
Writing a Unicode file via perl ...
http://blogs.msdn.com/b/brettsh/archive/2006/06/07/620986.aspx

hztj2005

留個(gè)記號(hào)，備用。
雖然用處理過許多中文文件，但有些東西記不住，經(jīng)常折騰好半天才解決。

zhouzhen1

支持一下。