一個(gè)小測(cè)試，不明白為啥python快這么多呢？求解釋

PinkOrient

說(shuō)下背景，本人是5+年的Perl老用戶，最近對(duì)Ruby比較長(zhǎng)草，順便也了解了一下Python.
最近遇到一個(gè)需求是分析大量實(shí)時(shí)生成的csv格式話單，對(duì)性能有一定對(duì)要求。這種情況下包含了大量的讀入字符串并根據(jù)分割符做split的操作，做個(gè)對(duì)比看看3種語(yǔ)言對(duì)處理速度如何。

步驟1：寫個(gè)perl腳本產(chǎn)生50000行每行150個(gè)field對(duì)csv文件 input_file.txt

1. pink@pink-desktop:~/_perform$ perl gen_line.pl > input_file.txt
   
2. pink@pink-desktop:~/_perform$ cat gen_line.pl
   
3. #!/usr/bin/perl
   
4. #
   
5. $str="string";
   
6. for($i=1;$i<150;$i++)
   
7. {
   
8.     $st=sprintf("string%d", $i);
   
9.     $str=$str.",$st";
   
10. }
    
11. for($i=0;$i<50000;$i++)
    
12. {
    
13.     print "$str\n";
    
14. }
    

復(fù)制代碼

步驟2：perl腳本上場(chǎng)，逐行讀入，split成數(shù)組

1. $ cat split.pl
   
2. #!/usr/bin/perl
   
3. 
   
4. open(FF,"input_file.txt");
   
5. while(<FF>)
   
6. {
   
7.     @l=split/,/;
   
8.     #print $l[2],"\n";
   
9. }
   
10. close(FF);
    

復(fù)制代碼

time一下看成績(jī)：

1. pink@pink-desktop:~/_perform$ time ./split.pl
   
2. 
   
3. real        0m2.285s
   
4. user        0m2.260s
   
5. sys        0m0.024s
   

復(fù)制代碼

步驟3： ruby腳本上場(chǎng)，做一樣的操作

1. #!/usr/bin/ruby
   
2. 
   
3. a=Array.new
   
4. f=File.open("input_file.txt","r")
   
5. f.each_line do |l|
   
6.     a=l.split(/,/)
   
7.     #puts a[2]
   
8. end
   
9. f.close()
   

復(fù)制代碼

成績(jī)不是很理想：

1. pink@pink-desktop:~/_perform$ time ./split.rb
   
2. 
   
3. real        0m3.426s
   
4. user        0m3.408s
   
5. sys        0m0.008s
   

復(fù)制代碼

步驟4：python腳本上場(chǎng)，做一樣對(duì)操作

1. pink@pink-desktop:~/_perform$ cat split.py
   
2. #!/usr/bin/python
   
3. 
   
4. fobj=open("input_file.txt","r")
   
5. for eachLine in fobj:
   
6.     l = eachLine.split(',')
   
7.     #print l[2]
   
8. fobj.close()
   

復(fù)制代碼

成績(jī)讓我很意外�。�！

1. pink@pink-desktop:~/_perform$ time ./split.py
   
2. 
   
3. real        0m0.480s
   
4. user        0m0.444s
   
5. sys        0m0.032s
   

復(fù)制代碼

步驟5： 用Ruby 1.9的CSV庫(kù)，這個(gè)據(jù)說(shuō)已經(jīng)是FasterCSV了

1. pink@pink-desktop:~/_perform$ cat split_csv.rb
   
2. #!/usr/bin/ruby
   
3. 
   
4. require "csv"
   
5. 
   
6. CSV.foreach("input_file.txt") do |row|
   
7.     #puts row[2]
   
8. end
   

復(fù)制代碼

成績(jī)相當(dāng)對(duì)沒(méi)法看啊啊啊啊啊....

1. pink@pink-desktop:~/_perform$ time ./split_csv.rb
   
2. 
   
3. real        0m9.381s
   
4. user        0m9.337s
   
5. sys        0m0.024s

復(fù)制代碼

以Perl作為基準(zhǔn)來(lái)比較

Language	real	percent
Perl	2.285	100%
Ruby	3.426	149.9%
Ruby#CSV	9.381	410.5%
Python	0.480	21%

為什么Python會(huì)快這么多？求解釋

mcshell

我來(lái)解釋下。。不是split速度慢。。
我舉個(gè)別人測(cè)過(guò)的例子：

1. 
   
2. 一個(gè)文件，每行都有18項(xiàng)，各項(xiàng)之間用\t分割，使用時(shí)用到了第6項(xiàng)
   
3. 1：my @array = split("\t",$_); my $var = $array[6];   測(cè)試文件平均用時(shí)8.2s
   
4. 2. my($var) = (split("\t",$_))[6];  測(cè)試平均用時(shí)5.1s
   
5. 3. my(undef,undef,undef,undef,undef,undef,$var) = split("\t",$_); 平均用時(shí)3.53s
   
6. 4. my(undef,undef,undef,undef,undef,undef,$var) = split("\t",$_,7);平均用時(shí)3.52s
   
7. 5. my $var = (split("\t",$_,7))[6]; 平均用時(shí)3.53s
   
8. 
   

復(fù)制代碼

而你用了效率最低的

PinkOrient

回復(fù) 2# mcshell

從Perl內(nèi)部的縱向比較來(lái)看，我完全理解你的代碼所產(chǎn)生的效率差異的原因，我的代碼是全部field都保存到大數(shù)組導(dǎo)致的效率不高。
不過(guò)從橫向比較來(lái)說(shuō)，這個(gè)操作其他幾個(gè)語(yǔ)言也一樣做了，我只是想不通Python用了什么辦法讓耗時(shí)變得這么突出的。

PinkOrient

回復(fù) 2# mcshell

根據(jù)你的方法優(yōu)化后的成績(jī)，依然和python有較大對(duì)差異啊

1. pink@pink-desktop:~/_perform$ time ./split.pl
   
2. 
   
3. real        0m0.960s
   
4. user        0m0.936s
   
5. sys        0m0.020s
   
6. pink@pink-desktop:~/_perform$ cat split.pl
   
7. #!/usr/bin/perl
   
8. 
   
9. open(FF,"input_file.txt");
   
10. while(<FF>)
    
11. {
    
12.     $f2=(split/,/)[2];
    
13.     #print "$f2\n";
    
14. }
    
15. close(FF);

復(fù)制代碼

rubyish

讓我很意外啊��！

斯文牛氓

樓主應(yīng)該試試csv的模塊和unpack再來(lái)比較,python是封裝過(guò)的 ，perl看你自己怎么寫了。。。。

PinkOrient

回復(fù) 6# 斯文牛氓


我主要是想比較各個(gè)語(yǔ)言提供的標(biāo)準(zhǔn)庫(kù)，要不直接都調(diào)C擴(kuò)展了。

zhlong8

python 那個(gè) split 不是正則表達(dá)式，要想同一起跑線請(qǐng)用 re.split

kidaaaa

樓上說(shuō)出了真相，python的這個(gè)split方法內(nèi)部根本不是正則表達(dá)式。

q1208c

關(guān)注一下.
一直以為應(yīng)該是 python慢.