奔潰中，請(qǐng)教一個(gè)關(guān)于perl腳本模式匹配的問(wèn)題

x9x9

逛街時(shí)發(fā)現(xiàn)的一根骨頭！呵呵！
[轉(zhuǎn)帖] 用Perl抓取ip138獲取手機(jī)歸屬地的幾個(gè)問(wèn)題
[code]
光頭研 ...
tempo8 發(fā)表于 2011-08-07 20:28

光頭研究生？不解~
topsage論壇連這個(gè)都轉(zhuǎn)？既然轉(zhuǎn)的話也要注明出處嘛~

x9x9

  這個(gè)是x9x9 大俠的作品吧，大俠的ID被曝光了。

真正的大俠都去忙著把妹去了，只有小蝦在這里做練習(xí)。{:3_205:}

查看了hao123這個(gè)網(wǎng)頁(yè)的源代碼，其中包含如下這么一段，也就是說(shuō)，查詢實(shí)際調(diào)用的是網(wǎng)址：, 由該 ...
yhyhh 發(fā)表于 2011-08-06 22:21

樓主好像沒(méi)仔細(xì)看我85樓的內(nèi)容了~

用json的返回?cái)?shù)據(jù)寫了一個(gè)，樓主可以試下是否有查詢數(shù)量限制。
因?yàn)榉祷氐膉son數(shù)據(jù)很短，用正則也是可以獲取，這里還是用了JSON::XS模塊進(jìn)行解析。

1. use strict;
   
2. use warnings;
   
3. use LWP::UserAgent;
   
4. use Encode;
   
5. use JSON::XS;
   
6. 
   
7. my $url='http://vip.showji.com/locating/?outfmt=json&m=';
   
8. 
   
9. while (<DATA>) {
   
10. chomp;
    
11. my $link=$url.$_;
    
12. my $cont=get_html("$link", "Accept-language" => "zh-cn", 'Accept-Charset' => 'utf-8', );
    
13. my $pref=decode_json $cont;
    
14. print $pref->{'QueryResult'} eq 'True'?"$_\t@{[T($pref->{'Province'})]} @{[T($pref->{'City'})]}\n":"$_\t無(wú)此數(shù)據(jù)！\n";
    
15. }
    
16. 
    
17. sub get_html {
    
18.   my $browser = LWP::UserAgent->new(  );
    
19.   $browser->agent('Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)');
    
20.   my $resp = $browser->get(@_);
    
21.   return ($resp->content, $resp->status_line, $resp->is_success,$resp) if wantarray;
    
22.   return unless $resp->is_success;
    
23.   return $resp->content;
    
24. }
    
25. 
    
26. sub T {
    
27. my $text=shift;
    
28. return encode('gb2312',$text);
    
29. }
    
30. 
    
31. 
    
32. __DATA__
    
33. 18810340688
    
34. 18810040188
    
35. 15932344334
    
36. 18703883394
    
37. 15901055555
    
38. 13245875555

復(fù)制代碼

yhyhh

真正的大俠都去忙著把妹去了，只有小蝦在這里做練習(xí)。




樓主好像沒(méi)仔細(xì)看我85樓的內(nèi) ...
x9x9 發(fā)表于 2011-08-08 11:21

    小女子測(cè)試過(guò)了，測(cè)試結(jié)果如下：
test_ipcheck_v6.pl：
case01: 給了6個(gè)手機(jī)號(hào)碼數(shù)據(jù),返回結(jié)果正常，手機(jī)號(hào)碼+歸屬地
case02: 給了另外6個(gè)數(shù)據(jù)，返回結(jié)果中第6個(gè)數(shù)據(jù)顯示只有歸屬地，沒(méi)有號(hào)碼。
case03: 隨意替換這第6個(gè)數(shù)據(jù)，返回結(jié)果中始終只顯示歸屬地而不顯示號(hào)碼，像是這個(gè)問(wèn)題一旦出現(xiàn)，不能恢復(fù)，哪怕你替換成了別的號(hào)碼
case04: 不刪除第6個(gè)數(shù)據(jù)，增加同一個(gè)號(hào)碼作為第7個(gè)數(shù)據(jù)進(jìn)行測(cè)試，返回結(jié)果第6個(gè)數(shù)據(jù)僅僅顯示歸屬地，而第7個(gè)數(shù)據(jù)完整顯示：號(hào)碼+歸屬地。 需要指出：第6個(gè)數(shù)據(jù)和第7個(gè)數(shù)據(jù)號(hào)碼完全相同。
case05：刪除第6個(gè)數(shù)據(jù)，返回結(jié)果正常，手機(jī)號(hào)碼+歸屬地。
case06：在DATA中加入兩個(gè)空行，返回結(jié)果報(bào)錯(cuò)，錯(cuò)誤如下：
malformed JSON string, neither array, object, number, string or atom, at character offset 0 ["\x{feff}<!DOCTYPE ht..."]
at C:\Practice\Perl\test_ipcheck_v6.pl line 13, <DATA> line 7.
需要指出：這個(gè)應(yīng)該是我可以避免的，沒(méi)必要給空數(shù)據(jù)進(jìn)行查詢的，或者也許我不太清楚DATA應(yīng)該有的格式，本身它就不允許這樣子給空數(shù)據(jù)。這個(gè)姑且不算問(wèn)題吧。

test_ipcheck_v7.pl：
case01: 給了25個(gè)數(shù)據(jù)，返回結(jié)果只包含歸屬地，只有最后一個(gè)查詢結(jié)果有手機(jī)號(hào)碼。
case02: 給了50個(gè)數(shù)據(jù)，返回結(jié)果只包含歸屬地，只有最后一個(gè)查詢結(jié)果有手機(jī)號(hào)碼。
case03: 給了100個(gè)數(shù)據(jù)，返回結(jié)果只包含歸屬地，只有最后一個(gè)查詢結(jié)果有手機(jī)號(hào)碼。
case04: 給了300個(gè)數(shù)據(jù)，返回結(jié)果只包含歸屬地，只有最后一個(gè)查詢結(jié)果有手機(jī)號(hào)碼。
case05: 給了500個(gè)數(shù)據(jù)，返回結(jié)果只包含歸屬地，只有最后一個(gè)查詢結(jié)果有手機(jī)號(hào)碼。


總結(jié)： 一是：會(huì)發(fā)生無(wú)法顯示號(hào)碼，只顯示歸屬地的問(wèn)題，這個(gè)問(wèn)題較嚴(yán)重了。
          二是：看起來(lái)500以內(nèi)的號(hào)碼查詢，都不會(huì)被服務(wù)器封殺掉。從原理上深入思考了一下，關(guān)于由“http://www.showji.com/”提供的手機(jī)號(hào)碼歸屬地在線查詢系統(tǒng)，互聯(lián)網(wǎng)茫茫人海中將有多少人在“同一時(shí)刻"內(nèi)進(jìn)行該項(xiàng)操作，從server那一端是無(wú)法預(yù)估的，而它作為其他網(wǎng)站可以去調(diào)用的通用接口，更需要支持越多客戶端連接性能越好，也即同一時(shí)刻大基數(shù)群查詢的即時(shí)響應(yīng)；而ip138網(wǎng)站一樣，只是給連接到該網(wǎng)站的用戶查詢使用，設(shè)置了防刷機(jī)制。由此看來(lái)，兩個(gè)網(wǎng)站雖然提供的是同一種服務(wù)，殊途同歸，但從用戶體驗(yàn)角度分析，卻千差萬(wàn)別，根源是兩者在web service這個(gè)美麗的外衣之下的底層架構(gòu)不一樣，所應(yīng)用之技術(shù)也不同罷，僅僅猜測(cè)，若是不正確，望指正，小女子也學(xué)習(xí)一下。
           三是： 非常非常之感謝 ”x9x9“ 仁兄，給以耐心，細(xì)致，周到的解答，幫助小女子解了燃眉之急，受益匪淺。感謝perl論壇，眾壇友積極的捧場(chǎng)，讓此貼子未能作”泰坦尼克號(hào)”狀沉沒(méi)下去，感謝版主老人家把小女子所回復(fù)之內(nèi)容從屏蔽狀態(tài)撤出使之又得以重現(xiàn)天光，推進(jìn)問(wèn)題解決。如若眾位捧場(chǎng)之人來(lái)SH，愿請(qǐng)吃飯以致謝意。




C:\Practice\Perl>test_ipcheck_v6.pl
18810340688     北京 北京
18810040188     北京 北京
15932344334     河北 張家口
18703883394     河南 鄭州
15901055555     北京 北京
13245875555     江蘇 南京

C:\Practice\Perl>test_ipcheck_v6.pl
18810340688     北京 北京
18810040188     北京 北京
15932344334     河北 張家口
18703883394     河南 鄭州
15901055555     北京 北京
        黑龍江 伊春
13845875555     黑龍江 伊春


C:\Practice\Perl>test_ipcheck_v6.pl
18810340688     北京 北京
18810040188     北京 北京
15932344334     河北 張家口
18703883394     河南 鄭州
15901055555     北京 北京
        黑龍江 伊春
malformed JSON string, neither array, object, number, string or atom, at character offset 0 ["\x{feff}<!DOCTYPE ht..."]
at C:\Practice\Perl\test_ipcheck_v6.pl line 13, <DATA> line 7.

C:\Practice\Perl>

C:\Practice\Perl>test_ipcheck_v7.pl
        江蘇 無(wú)錫
        江蘇 無(wú)錫
        江蘇 無(wú)錫
        江蘇 無(wú)錫
        江蘇 南京
        江蘇 南京
        江蘇 南京
        江蘇 鎮(zhèn)江
        江蘇 鎮(zhèn)江
        河北 邯鄲
        河北 石家莊
        河北 保定
        河北 張家口
        河北 邢臺(tái)
        河北 邢臺(tái)
        河北 保定
        河北 滄州
        河北 邢臺(tái)
        河北 邢臺(tái)
        河北 邯鄲
        河北 石家莊
        河北 保定
        河北 保定
        河北 保定
1340025 河北 保定

x9x9

小女子測(cè)試過(guò)了，測(cè)試結(jié)果如下：
test_ipcheck_v6.pl：
case01: 給了6個(gè)手機(jī)號(hào)碼數(shù)據(jù),返回結(jié)果 ...
yhyhh 發(fā)表于 2011-08-08 12:55

不顯示號(hào)碼可能因?yàn)槭怯?_變量顯示號(hào)碼的，而不是從結(jié)果里獲取的，想少提取一個(gè)變量多少提高點(diǎn)效率。這回改成從返回結(jié)果提取了。
至于空行加個(gè)判斷就可以了�；蛘呷绻�不是數(shù)字也跳到下一行。這個(gè)你完全可以自己補(bǔ)充。
既然樓主好人品，還是把改寫的貼一下 ：）

1. use strict;
   
2. use warnings;
   
3. use LWP::UserAgent;
   
4. use Encode;
   
5. use JSON::XS;
   
6. 
   
7. my $url='http://vip.showji.com/locating/?outfmt=json&m=';
   
8. 
   
9. while (<DATA>) {
   
10. 
    
11. #先對(duì)數(shù)據(jù)進(jìn)行點(diǎn)預(yù)處理
    
12. 
    
13. s/\s+//g;  #去除不必要的空格
    
14. next if /^$/;  #如果是空行，跳到下一行
    
15. next if /[^\d]/; #如果包含非數(shù)字，跳到下一行
    
16. 
    
17. chomp;
    
18. my $link=$url.$_;
    
19. my $cont=get_html("$link", "Accept-language" => "zh-cn", 'Accept-Charset' => 'utf-8', );
    
20. my $pref=decode_json $cont;
    
21. print $pref->{'QueryResult'} eq 'True'?"$pref->{'Mobile'}\t@{[T($pref->{'Province'})]} @{[T($pref->{'City'})]}\n":"$pref->{'Mobile'}\t無(wú)此數(shù)據(jù)！\n";
    
22. }
    
23. 
    
24. sub get_html {
    
25.   my $browser = LWP::UserAgent->new(  );
    
26.   $browser->agent('Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)');
    
27.   my $resp = $browser->get(@_);
    
28.   return ($resp->content, $resp->status_line, $resp->is_success,$resp) if wantarray;
    
29.   return unless $resp->is_success;
    
30.   return $resp->content;
    
31. }
    
32. 
    
33. sub T {
    
34. my $text=shift;
    
35. return encode('gb2312',$text);
    
36. }
    
37. 
    
38. 
    
39. __DATA__
    
40. 18810340688
    
41. 18810040188
    
42. 15932344334
    
43. 
    
44. 
    
45. 18703883394
    
46. 15901055555
    
47. 
    
48. 
    
49. 13245875555

復(fù)制代碼

flw

能隨意變換照片，說(shuō)明確實(shí)乃本人也，沒(méi)有做貍貓換太子之事，由此也可顯示小女子以誠(chéng)心示人之決心 ...
yhyhh 發(fā)表于 2011-08-04 10:02

那得看是隨誰(shuí)的意，如果是自說(shuō)自話，那找一個(gè)套圖挨著貼不就完了？

得我說(shuō)什么，你就帖什么，這樣才有難度。

ttcn_cu

從請(qǐng)教一個(gè)問(wèn)題到整個(gè)作業(yè)都寫好了

Perl版真是越來(lái)越有活力了

yhyhh

不顯示號(hào)碼可能因?yàn)槭怯?_變量顯示號(hào)碼的，而不是從結(jié)果里獲取的，想少提取一個(gè)變量多少提高點(diǎn)效率。這 ...
x9x9 發(fā)表于 2011-08-08 13:21

     “x9x9” 兄臺(tái)鼎立相助他人于困難之際，幫人幫到底，一以貫之，宅心仁厚，德藝雙馨，實(shí)乃為人之一楷模也，請(qǐng)隔空受小女子鞠躬之禮。

yhyhh

那得看是隨誰(shuí)的意，如果是自說(shuō)自話，那找一個(gè)套圖挨著貼不就完了？

得我說(shuō)什么，你就帖什么，這樣才有 ...
flw 發(fā)表于 2011-08-08 14:19

    君子坦蕩蕩，小人常戚戚，若是舉著掛羊頭之名而行賣狗肉之實(shí)，豈非玩弄眾壇友于鼓掌之中了？一經(jīng)查證，一人啐一口水定當(dāng)可在頃刻之間將小女子淹滅于此，此等魯莽之事是萬(wàn)般不敢有那個(gè)膽子去做的了。二則，版主的地盤小女子可真做不了主啊，否則又要累受被刪帖之罪了。小女子來(lái)此板塊是虛心求教問(wèn)題，并與諸位共同探討學(xué)習(xí)之的，絕無(wú)欺世惑眾之心，呵呵，不知是否有壇友愿意跳出來(lái)，借用時(shí)下最流行的一句話為小女子證明一下照片屬實(shí)：“不管你信不信，我反正是信了�！�

yhyhh

從請(qǐng)教一個(gè)問(wèn)題到整個(gè)作業(yè)都寫好了

Perl版真是越來(lái)越有活力了
ttcn_cu 發(fā)表于 2011-08-08 21:15

    兄臺(tái)，讀書和學(xué)習(xí)是在別人的思想和知識(shí)的幫助下，建立起自己的思想和知識(shí)，流水不腐，戶樞不蠹，若能嗅到越來(lái)越有活力的氣息，那亦傳遞出徘徊此板塊之壇友心境愈顯年輕的氣息，尚且不論生理年齡如何，肉體永遠(yuǎn)比思想老的快呀。師傅領(lǐng)進(jìn)門，修行看個(gè)人，小女子曾言語(yǔ)在先，希望與perl之緣分，能如細(xì)水長(zhǎng)流，慢慢學(xué)習(xí)，慢慢摸索，慢慢總結(jié)，慢慢提高，慢慢步入正軌，諸君共勉。

tempo8

一江南才女忽悠一批仙子來(lái)啦！
伶牙俐齒，古靈精怪！
還有些許的咄咄逼人！傷不起？
真想不揭，追問(wèn)不止！

真給我們PERL社區(qū)長(zhǎng)臉！
“不管你信不信，反正我是信了。”

保持隊(duì)形�。�
[技巧] 使用Perl hash來(lái)分析大量數(shù)據(jù)！
對(duì)每周、月對(duì)日志進(jìn)行匯總，統(tǒng)計(jì)出按天、接時(shí)段(每天24小時(shí))、按地區(qū)(省或直轄市)統(tǒng)計(jì)出wap和client用戶的訪問(wèn)量和用戶數(shù)(即使多次訪問(wèn)按統(tǒng)計(jì)要求算做一次。

還行？還用得上！
若然！放狗搜！