抓取淘寶產(chǎn)品簡介頁面時遇到的問題，求解！謝謝！

sx98083714

1. #!/usr/bin/perl
   
2. 
   
3. use strict;
   
4. use URI;
   
5. use Web::Scraper;
   
6. use utf8;
   
7. use LWP;
   
8. use Encode;
   
9. use HTML::TokeParser;
   
10. use HTTP::Cookies;
    
11. 
    
12. #將輸出自動解碼為utf8格式
    
13. binmode(STDOUT,":encoding(utf8)");
    
14. 
    
15. #抓取url
    
16. my $url = "http://meilibody.taobao.com/?search=y";
    
17. 
    
18. #定義抓取產(chǎn)品列表表達式
    
19. my $scraper = scraper{
    
20.     process ".permalink","links[]" => { "url" => '@href',"txt" => 'TEXT' };
    
21. };
    
22. 
    
23. my $result = $scraper -> scrape (URI -> new($url) );
    
24. 
    
25. #抓取產(chǎn)品url、標題
    
26. for my $row ( @{ $result -> { links } } ){
    
27.    
    
28.     my $purl = $row -> { "url" };
    
29.     my $ptxt = $row -> { "txt" };
    
30.    
    
31.     #調(diào)用函數(shù)抓取產(chǎn)品詳細內(nèi)容
    
32.     my $pcontent = &getcontent($purl);
    
33.    
    
34.     print "content:",$pcontent,"\n";
    
35.     sleep 10;
    
36.    
    
37. }
    
38. 
    
39. #獲取單個產(chǎn)品詳細資料
    
40. sub getcontent() {
    
41.    
    
42.     #抓取產(chǎn)品url
    
43.     my $url = shift;
    
44.    
    
45.     my $browser = LWP::UserAgent -> new;
    
46.     $browser -> cookie_jar ( { } );
    
47.     $browser -> timeout ( 500 );
    
48.    
    
49.     my $response = $browser -> get ($url,
    
50.                                     'User-Agent' => 'Mozilla/5.0 (X11; U; Linux i686; zh-CN; rv:1.9.0.12) Gecko/2009072711 CentOS/3.0.12-1.el5.centos Firefox/3.0.12',
    
51.                                     'Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    
52.                                     'Accept-Language' => 'zh-cn,zh;q=0.5',
    
53.                                     'Accept-Charset' => 'gb2312,utf-8;q=0.7,*;q=0.7',
    
54.                                     'Referer' => 'http://meilibody.taobao.com/?search=y',
    
55.                                     );
    
56.     #獲取單個產(chǎn)品網(wǎng)頁內(nèi)容
    
57.     my $content = $response -> content;
    
58.     #網(wǎng)頁內(nèi)容為utf8編碼
    
59.     $content = decode ( 'gbk' , $content);
    
60.    
    
61.     my $stream = HTML::TokeParser -> new (\$content);
    
62.    
    
63.     #1表示找到內(nèi)容簡介的起始處
    
64.     my $find = 0;
    
65.     #產(chǎn)品簡介html代碼
    
66.     my $pcontent = "";
    
67.    
    
68.     while ( my $token = $stream -> get_token ){
    
69.         
    
70.         #產(chǎn)品簡介部分結(jié)束，將標記歸0,跳出循環(huán)
    
71.         if ( $find == 1 and $token -> [0] eq 'S' and $token -> [1] eq 'script') {
    
72.             $find = 0;
    
73.             last;
    
74.         }
    
75.         
    
76.         if ( $find == 0 and $token -> [0] eq 'S' and $token -> [1] eq 'div' and $token -> [2] -> {class} eq "content" ){
    
77.             #找到產(chǎn)品簡介起始，將標記置為1
    
78.             $find = 1;
    
79.             $pcontent .= $token -> [4];
    
80.         }elsif ( $find == 1  and $token -> [0] eq 'S' ){
    
81.             $pcontent .= $token -> [4];
    
82.         }elsif ( $find == 1 and $token -> [0] eq 'E'){
    
83.             $pcontent .= $token -> [2];
    
84.         }elsif ( $find == 1 and $token -> [0] eq 'T'){
    
85.             $pcontent .= $token -> [1];
    
86.         }elsif ( $find == 1 and $token -> [0] eq 'C'){
    
87.             $pcontent .= $token -> [1];
    
88.         }elsif ( $find == 1 and $token -> [0] eq 'D'){
    
89.             $pcontent .= $token -> [1];
    
90.         }
    
91.     }
    
92.    
    
93.     return $pcontent;
    
94.    
    
95. }

復制代碼

匹配應該是沒有問題，但是抓取到的產(chǎn)器簡介是“描述加載中....",看了似乎產(chǎn)品簡介是通過js來得到的，過往神仙如何解決這一問題？謝謝！

sx98083714

自已先頂下！

sx98083714

如果我的實現(xiàn)方法有問題，希望有高手能提供更好的方法，謝謝先！

Pro_sky

人家是后臺ajax調(diào)用獲取的,真實的url不是你看到的那個

sx98083714

回復 4# Pro_sky
可有解？

sx98083714

sx98083714

不信頂不來大牛支招。怪了，看到好多windows下的淘寶店鋪克隆工具，別人是如何整的？

sx98083714

嘿嘿，找到辦法了。試踐中。

iamlimeng

淘寶在頁面的寶貝詳情、評價詳情、成交記錄等處是使用Ajax來獲取數(shù)據(jù)，并未將數(shù)據(jù)直接嵌入在主頁面中。

看了一下HTML源碼，它是將數(shù)據(jù)作為JS的一個變量嵌入到JS中，該JS隨主頁面下載到本地瀏覽器的緩存中，在需要嵌入該數(shù)據(jù)的地方通過JS事件調(diào)用，如鼠標點擊等。在數(shù)據(jù)嵌入處都有相關(guān)JS代碼，難度也不大，分析一下，順藤摸瓜就能獲得想要的原始數(shù)據(jù)。

樓主在現(xiàn)有代碼基礎上稍加改動即可實現(xiàn)。

x9x9

頂一下，也需要這個，有結(jié)果希望能分享~