抓取淘寶產(chǎn)品簡介頁面時遇到的問題，求解！謝謝！

2gua

具體得研究頁面代碼。

iamlimeng

研究了一下，寫了段代碼，希望對大家有幫助。

1. #!/usr/bin/perl
   
2. 
   
3. use strict;
   
4. #use warnings;
   
5. use LWP::UserAgent;
   
6. use LWP::ConnCache;
   
7. my $url_taobao = "http://meilibody.taobao.com/?search=y";
   
8. 
   
9. my $path = "d:/taobao";
   
10. mkdir($path) if (not -d $path);
    
11. my $lwp = new LWP::UserAgent(agent => 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; CIBA)');
    
12. my $conncache = new LWP::ConnCache;
    
13. $lwp->conn_cache($conncache);
    
14. 
    
15. my $n = 1;
    
16. my @url_main_page;
    
17. my $content = get_html($url_taobao);
    
18. if ($content) {
    
19.         $content =~ s/\n|\r//g;
    
20.          my ($page) = ($content =~ /<div class="page-bottom">(.*?)<\/div>/ig);
    
21.         @url_main_page = ($page =~ /<a href="(.*?)">\d<\/a>/ig);
    
22.          my %url_product = ($content =~ /<div class="desc"><a target="_blank" href="(.*?)" class="permalink">(.*?)<\/a>/ig);
    
23.          get_desc($_,$url_product{$_}) for (keys %url_product);
    
24. }
    
25. else { print qq~ Get "$url_taobao" error!~; }
    
26. 
    
27. foreach (@url_main_page) {
    
28.         my $content = get_html($_);
    
29.         if ($content) {
    
30.                  $content =~ s/\n|\r//g;
    
31.                  my %url_product = ($content =~ /<div class="desc"><a target="_blank" href="(.*?)" class="permalink">(.*?)<\/a>/ig);
    
32.                  get_desc($_,$url_product{$_}) for (keys %url_product);
    
33.         }
    
34.         else { print qq~ Get "$_" error!~; }
    
35. }
    
36. print "\n Get All product infomation OK!\7";
    
37. <STDIN>;
    
38. 
    
39. sub get_desc {
    
40.         my ($url,$name) = @_;
    
41.         my $url_desc;
    
42.         my $content = get_html($url);
    
43.         if ($content) {
    
44.                  $content =~ s/\n|\r//g;
    
45.                  ($url_desc) = ($content =~ /.*?(http:\/\/dsc\.taobaocdn\.com\/.*?)\'/i);
    
46.                  my $desc = get_html($url_desc);
    
47.                  if ($desc) {
    
48.                           open(FH,">$path/product_$n.txt")
    
49.                            || print " Create file product_$n.txt error!\n\7";
    
50.                            print FH "$name\n\n$desc";
    
51.                           close FH;
    
52.                           print " $n $name OK!\n";
    
53.                  }
    
54.                  else { print " $n $name Error!\n"; }
    
55.         }
    
56.         else { print qq~ $n Get "$url" error!~; }
    
57.         $n++;
    
58. }
    
59. 
    
60. sub get_html {
    
61.         my $url_request = shift;
    
62.         my $request = HTTP::Request->new(GET=>$url_request);
    
63.         $request->header(Accept=>'text/html');
    
64.         my $response = $lwp->request($request);
    
65.         if ($response->is_success) {
    
66.                 return($response->content());
    
67.         }
    
68.         else  {
    
69.                  return 0;
    
70.         }
    
71. }

復制代碼

正則寫得不太好，請大家包涵。

sx98083714

iamlimeng我愛死你了，又幫我解決了個問題，再次感謝！

zhshb8511

回復 12# iamlimeng


    27行-35行是不是不需要的？

_LoveLinux

回復 12# iamlimeng

請問大俠:

1. my ($page) = ($content =~ /<div class="page-bottom">(.*?)<\/div>/ig)

復制代碼

這段代碼是把名為page-bottom的一段內(nèi)容替代成什么呢?　正則表達式 =~ s///ig,請問是不是上面少了一個"/",我對正則表達式還不太明白,請賜教,謝謝!

xufinal

~~~

tavisdxh

樓主有實現(xiàn)的方法了嗎？
我想用Python下載寶貝的圖片，讀取出來的頁面也是“商品加載中”，沒辦法分析
QQ：329899749 求交流
回復 1# sx98083714