python自動抓取網頁圖片問題

wulien88

有時候會經常瀏覽某個網站的圖片，一個一個點擊下載太慢了，于是想用python寫個自動腳本下載，使用urllib,urllib2,sgmllib模塊，分析網頁內容使用
opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
page = opener.open(self.url).read()
可以通過sgmllib.SGMLParser分析出超鏈接，然后使用正則表達式獲取圖片的地址，但問題是，比如一個網頁上命名有一個圖片，但是在網頁源碼中卻看不到這個圖片的鏈接，使用chrome的審查元素可以查看到，但是查看網頁源碼里面卻沒有，求高手指點一二。

linux_c_py_php

是js設置的圖片地址, 樓主看一下js代碼分析一下來源吧, 可能地址不在js里寫死, 都是ajax拉回來的, 還需要多一次請求.

crifan

如果網頁源碼中找不到，那么就屬于所謂的動態(tài)內容，是由其他，常常是javascript腳本，所生成的；
那么需要你利用工具：
【教程】手把手教你如何利用工具(IE9的F12)去分析模擬登陸網站(百度首頁)的內部邏輯過程
去分析出對應的邏輯：
【整理】關于抓取網頁，分析網頁內容，模擬登陸網站的邏輯/流程和注意事項
此處即你所需要的圖片的url。
然后再參考：
【教程】模擬登陸網站 之 Python版（內含兩種版本的完整的可運行的代碼）
去寫出你自己的代碼，去下載對應的圖片。

wulien88

crifan 發(fā)表于 2012-11-30 14:35
如果網頁源碼中找不到，那么就屬于所謂的動態(tài)內容，是由其他，常常是javascript腳本，所生成的；
那么需要 ...

非常感謝crifan，我已經到你的網站上拜讀了幾篇大作，關于 “【整理】關于抓取網頁，分析網頁內容，模擬登陸網站的邏輯/流程和注意事項”， 但是對于如何抓取動態(tài)網頁還是沒有個整體印象，能不能舉個例子，先謝了~

crifan

wulien88 發(fā)表于 2012-12-03 15:56
非常感謝crifan，我已經到你的網站上拜讀了幾篇大作，關于 “【整理】關于抓取網頁，分析網頁內容，模擬登 ...

剛寫了：

                                
【教程】如何抓取動態(tài)網頁內容

【教程】以抓取網易博客帖子中的最近讀者信息為例，手把手教你如何抓取動態(tài)網頁中的內容

【整理】網頁抓取，模擬登陸，抓取動態(tài)網頁內容等過程中，所涉及的Headers信息，Cookie信息，POST數(shù)據的處理邏輯


暫時沒寫完，會抽空補充完整的。