菜鳥求助，關(guān)于搜索結(jié)果的抓取和處理

daishulzd

我想用使用python做一個腳本，他的功能是根據(jù)關(guān)鍵詞在 http://www.csres.com/ 這個網(wǎng)站上獲取標(biāo)準(zhǔn)的名稱和現(xiàn)狀（主要是廢止和現(xiàn)行），最好可以批量查詢。請大俠幫忙給個思路，最好能有代碼，我是用來學(xué)習(xí)的。謝謝

xtdumpling

先得到大的分類，記錄下各個子分類的地址，然后逐個獲取就好了，表的格式都是一樣。
要查詢的話，自己做個對應(yīng)數(shù)據(jù)庫

daishulzd

謝謝，可是我有點(diǎn)不太理解你的意思，能不能說的詳細(xì)一些，我現(xiàn)在主要是搞不清我獲得的內(nèi)容的格式和處理方法，我有一個獲得搜索結(jié)果的小腳本，請大俠幫忙看一下。

1. from urllib import request,parse
   
2. import re,sys
   
3. 
   
4. url = 'http://www.csres.com/s.jsp?keyword='
   
5. key = input('請輸入標(biāo)準(zhǔn)名字或關(guān)鍵字:')
   
6.    
   
7. key = parse.quote(key) #統(tǒng)一編碼成utf-8
   
8. url += key
   
9.         
   
10. mf = request.urlopen(url)
    
11. c = mf.readall()
    
12. 
    
13. c = str(c,encoding = 'utf-8')

復(fù)制代碼

daishulzd

哪位大俠過來看看呀

anonymous0502

2樓已經(jīng)指明方向了啊，剩下的是敲鍵盤的體力活。
比如從：http://www.csres.com/sort/index.jsp獲取頁面源代碼，用分析html的模塊也好用re正則表達(dá)式也好，去把你要的分類和分類對應(yīng)的url整理提取出來。然后獲取得到的大類url頁面源代碼，再去獲取下一級分類以及提取該分類對應(yīng)的url，然后就是循環(huán)去打開url一頁頁循環(huán)提取數(shù)據(jù)了。前面所有提取得到的分類頁面url是在外部大的循環(huán)里。

或者不用循環(huán)，把所有要抓取的url都整理出來，放入線程隊(duì)列，開多線程去抓取結(jié)果處理結(jié)果。

daishulzd

謝謝，我才開始學(xué)習(xí)python，所以不太理解，謝謝大俠耐心講解

anonymous0502

那還是找?guī)妆净�礎(chǔ)的書先從基礎(chǔ)的開始學(xué)吧，python簡明教程最簡單
然后再找些：核心編程，基礎(chǔ)教程之類的入門書再看看就會寫了
或者基礎(chǔ)學(xué)完直接找你感興趣的模塊了解怎么使用就可以馬上用起來了

daishulzd

恩，現(xiàn)在正在看，謝謝

lastfile

python上手好快的