請(qǐng)教各位大俠一個(gè)關(guān)于beautifulsoup的奇怪的問(wèn)題

qxhgd

      1、我把一個(gè)網(wǎng)頁(yè)保存為html，然后用beautifulsoup去分析。
      結(jié)果發(fā)現(xiàn)，通過(guò)封裝的函數(shù)buildSoupFromStr(content)調(diào)用會(huì)報(bào)錯(cuò)，
      直接使用BeautifulSoup(content,fromEncoding="GBK")則不會(huì)。

      2、另外，請(qǐng)教各位大俠，如果抓取一個(gè)網(wǎng)頁(yè)的文本部分，除了正則、beautifulsoup、還有比較好的辦法嗎？
       感覺(jué)beautifulsoup也不太方便。

  
報(bào)錯(cuò)內(nèi)容如下：

1. Traceback (most recent call last):
   
2.   File "C:\Program Files\Python27\code\hanhan.py", line 29, in <module>
   
3.     buildSoupFromStr(content)
   
4.   File "C:\Program Files\Python27\code\hanhan.py", line 20, in buildSoupFromStr
   
5.     soup = BeautifulSoup(content,fromEncoding)
   
6.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1522, in __init__
   
7.     BeautifulStoneSoup.__init__(self, *args, **kwargs)
   
8.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1147, in __init__
   
9.     self._feed(isHTML=isHTML)
   
10.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1189, in _feed
    
11.     SGMLParser.feed(self, markup)
    
12.   File "C:\Program Files\Python27\lib\sgmllib.py", line 104, in feed
    
13.     self.goahead(0)
    
14.   File "C:\Program Files\Python27\lib\sgmllib.py", line 174, in goahead
    
15.     k = self.parse_declaration(i)
    
16.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1463, in parse_declaration
    
17.     j = SGMLParser.parse_declaration(self, i)
    
18.   File "C:\Program Files\Python27\lib\markupbase.py", line 109, in parse_declaration
    
19.     self.handle_decl(data)
    
20.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1448, in handle_decl
    
21.     self._toStringSubclass(data, Declaration)
    
22.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1379, in _toStringSubclass
    
23.     self.endData()
    
24.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1251, in endData
    
25.     (not self.parseOnlyThese.text or \
    
26. AttributeError: 'str' object has no attribute 'text'

復(fù)制代碼

全部代碼如下：

1. # -*- coding: cp936 -*-
   
2. from sys import *
   
3. from BeautifulSoup import *
   
4. 
   
5. 
   
6. def getContent(filename):
   
7.     try:
   
8.         file_object = open(filename, 'r')
   
9.     except IOError:  
   
10.         print 'Can not find file'
    
11.         return -1
    
12.     try:
    
13.         content = file_object.read( )
    
14.     finally:
    
15.         file_object.close( )
    
16.     return content
    
17. 
    
18. def buildSoupFromStr(content,fromEncoding="GBK"):
    
19.     print type(content)
    
20.     soup = BeautifulSoup(content,fromEncoding)
    
21.     #return soup
    
22. 
    
23.    
    
24. if __name__ == '__main__':
    
25.     content = getContent('han.html')
    
26.     #print content
    
27.     if -1 == content:
    
28.         print 'error happen'
    
29.     buildSoupFromStr(content)
    
30.     #BeautifulSoup(content,fromEncoding="GBK")
    
31.    
    
32. 
    

復(fù)制代碼

timespace

1.bs默認(rèn)是UTF-8，如果真實(shí)頁(yè)面是其它編碼（ASCII除外），就會(huì)報(bào)錯(cuò)。在參數(shù)設(shè)置事先知道的編碼方式。
2. bs支持多種API，比如CSS selector就比較方便，前提是要了解CSS selector的語(yǔ)法�？傮w來(lái)看，HTML/XML結(jié)構(gòu)化文檔的解析工作都是比較繁瑣復(fù)雜，沒(méi)什么捷徑。

qxhgd

timespace 發(fā)表于 2014-05-31 19:31
1.bs默認(rèn)是UTF-8，如果真實(shí)頁(yè)面是其它編碼（ASCII除外），就會(huì)報(bào)錯(cuò)。在參數(shù)設(shè)置事先知道的編碼方式。
2. b ...

謝謝大俠！
關(guān)于1，我直接調(diào)用沒(méi)有報(bào)錯(cuò)，但是我將參數(shù)傳遞進(jìn)去之后就報(bào)錯(cuò)了！不是很奇怪的事情嘛！
貌似跟編碼方式無(wú)關(guān)吧！

timespace

回復(fù) 3# qxhgd
是說(shuō)調(diào)用方式啊，確實(shí)和編碼無(wú)關(guān)。知道怎么用positional參數(shù)和keyword參數(shù)嗎？改buildSoupFromStr：

1. soup = BeautifulSoup(content,fromEncoding= fromEncoding)

復(fù)制代碼

qxhgd

回復(fù) 4# timespace

按照你的修改的確正常了，多謝了！

但是我做了個(gè)測(cè)試：

1. 
   
2. def func2(a,b):
   
3.     print 'a is ',a,',b is',b
   
4. 
   
5. def func1(a,b=5):
   
6.     func2(a,b)
   
7. 
   
8. func1(3,4)
   

復(fù)制代碼

最終打印結(jié)果：
a is  3 ,b is 4


沒(méi)有報(bào)錯(cuò)呢！

timespace

為什么要報(bào)錯(cuò)？bs的encoding需要keyword參數(shù)，你傳了positional參數(shù)，導(dǎo)致bs的內(nèi)部邏輯錯(cuò)誤，但不是語(yǔ)法錯(cuò)誤。

r2007

用lxml模塊，然后用xpath語(yǔ)法析出你要的數(shù)據(jù)。

qxhgd

回復(fù) 7# r2007

謝謝大神，有空試試！