已解決:beautifulsoup抓取中文內(nèi)容亂碼的問(wèn)題

lnzfm

網(wǎng)上很多資料說(shuō)soup設(shè)置gb18030編碼可以解決亂碼問(wèn)題，可是我的代碼仍然出中萬(wàn)能現(xiàn)亂碼，誰(shuí)能幫我分析下原因


# -*- coding: utf-8 -*-
import urllib2
import sys
from BeautifulSoup import BeautifulSoup
req = urllib2.Request("http://www.aizhan.com/siteall/www.ip138.com/")
f = urllib2.urlopen(req)
#content = f.read().decode('UTF-8').encode('GBK')  //網(wǎng)頁(yè)抓取內(nèi)容，顯示中文正常
content = f.read()
soup = BeautifulSoup(content,fromEncoding="gb18030") //使用gb18030編碼問(wèn)題仍沒(méi)解決
for gg in soup.findAll('div',{'class':'box_17'})[1]:
          print  gg

wenhq

BeautifulSoup(content.decode('gb2312','ignore'))  試試這個(gè)

lnzfm

回復(fù) 1# lnzfm

抱歉，還是不行

   

lnzfm

我明白了
表面上看起來(lái)從BeautifulSoup解析后得到的soup，打印出來(lái)是亂碼，但是實(shí)際上其本身已經(jīng)是，正確的（從原始的GB2312編碼）解析（為Unicode）后的了。
之所以亂碼，那是因?yàn)�，打印soup時(shí)，調(diào)用的是__str__，其默認(rèn)是UTF-8，所以輸出到GBK的cmd中，才顯示是亂碼。

這個(gè)帖子里分析的很詳細(xì),可供參考
http://www.crifan.com/beautifuls ... t_print_messy_code/

多謝大家