python gzip MemoryError 問題

pywlfk

coinlogroot = r'd:\test.log.gz'
f = gzip.open(coinlogroot, 'rb')
報(bào)錯(cuò)：
  File "C:\Python25\lib\gzip.py", line 297, in _add_read_data
    self.extrabuf = self.extrabuf + data
MemoryError
這個(gè)文件有好幾個(gè)G。

a515200

我以前寫的代碼，你如果是要做gzip檢測(cè)可以用到它

1. #coding:utf-8
   
2. 
   
3. 
   
4. import urllib2
   
5. import StringIO,gzip,re
   
6. from time import ctime
   
7. 
   
8. MANZZBD_PPURLGF = 'http://.+?\..+?\..+'
   
9. URLXFPE_RAWORDV = "http://"
   
10. WORSPA_SOZGVERT = "http://www."
    
11. urlroot=urllib2.HTTPHandler(debuglevel=1)
    
12. opener = urllib2.build_opener(urlroot)
    
13. 
    
14. 
    
15. class VaurlpathzxcrError(BaseException) : pass
    
16. class MrhandirzkanrError(VaurlpathzxcrError) : pass
    
17. 
    
18. 
    
19. 
    
20. class URLrOotavrManroot:
    
21.    
    
22.      def __init__(self,lower):
    
23.      
    
24.          self.lower = lower
    
25.          self.pack  = False
    
26.          self.data  = False
    
27.          self.cgix  = False
    
28.          self.inurlSpcltGagdg()
    
29.          self.sooRrootManseek()
    
30.          self.vuiBichuHworldn()
    
31.       
    
32. 
    
33. 
    
34.    #發(fā)送gzip壓縮請(qǐng)求
    
35.      def inurlSpcltGagdg(self):
    
36.          valchar = urllib2.Request(self.lower,
    
37.                 headers={'Accept-encoding':'gzip'})
    
38.          self.cgix = opener.open(valchar).read()
    
39.       
    
40. 
    
41. 
    
42.    #解壓gzip文件
    
43.      def sooRrootManseek(self):
    
44.          self.pack = self.cgix
    
45.          passdir = StringIO.StringIO(self.pack)
    
46.          gzipper = gzip.GzipFile(fileobj=passdir)
    
47.          self.data = gzipper.read()
    
48. 
    
49. 
    
50.    #壓縮前后進(jìn)行對(duì)比
    
51.      def vuiBichuHworldn(self):
    
52.          if len(self.data) is len(self.cgix):
    
53.             raise VaurlpathzxcrError("Don't support the link")
    
54.          else:
    
55.             print "The current time %s" % ctime()
    
56. 
    
57. 
    
58. 
    
59.                                                                                           
    
60. class URLcossNoruermoher:
    
61.      def __init__(self,hasrrt):
    
62.         if   not WORSPA_SOZGVERT in hasrrt:
    
63.              hasrrt = WORSPA_SOZGVERT + hasrrt
    
64.         if   not URLXFPE_RAWORDV in hasrrt:
    
65.              hasrrt = URLXFPE_RAWORDV + hasrrt
    
66.         if   re.findall(MANZZBD_PPURLGF,hasrrt):
    
67.              self.seek = URLrOotavrManroot(hasrrt)
    
68.         else:
    
69.              raise MrhandirzkanrError('url requirements specification')
    
70.       
    
71.    
    
72. 
    
73. def main():
    
74.      URLcossNoruermoher('http://www.gov.cn/')
    
75. 
    
76. 
    
77. if __name__=="__main__":
    
78.      main()
    
79. 
    
80.    
    
81.          
    

復(fù)制代碼

pywlfk

謝謝了，我就是想解壓本地的一個(gè)日志文件了，沒有那么復(fù)雜。

pywlfk

自己頂一下