簡(jiǎn)單的rss閱讀工具

jinxiaoliang

RSS閱讀，訂閱網(wǎng)址在main.py的Producer中
多線程部分參考了http://python.jobbole.com/81690/ 的帖子

rss分析器

1. #!usr/bin/env python
   
2. # -*- coding:UTF-8 -*-
   
3. 
   
4. import re
   
5. from lxml import etree
   
6. from bs4 import BeautifulSoup as sp
   
7. import requests
   
8. import urllib2
   
9. import StringIO
   
10. 
    
11. import sys
    
12. reload(sys)
    
13. sys.setdefaultencoding("utf-8")
    
14. 
    
15. headers={'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}
    
16. 
    
17. def urlread(url):
    
18.     try:
    
19.         req=requests.get(url,headers=headers)
    
20.         req.encoding="utf-8"
    
21.         return req.text.encode("utf-8")
    
22.     except:
    
23.         req=urllib2.Request(url,headers=headers)
    
24.         response=urllib2.urlopen(req)
    
25.         return response.read().encode("utf-8")
    
26.             
    
27. class Item:
    
28.     def __init__(self,title,link,date,description):
    
29.         self.title=title.strip()
    
30.         self.link=link.strip()
    
31.         self.pubDate=date.strip()
    
32.         self.decription=self.filter(description).strip()
    
33.          
    
34.     def filter(self,description):
    
35.         description=re.sub("<.*?>",'',description)
    
36.         description=re.sub("\r",'',description)
    
37.         description=re.sub("\n",'',description)
    
38.         description=re.sub("&nbsp;"," ",description)
    
39.         if len(description)>240:
    
40.             description=description[:240]+'...'
    
41.         return description        
    
42. 
    
43.     def __str__(self):
    
44.         return "%s\n%s\n%s\n<%s>\n" % (
    
45.                 self.title,
    
46.                 self.link,
    
47.                 self.decription,
    
48.                 self.pubDate
    
49.                 )
    
50.          
    
51.     __repr__=__str__
    
52.      
    
53. class BSParser(object):
    
54.     #url=''
    
55.     def __init__(self,url):
    
56.         xml=urlread(url)
    
57.         self.reset(xml)
    
58.          
    
59.     def reset(self,xml=None):
    
60.         if xml==None:
    
61.             self.soup=sp("<xml> </xml>")
    
62.         else:
    
63.             self.soup=sp(xml,"xml")
    
64. 
    
65.     def callback(self,method,obj,tags):
    
66.         rst=None
    
67.         attr=method.lower()
    
68. 
    
69.         for tag in tags:
    
70.             try:
    
71.                 rst=getattr(obj,attr)(tag)
    
72.             except:
    
73.                 continue
    
74.             if rst:
    
75.                 break
    
76.         return rst
    
77. 
    
78.     def getfields(self,tags=["item",'entry']):
    
79.         return self.callback(method="FIND_ALL",
    
80.                             obj=self.soup,
    
81.                             tags=tags)
    
82.             
    
83.     def gettitle(self,obj,tags=["title"]):
    
84.         return self.callback("FIND",obj,tags).text
    
85.          
    
86.     def getlink(self,obj,tags=["link"]):      
    
87.         rst=self.callback("FIND",obj,tags).text
    
88.         if not rst:           
    
89.             rst=self.callback("FIND",obj,tags).get("href")
    
90.         return rst
    
91.          
    
92.     def getdate(self,obj,tags=["pubDate","published"]):
    
93.         return self.callback("FIND",obj,tags).text
    
94.          
    
95.     def getdescription(self,obj,tags=["description","content"]):        
    
96.         return self.callback("FIND",obj,tags).text
    
97.      
    
98.     def run(self):
    
99.         for item in self.getfields():
    
100.             title=self.gettitle(item)
     
101.             link=self.getlink(item)
     
102.             date=self.getdate(item)
     
103.             description=self.getdescription(item)
     
104.             newsitem=Item(title,link,date,description)
     
105.             yield newsitem
     
106. 
     
107. def test():
     
108.     parser=Parser()
     
109.     for item in parser.run():
     
110.         print item
     
111.          
     
112. if __name__=="__main__":
     
113.     test()

復(fù)制代碼

多線程運(yùn)行

1. #!usr/bin/env python
   
2. #coding=utf8
   
3. 
   
4. import threading
   
5. #import time
   
6. import rss
   
7. import Queue
   
8. #import requests
   
9. import output
   
10. from Tkinter import END
    
11. 
    
12. 
    
13. import sys
    
14. reload(sys)
    
15. sys.setdefaultencoding( "utf-8" )
    
16. 
    
17. 
    
18. class Manual:
    
19.     def __init__(self):
    
20.         self.results=[]
    
21.         self.lock=threading.RLock()
    
22. 
    
23.     def put(self,results):
    
24.         self.lock.acquire()
    
25.         self.results.append(results)
    
26.         self.lock.release()
    
27. 
    
28. class Consumer(threading.Thread):
    
29.     def __init__(self,queue,manual):
    
30.         threading.Thread.__init__(self)
    
31.         self._queue=queue
    
32.         self.manual=manual
    
33.         #self.parser=parser
    
34. 
    
35.     def run(self):
    
36.         while True:
    
37.             feed=self._queue.get()
    
38.             if feed=="quit":
    
39.                 break
    
40.             for item in rss.BSParser(feed).run():
    
41.                 self.manual.put(item)
    
42. 
    
43. def Producer():
    
44. 
    
45.     queue=Queue.Queue()
    
46.     manual=Manual()
    
47. 
    
48.     feeds=['http://rss.cnbeta.com/rss',
    
49.         "http://www.36kr.com/feed",
    
50.         #"http://www.ftchinese.com/rss/feed",
    
51.         "http://python.jobbole.com/feed",
    
52.         "http://feed.cnblogs.com/blog/sitecateogry/python/rss",
    
53.         "http://feed.yeeyan.org/select",
    
54.         "http://blog.sina.com.cn/rss/1286528122.xml"
    
55.         ]
    
56. 
    
57.     worker_threads=build_worker_pool(queue,manual,4)
    
58. 
    
59.     for feed in feeds:
    
60.         queue.put(feed)
    
61.      
    
62.     for item in worker_threads:
    
63.         queue.put("quit")
    
64. 
    
65.     for worker in worker_threads:
    
66.         worker.join()
    
67.         
    
68.     return manual.results
    
69. 
    
70. def build_worker_pool(queue,manual,size):
    
71. 
    
72.     workers=[]
    
73.     for _ in range(size):
    
74.         worker=Consumer(queue,manual)
    
75.         worker.start()
    
76.         workers.append(worker)
    
77.     return workers
    
78. 
    
79. if __name__=="__main__":
    
80.     rst=Producer()
    
81.     outputlist=[str(item) for item in rst]
    
82.     tk=output.OutputBoard()
    
83.     tk.insert(END,outputlist)
    
84.     tk.mainloop()

復(fù)制代碼

TK輸出顯示界面

1. #!usr/bin/env python
   
2. #coding=utf-8
   
3. 
   
4. from Tkinter import *
   
5. from ScrolledText import ScrolledText
   
6. 
   
7. class TextBoard(ScrolledText):
   
8.     def __init__(self,parent):
   
9.         ScrolledText.__init__(self,parent)
   
10.         self.bind("<Control-Key-a>", self.selectText)         # 快捷鍵
    
11.         self.bind("<Control-Key-A>", self.selectText)         # 快捷鍵
    
12.          
    
13.     def selectText(self,event):
    
14.         self.tag_add(SEL,'1.0',END)
    
15.         return 'break'
    
16.          
    
17. class OutputBoard:
    
18.     def __init__(self):
    
19.         self.tk=Tk()
    
20.         #self.tk.pack()
    
21.          
    
22.         self.TBoard=TextBoard(self.tk)
    
23.         self.TBoard.pack(expand=YES, fill=BOTH)         #mark here,ScrolledText欄隨窗口大小變化
    
24.          
    
25.     #def insert(self,pos,text):
    
26.     #   method=getattr(self.TBoard,'insert')
    
27.     #  method(pos,text)
    
28.      
    
29.     def __getattr__(self,attr):
    
30.         return getattr(self.TBoard,attr)
    
31. 
    
32.     def insert(self,pos,obj):
    
33.         objparser=ObjParser()
    
34.         self.TBoard.insert(pos,objparser.run(obj))      
    
35. 
    
36. class ObjParser:
    
37.      
    
38.     stack=[]
    
39.     intend=' '*4
    
40.      
    
41.     def line_intend(self,level=0):
    
42.         if not self.stack:
    
43.             return self.intend*level
    
44.         else:
    
45.             return "\n"+self.intend*level
    
46.          
    
47.     def parse(self,obj,level=0):
    
48.         if obj is None:
    
49.             self.stack.append('')
    
50.         elif isinstance(obj,(int,float,long)):
    
51.             self.stack.append(str(obj))
    
52.         elif isinstance(obj,str):
    
53.             self.stack.append(obj)
    
54.         elif isinstance(obj,(list,tuple)):
    
55.             self.parse_list(obj,level)
    
56.         elif isinstance(obj,dict):
    
57.             self.parse_dict(obj,level)
    
58.             
    
59.     def parse_list(self,obj,level):
    
60.         level+=1
    
61.         for item in obj:
    
62.             if isinstance(item,(tuple,list)):
    
63.                 self.stack.append(self.line_intend(level)+"\t".join(item))
    
64.             else:
    
65.                 self.parse(item,level)
    
66.                 self.stack.append('\n')
    
67.         self.stack.append(self.line_intend(level-1))
    
68.          
    
69.     def parse_dict(self,obj,level):
    
70.         level+=1
    
71.         for k,v in obj:
    
72.             self.stack.append(self.line_intend(level)+str(k)+":")
    
73.             self.parse(v,level)
    
74.             self.stack.append(",")
    
75.         self.stack.append(self.line_intend(level-1))
    
76.          
    
77.     def run(self,obj):
    
78.         self.parse(obj,0)
    
79.         return ''.join(self.stack)

復(fù)制代碼