學習與分享——Python自動化運維

圣西羅門柱

1.你是如何學習Python的？看書？看視頻？還是？
買了一本python學習手冊第4版，看了倆月，略有入門。其他就是根據(jù)自己的需求在網(wǎng)上搜相關的資源了。

2.你工作中有用到Python嗎？主要用來做什么？
python主要是抓取cacti的監(jiān)控圖，因為每周要把監(jiān)控圖匯總成文檔。

3.你覺得Python跟其他腳本語言比優(yōu)勢在哪？
python相對于shell來講，可用的庫更多，更加的靈活

4.談談Python在自動化運維中的應用。
可以利用python進行批處理，對大數(shù)據(jù)也有幫助

5.給出一個你自己寫的Python腳本（最好有詳細注釋）
當時為朋友寫的一個抓菜譜的程序，url可以改成批量，寫的不好，見諒，求星辰大神賜書！

1. #encoding=utf-8
   
2. import urllib2
   
3. import re
   
4. import smtplib
   
5. from email.mime.text import MIMEText
   
6. from email.mime.multipart import MIMEMultipart
   
7. ''''A=[]
   
8. B=[]
   
9. page='您訪問的頁面不存在'''
   
10. '''url='http://home.meishichina.com/recipe-192222.html'''
    
11. 
    
12. def menu(url):
    
13.     A=[]
    
14.     B=[]
    
15.     page='您訪問的頁面不存在'
    
16.     try:
    
17.         headers={'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
    
18.         res=urllib2.Request(url,headers=headers)
    
19.         response=urllib2.urlopen(res).read()
    
20.         #print response
    
21.         #Python正則匹配中文
    
22.         ############################
    
23.         context=re.search(ur"[\u4e00-\u9fa5]+",response.decode('utf-8'))#Python正則匹配中文
    
24.    
    
25.         #print context.group(0)
    
26.         #############################
    
27.         if context.group(0)==page:
    
28.             print 'Page not found!'
    
29.             #<h2 class="recipe_De_title"><a href="#" id="recipe_title">烤孜然排骨</a></h2>  
    
30.         else :
    
31.             resultname=re.findall(ur'<h2 class="recipe_De_title"><a href="#" id="recipe_title">([\u4e00-\u9fa5]+)</a></h2>',response.decode('utf-8'))
    
32.             for i in resultname:
    
33.                 name=i.encode('utf-8')
    
34.                 name=name.encode('cp936')
    
35.         
    
36.         
    
37.                 resultcontent=re.findall(ur'<li><span class="category_s1">([\u4e00-\u9fa5]+)</span><span class="category_s2">\(.*\)</span></li>',response.decode('utf-8'))
    
38.                 for m in resultcontent:
    
39.                     content=m.encode('utf-8')
    
40.                     A.append(m.encode('utf-8'))
    
41.       
    
42.         
    
43.                 resultcook=re.findall(ur'<li><span class="category_s1">([\u4e00-\u9fa5]+)</span></li>',response.decode('utf-8'))
    
44.                 for v in resultcook:
    
45.                     cook=v.encode('utf-8')
    
46.             
    
47.                 resultstep=re.findall(ur'<div class="recipeStep_word">(.*)</div>',response)
    
48.                 for x in resultstep:
    
49.                     B.append(x.encode('utf-8'))
    
50.             
    
51.         
    
52.         
    
53.                 file=open('D:\\Program\\menu\\'+name+'.txt','w')
    
54.                 n=0
    
55.                 file.write('食材\n'+'-'*10+'\n')
    
56.                 while n<len(A):
    
57.             
    
58.                     file.write(A[n]+'\n')
    
59.                     n+=1
    
60.                 else:
    
61.                     file.write("-"*10+"\n廚具\n")
    
62.                     file.write(cook)
    
63.                     file.write('\n'+'-'*10+'\n')
    
64.                     #file.write("-"*10+"\n制作步驟\n")
    
65.             
    
66.         
    
67.             
    
68.             
    
69.         
    
70.                 m=0
    
71.                 while m<len(resultstep):
    
72.                     file.write(B[m]+'\n')
    
73.                     m+=1
    
74.                 else:
    
75.                     file.close()
    
76.     except urllib2.HTTPError as e:
    
77.         print e.code
    
78.         
    
79. 
    
80. def sendmail(to_list,sub,result):
    
81.     headers={'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
    
82.     res=urllib2.Request(url,headers=headers)
    
83.     response=urllib2.urlopen(res).read()      
    
84.     resultname1=re.findall(ur'<h2 class="recipe_De_title"><a href="#" id="recipe_title">([\u4e00-\u9fa5]+)</a></h2>',response.decode('utf-8'))
    
85.     for i in resultname1:
    
86.         name=i.encode('utf-8')
    
87.         name=name.encode('cp936')
    
88.    
    
89. 
    
90.     me=mail_user+"<"+mail_user+"@"+mail_postfix+">"
    
91. 
    
92.     '''msg = MIMEText(result)'''
    
93.     #創(chuàng)建一個帶附件的實例
    
94.     msg = MIMEMultipart()
    
95. 
    
96.     #構造附件1
    
97.     att1 = MIMEText(open('D:\\Program\\menu\\'+name+'.txt', 'rb').read(), 'base64', 'gb2312')
    
98.     att1["Content-Type"] = 'application/octet-stream'
    
99.     #att1["Content-Disposition"] = 'attachment; filename="stock.txt"'#這里的filename可以任意寫，寫什么名字，郵件中顯示什么名字
    
100.     att1["Content-Disposition"] = 'attachment; filename="menu.txt"'
     
101.     msg.attach(att1)
     
102. 
     
103.     msg['Subject'] = sub
     
104.     msg['From'] = me
     
105.     msg['To'] = ";".join(to_list)
     
106.     try:
     
107.         s = smtplib.SMTP()
     
108.         s.connect(mail_host)
     
109.         s.login(mail_user,mail_pass)
     
110.         s.sendmail(me, to_list, msg.as_string())
     
111. 
     
112.         s.close()
     
113.         return True
     
114.     except Exception, e:
     
115.         print str(e)
     
116.         return False
     
117. 
     
118. if __name__=='__main__':
     
119.     url='http://home.meishichina.com/recipe-192222.html'
     
120.     result=menu(url)
     
121.    
     
122.     mailto_list=["。。。。@qq.com",'。。。。@qq.com']
     
123.     #####################
     
124. 
     
125.     mail_host="smtp.126.com"
     
126.     mail_user="。。。"
     
127.     mail_pass="。。。"
     
128.     mail_postfix="126.com"
     
129.     sendmail( mailto_list,"menu",result)

復制代碼

yestreenstars

回復 50# blackold

感謝黑哥支持~{:3_193:}
   

niao5929

回復 42# yestreenstars
體會不深，維護級別的，不過覺得PYTHON真的很棒。當年關注它就是首先它是個真正的自由開源語言。這樣不會被過度的商業(yè)化而失去科學該有的自由和開放。所以才覺得好好學學的。包括GO語言也是這樣。我個人一直推崇使用真正的自由開源軟件和系統(tǒng)。從用戶安全的角度來看，自由開源軟件和系統(tǒng)給用戶提供了更高的安全級，因為代碼的開放，我們可以反向工程出這些代碼的作用，也知道了計算機系統(tǒng)所有的行為。這些在閉源系統(tǒng)中是沒有的。


   

luomahu22

1.你是如何學習Python的？看書？看視頻？還是？
開始學習是由于任務緊急，報了個線上視頻班，速度快但是學的不深入，后來就抱著《簡明python教程》，看一些模塊代碼。
2.你工作中有用到Python嗎？主要用來做什么？目的是把現(xiàn)有日常運維繁雜的工作釋放出來，做了一套線上自動發(fā)布系統(tǒng)，把發(fā)布任務外發(fā)到測試部門
3.你覺得Python跟其他腳本語言比優(yōu)勢在哪？
比起shell優(yōu)勢是socket編程，大量現(xiàn)成模塊可以用，可以方便地實現(xiàn)shell完成不了的事情
4.談談Python在自動化運維中的應用。
我們主要用在自動化發(fā)布系統(tǒng)中C/S通信
5.給出一個你自己寫的Python腳本（最好有詳細注釋）。
#! /usr/bin/env python
'''
先拷貝需要備份的文件，再壓縮文件
'''
import os
import os.path
import sys
import shutil
import time

### 需要備份的文件start
source = '/www'

config = ['.vimrc',
          '/etc/profile']

data = ['java',
        'web_server',
        'NFS']

all = config + data
### 需要備份的文件end
def copy_file(source, target_dir):
    '對比文件，如果目標文件不存在或者還是源文件新，則拷貝或覆蓋文件。'

    # 如果路徑有前綴 '/'，則先將其去除。
    target = os.path.join(target_dir,
                          source[:1] == '/' and source[1:] or source)
    if not os.path.exists(target):
        dir, name = os.path.split(target)
        if not os.path.exists(dir):
            os.makedirs(dir)
        shutil.copy(source, target)
        print 'Backup', source
    elif os.path.getmtime(source) > os.path.getmtime(target):
        shutil.copy(source, target)
        print 'Backup', source

def copy_dir(top, target_dir):
    '遞歸地利用 copy_file 函數(shù)進行文件夾的拷貝。'

    for root, dirs, files in os.walk(top):
        for file in files:
            filepath = os.path.join(root, file)
            copy_file(filepath, target_dir)
if __name__ == '__main__':
    if (len(sys.argv) == 2 and sys.argv[1] != '-m') or len(sys.argv) > 2:
        print '''
Usage: backup.py [-m]
       加入 -m 參數(shù)則將 tar 文件移動到 /BACK_UP 分區(qū)中。'''
        sys.exit(1)

    # 臨時存放需要備份的文件，便于打包。
    tmp_dir = 'backup'

    # 備份文件的保存路徑。
    bkpath = '/BACK_UP'

    date = time.strftime('%y-%m-%d')
    os.chdir(source)
    for source in all:
        if os.path.isfile(source):
            copy_file(source, tmp_dir)
        else:
            copy_dir(source, tmp_dir)

    os.system('tar -czf %s.tar.gz %s' % (date, tmp_dir))
    if len(sys.argv) == 2 and sys.argv[1] == '-m':
        os.system('mv %s.tar.gz %s' % (date, bkpath))


   

wwenyunkui2013

我還是個linux新手，系統(tǒng)管理還是十分生疏，對一些語言知之甚少

zsszss0000

表示不會python，但是也想學習學習python,感覺現(xiàn)在的python非常的火爆啊

dc222222222

回復 45# yestreenstars

呵呵，套用之前跟別人夸python時候說過“玩得了linux，搞的定windows，寫的了html，發(fā)的了數(shù)據(jù)包”， 鑒于我是python的腦殘粉，星辰大神，賜神書于我吧。

   

yestreenstars

回復 57# dc222222222
最后會綜合考慮的~{:3_193:}

   

ultrasurf

1.你是如何學習Python的？看書？看視頻？還是？
看書，看視頻太慢了
2.你工作中有用到Python嗎？主要用來做什么？
編寫運維腳本
3.你覺得Python跟其他腳本語言比優(yōu)勢在哪？
比shell容易掌握，語法比較自然
4.談談Python在自動化運維中的應用。
主要編寫監(jiān)控腳本
5.給出一個你自己寫的Python腳本（最好有詳細注釋）。
讀取磁盤利用率的小函數(shù)

1. def getDiskUsageByMountPoint(MountPoint):
   
2.         try:
   
3.                 cmd = "df -P | grep "+MountPoint
   
4.                 res = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True)
   
5.                 DiskInfo = res.communicate()[0].split("\n")
   
6.                 for DiskLine in DiskInfo:
   
7.                         if len(DiskLine) == 0 :
   
8.                                 break
   
9.                         DiskItem = DiskLine.split()
   
10.                         if (DiskItem[0].strip() == "Filesystem"):
    
11.                                 continue
    
12.                         elif (DiskItem[5].strip() != MountPoint):
    
13.                                 continue
    
14.                         MountName = DiskItem[5].strip()
    
15.                         MountUsage = DiskItem[4].strip()
    
16.                         MountFree = DiskItem[3].strip()
    
17.                         MountUsed = DiskItem[2].strip()
    
18.                         MountSize = DiskItem[1].strip()
    
19.                 return (MountName,MountSize,MountUsed,MountFree,MountUsage)
    
20.         except Exception, e:
    
21.                 #print e
    
22.                 return ("ERROR","ERROR","ERROR","ERROR","ERROR")

復制代碼

bulletmarquis

回復 1# yestreenstars


    星辰也開始搞這些了啊，必須捧場。。


1.你是如何學習Python的？看書？看視頻？還是？
在網(wǎng)上找?guī)锥维F(xiàn)成的代碼，各種亂查資料，基本理解以后，自己重寫一遍
然后不停的嘗試添加功能進去，以某幾段功能代碼為核心，慢慢擴展開來進行練習

2.你工作中有用到Python嗎？主要用來做什么？
工作本身用不到python，只是純粹個人興趣
做一些CS版小工具，比如EXCEL解析，接口維護工具，自動化測試工具，數(shù)據(jù)庫加固等
大部分是PYQT+SQLITE

3.你覺得Python跟其他腳本語言比優(yōu)勢在哪？
PYTHON的特性很好
強制縮進，對我這種強迫癥患者來說特別舒服
一個問題只有一個解決方案，學習起來很方便
再就是python的語法不算太啰嗦，如果不考慮編碼轉換的話。。。

4.談談Python在自動化運維中的應用。
我做過的自動化測試、數(shù)據(jù)庫加固腳本這些，只能算是對自動化運維的初步接觸，不了解不敢亂說

5.給出一個你自己寫的Python腳本（最好有詳細注釋）。
寫的都是工作腳本，不太適合貼論壇上