130W的文件分類腳本求優(yōu)化

very_99

現(xiàn)有郵件備份大約130W以上的郵件，需要更具郵件內(nèi)發(fā)件人和收件人做分類，保存到不同的目錄下面。

目前使用所有郵件list和所有用戶list，用2個(gè)for做這個(gè)文件循環(huán)查詢。    第一個(gè)for是查郵件list，第二個(gè)for是查用戶list，因?yàn)橛脩魯?shù)畢竟少的多了。

然后發(fā)現(xiàn)4cor的cpu，其中只能使用到一個(gè)core，而且?guī)缀跽紳M了，其他3個(gè)空閑。 腳本無法重復(fù)運(yùn)行，系統(tǒng)響應(yīng)會(huì)很慢很慢。 目前跑了1天，只完成百分之幾的量。


求一下方法，如何能高效快速�。。�！

personball

回復(fù) 1# very_99


    最多多開幾個(gè)進(jìn)程去后臺(tái)執(zhí)行，可以分割下待處理的資源，進(jìn)程對(duì)不同部分進(jìn)行處理

另外提醒下：循環(huán)體內(nèi)的代碼最好少涉及io，不然再怎么優(yōu)化代碼也會(huì)慢死，最好先提取一下文件關(guān)鍵信息，做完分類后再根據(jù)分類結(jié)果去做IO方面的事

very_99

放后臺(tái)也無法并發(fā)運(yùn)行，單個(gè)cpu占用馬上100%  系統(tǒng)異常慢。

1. for  所有郵件list文件
   
2. do
   
3.    for  所有用戶list
   
4.      do  grep 發(fā)信用戶 如果在郵件內(nèi)容里  就 cp 到特定目錄
   
5. 
   
6. done
   
7. done
   

復(fù)制代碼

jils2013

1：這樣的邏輯比較難受，下面的awk的類似邏輯，讀一遍userlist，就可以了；

1. awk 'BEGIN{while(getline<userlistfile){diretory[user]=xxxxx;}}{xxxxxxx}' maillist

復(fù)制代碼

2：還有就是2樓的建議，IO的操作最好可以集中完成，并且盡量的少；

very_99

jils2013 發(fā)表于 2012-06-27 16:09
1：這樣的邏輯比較難受，下面的awk的類似邏輯，讀一遍userlist，就可以了；2：還有就是2樓的建議，IO的操作 ...

讀一遍的可以理解了。  遍歷一遍maillist，把發(fā)送的，接收的，CC, BCC 的都處理一下。 這樣比較好，

very_99

一個(gè)郵件內(nèi) 發(fā)送人的好寫了。

收件人是多人的話，語句怎么搞��？


收件人是多人時(shí)候，是在一行的 用；做間隔
cc是多人的時(shí)候， 是多行的。

very_99

郵件內(nèi)內(nèi)容格式為：

1. *************
   
2. *****************
   
3. From:= FSDFDSsdfxfsadffdsfdsf <sender@xxx.com>
   
4. To:= <d@com;e@com:f@com>
   
5. Cc:= <a@xxx.com>;
   
6.          <b@xxx.com>
   
7. ***************8
   
8. *****************
   
9. ***********88
   

復(fù)制代碼

damcool

把兩個(gè)for的完整代碼貼出來看看