亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標(biāo)題: 正則表達(dá)進(jìn)階大討論！歡迎參與討論�。ǐ@獎(jiǎng)名單已公布-2012-7-6） [打印本頁]
作者: send_linux    時(shí)間: 2012-05-31 16:34
標(biāo)題: 正則表達(dá)進(jìn)階大討論！歡迎參與討論！（獲獎(jiǎng)名單已公布-2012-7-6）

獲獎(jiǎng)名單已公布，詳情請看：http://72891.cn/thread-3757480-1-1.html

在計(jì)算機(jī)科學(xué)中，是指一個(gè)用來描述或者匹配一系列符合某個(gè)句法規(guī)則的字符串的單個(gè)字符串。在很多文本編輯器或其他工具里，正則表達(dá)式通常被用來檢索和/或 替換那些符合某個(gè)模式的文本內(nèi)容。許多程序設(shè)計(jì)語言都支持利用正則表達(dá)式進(jìn)行字符串操作。例如，在Perl中就內(nèi)建了一個(gè)功能強(qiáng)大的正則表達(dá)式引擎。正則 表達(dá)式這個(gè)概念最初是由Unix中的工具軟件（例如sed和grep）普及開的。

隨著互聯(lián)網(wǎng)的迅速發(fā)展，幾乎所有工具軟件和程序語言都支持的正則表達(dá)式也變得越來越強(qiáng)大和易于使用。正則表達(dá)式在Perl、Java、.NET、PHP中的用法有的時(shí)候也略有不同，許多用戶在正則表達(dá)式的學(xué)習(xí)和使用中也有著各種不同的疑問和困惑。

本次我們特邀《正則指引》圖書作者余晟和ChinaUnix論壇Perl版版主flw、zhlong8、Shell版版主waker、Shell_HAT、zooyo、參與討論，大家有什么問題也盡管問吧：）

本期話題：
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？
2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？

活動(dòng)時(shí)間：
2012年6月1日-6月20日

話題要求：
1、 要言之有物，不能低于20個(gè)字
2、 本次話題主要關(guān)注shell、perl、Python等相關(guān)語言的正則表達(dá)式技術(shù)討論，其他問題可能不做重點(diǎn)。

獎(jiǎng)項(xiàng)設(shè)置：
最佳交流獎(jiǎng)：1名，獎(jiǎng)勵(lì)ChinaUnix背包一個(gè)。
積極交流獎(jiǎng)：3名，獎(jiǎng)勵(lì)《正則指引》圖書一本
參與獎(jiǎng)：所有有效參與的用戶獎(jiǎng)勵(lì)ChinaUnix社區(qū)積分20分

獎(jiǎng)品簡介：

作者：余晟
出版社：電子工業(yè)出版社
ISBN：9787121165511
上架時(shí)間：2012-5-2
出版日期：2012 年5月
開本：16開

圖書簡介：
《正則指引》針對作者在開發(fā)中遇到的實(shí)際問題，以及其他開發(fā)人員咨詢的問題，總結(jié)出一套使用正則表達(dá)式解題的辦法，并通過具體的例子指導(dǎo)讀者拆解、分析問題。全書分為三大部分：第一部分主要講解正則表達(dá)式的基礎(chǔ)知識，涵蓋了常見正則表達(dá)式中的各種功能和結(jié)構(gòu)；第二部分主要講解關(guān)于正則表達(dá)式的更深入的知識，詳細(xì)探討了編碼問題、匹配原理、解題思路；第三部分將之前介紹的各種知識落實(shí)到6種常用語言.net、java、javascript、php、python、ruby中，不但詳細(xì)介紹了語言中正則表達(dá)式的用法，更點(diǎn)明了版本之間的細(xì)微差異，既可以作為專門學(xué)習(xí)的教材，也可以作為有用的參考手冊。

樣章閱讀：
http://wenku.it168.com/d_000271891.shtml

作者: dengbao2001    時(shí)間: 2012-05-31 16:46
坐等發(fā)言！占一樓
作者: to407    時(shí)間: 2012-05-31 16:50
版凳， 這書不錯(cuò)， 還記得 余晟 翻譯的 Mastering Regular Express... 文筆相當(dāng)?shù)馁澃?
作者: ecjtubaowp    時(shí)間: 2012-05-31 17:17
正則的話還是perl強(qiáng)，幾乎是支持整個(gè)正則理論吧。了解正則匹配的速度，然后優(yōu)化正則的寫法是關(guān)鍵。
作者: renxiao2003    時(shí)間: 2012-05-31 17:27
參與。參與。
作者: kk5234    時(shí)間: 2012-05-31 18:21
支持一下活動(dòng)！書很不錯(cuò)！
作者: jerryjzm    時(shí)間: 2012-05-31 19:09
個(gè)人使用，感受到，正則表達(dá)式的強(qiáng)大。
作者: 東方云濱    時(shí)間: 2012-05-31 19:13
不錯(cuò)，大家趕緊的積極討論啊
作者: chenyx    時(shí)間: 2012-05-31 19:22
強(qiáng)力支持.
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？
平時(shí)工作中用到正則主要是用于過濾日志,從系統(tǒng)日志中過濾出需要的信息

2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？
目前只在shell下用到少量的正則表達(dá)式的內(nèi)容,坐等大牛來分享.
作者: Shell_HAT    時(shí)間: 2012-05-31 21:39
一些例子：

經(jīng)常使用的正則表達(dá)式舉例
http://72891.cn/thread-190716-1-1.html

常用正則表達(dá)式例子
http://72891.cn/thread-1952749-1-1.html

經(jīng)常使用的正則表達(dá)式舉例
http://72891.cn/thread-1993321-1-1.html
作者: hannibal03    時(shí)間: 2012-05-31 21:53
正則表達(dá)式的語法并不難，有意思的是在一些實(shí)時(shí)的模式匹配應(yīng)用中，像入侵檢測等，如何構(gòu)造一個(gè)高性能的正則引擎。
作者: 南非螞蟻    時(shí)間: 2012-05-31 21:58
支持一下活動(dòng)，正則太強(qiáng)大了！還在研究中
作者: send_linux    時(shí)間: 2012-05-31 21:59
南非螞蟻 發(fā)表于 2012-05-31 21:58
支持一下活動(dòng)，正則太強(qiáng)大了！還在研究中


謝謝參與哈，對啊，做為運(yùn)維管理工作中，需要大量用到的腳本啥的，正則表達(dá)式是必不可少的吧，呵呵
作者: zooyo    時(shí)間: 2012-05-31 22:51
提示: 作者被禁止或刪除 內(nèi)容自動(dòng)屏蔽
作者: zooyo    時(shí)間: 2012-05-31 22:52
提示: 作者被禁止或刪除 內(nèi)容自動(dòng)屏蔽
作者: xbokx    時(shí)間: 2012-05-31 23:05
本帖最后由 xbokx 于 2012-05-31 23:06 編輯

新人一個(gè)，來取經(jīng)。
第一次接觸正則是在用sed和gawk這倆工具時(shí)，感覺在搜索這方面確實(shí)有強(qiáng)大之處。
不知需要配上算法來使用否！估計(jì)會(huì)更牛。。
作者: send_linux    時(shí)間: 2012-05-31 23:07
zooyo 發(fā)表于 2012-05-31 22:52
回復(fù) 5# renxiao2003


榮譽(yù)版主勛章和榮譽(yù)會(huì)員勛章早就不頒發(fā)了，還請見諒：）

作者: 方兆國    時(shí)間: 2012-05-31 23:12
回復(fù) 1# send_linux


    為什么現(xiàn)在這個(gè)超鏈接到其他網(wǎng)頁的樣章都下載不了，確切是那個(gè)網(wǎng)頁進(jìn)不去
作者: xdsnet    時(shí)間: 2012-05-31 23:13
我使用bash環(huán)境下的grep/sed 來進(jìn)行特殊化處理文件（包括過濾/命令特例化）
作者: crazyhadoop    時(shí)間: 2012-05-31 23:31
可以說一切表達(dá)皆正則么？ 正則告訴我們我們的表達(dá)都是有規(guī)律可循的，都符合一定的模式，通過正則匹配，我們可以找到我們想要的藏在茫�；ヂ�(lián)網(wǎng)中的一切東西，網(wǎng)頁抓取，數(shù)據(jù)整理，這都離不開正則
作者: yifangyou    時(shí)間: 2012-06-01 00:40
本帖最后由 yifangyou 于 2012-06-01 00:51 編輯

1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？
答：我在日常工作使用正則表達(dá)式主要解決
1) 日志分析或者查找或者替換文字，例如用perl進(jìn)行統(tǒng)計(jì)apache中某個(gè)頁面的訪問量，在vi里替換
2）查找處理文件, ls a[1-5].log  ,find,或者egrep ,  用sed 替換或者刪除文件內(nèi)容。
3) 在開發(fā)網(wǎng)站時(shí)，用javascript驗(yàn)證表單，在php或者java驗(yàn)證參數(shù)格式是否正確
4)做lucene的網(wǎng)絡(luò)蜘蛛時(shí)，用正則進(jìn)行對網(wǎng)頁url進(jìn)行過濾，或者提取網(wǎng)頁中的部分代碼。
5）用php中的正則進(jìn)行解析http協(xié)議
6）在apache和nginx中用url重寫實(shí)現(xiàn)偽靜態(tài)


2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？
答：
1）perl的正則表達(dá)式是最純正的，perl的最強(qiáng)項(xiàng)就是處理文本，我個(gè)人第一次接觸正則也是從perl的學(xué)習(xí)開始。
2）php作為最接近perl的一門語言，優(yōu)點(diǎn)是沒有perl語法那么晦澀難懂，把perl的靈活多變的正則表達(dá)式給繼承過來，但是使用起來沒有perl那么好用，而且沒有perl效率高
3）javascript使用正則時(shí)和perl比較接近，個(gè)人感覺比php的正則更好用，主要用于驗(yàn)證用戶輸入，提醒輸入錯(cuò)誤，提供用戶體驗(yàn)，沒有支持perl中的translate。
下面是我一些常用的正則表達(dá)式
javascript:
  1. function checkIp(tmpstr)
  2. {
  3.                 var patrn=/^(\d{1,3})\.(\d{1,3})\.(\d{1,3})\.(\d{1,3})$/;
  4.                 var r=patrn.exec(tmpstr)
  5.                 if(!r)
  6.                 {
  7.                         return false;
  8.                 }
  9.                 if(r[1]<=255 && r[2]<=255 &&r[3]<=255 && r[4]<=255 )
  10.                         return true;
  11.                 else
  12.                         return false;
  13. }
  14. function is_numeric(tmpstr)
  15. {
  16.                 var patrn=/^\d+$/;
  17.                 var r=patrn.exec(tmpstr)
  18.                 if(!r)
  19.                 {
  20.                         return false;
  21.                 }
  22.                 return true;
  23. }
  24.        
  25. String.prototype.trim = function()
  26. {
  27.         return this.replace(/(^\s*)|(\s*$)/g, "");
  28. }
  29. /*
  30. * 只能輸入英文數(shù)字.-下劃線
  31. * @param str input的value
  32. * @use <input onkeyup="value=filterchar(value)" onafterpaste="value=filterchar(value)" />
  33. * */
  34. function filterchar(str){
  35.         var p=/[^\w\-\.]/g
  36.         return str.replace(p,'');
  37. }

  39. /*
  40. * 過濾特殊字符
  41. * @param str input的value
  42. * @use <input onkeyup="value=filterschar(value)" onafterpaste="value=filterschar(value)" />
  43. * */
  44. function filterschar(str){
  45.                 var p=/[\'\"#,;&%^\$!\+=\|\\\/ ]/g
  46.                 return str.replace(p,'');
  47. }
復(fù)制代碼
php:
  1. /*
  2.         年 $matches[0]
  3.         月 $matches[1]
  4.         日 $matches[2]
  5.         時(shí) $matches[3]
  6.         分 $matches[4]
  7.         秒 $matches[5]
  8.        
  9.   解析Y-m-d H:i:s YmdHis  Y/m/d H:i:s等等
  10. */
  11. function analytime($adate)
  12. {
  13.         if(preg_match("/^(\d{4})\D{0,3}(\d{2})\D{0,3}(\d{2})\D{0,3}(\d{2})\D{0,3}(\d{2})\D{0,3}(\d{2})$/i",$adate,$matches))
  14.         {
  15.                 array_shift($matches);
  16.                 return $matches;       
  17.         }
  18.         return 0;
  19. }
  20. //判斷md5
  21.         function isMd5str($str)
  22.         {
  23.                 return preg_match("/\w{32}/i",$str);
  24.         }
復(fù)制代碼
perl:
  1. #本程序的功能為判斷一個(gè)字符串是不是ip,是ipv4還是ipv6
  2. #　　以下是用來將 IPv6 地址表示為文本字符串的三種常規(guī)形式：
  3. #冒號十六進(jìn)制形式
  4. #　　這是首選形式 n:n:n:n:n:n:n:n。每個(gè) n 都表示八個(gè) 16 位地址元素之一的十六進(jìn)制值。例如：
  5. #　　3FFE:FFFF:7654:FEDA:1245:BA98:3210:4562.
  6. #壓縮形式
  7. #　　由于地址長度要求，地址包含由零組成的長字符串的情況十分常見。為了簡化對這些地址的寫入，
  8. #     可以使用壓縮形式，在這一壓縮形式中，多個(gè) 0 塊的單個(gè)連續(xù)序列由雙冒號符號 (::) 表示。此符號只能在地址中出現(xiàn)一
  9. #
  10. #次。例如，多路廣播地址 FFED:0:0:0:0:BA98:3210:4562 的壓縮形式為 FFED::BA98:3210:4562。
  11. #單播地址
  12. #3FFE:FFFF:0:0:8:800:20C4:0 的壓縮形式為 3FFE:FFFF::8:800:20C4:0。
  13. #環(huán)回地址 0:0:0:0:0:0:0:1 的壓縮形式為 ::1。
  14. #未指定的地址 0:0:0:0:0:0:0:0 的壓縮形式為 ::。
  15. #混合形式
  16. #　　此形式組合 IPv4 和 IPv6 地址。在此情況下，地址格式為 n:n:n:n:n:n:d.d.d.d，
  17. #其中每個(gè) n 都表示六個(gè) IPv6 高序位 16 位地址元素之一的十六進(jìn)制值，每個(gè) d 都表示 IPv4 地址的十進(jìn)制值。
  18. #@author yifangyou
  19. #@version gslb 2011-03-23

  21. @testIP=("1.1.1.1","255.255.255.255","1.-2.3.4","a.b.c.d","CDCD:910A:2222:5498:8475:1111:3900:2020","::","::g","F:F:F::1:1","F:F:10F::","::F:F:10F","F:E:E:A:B:C:10.0.0.1","F:E:E:A:B:C:10.0.a.1","F::10.0.0.1","F:::10.0.0.1","::10.0.0.1");
  22. for my $ip (@testIP) {
  23.         my $result=isIP($ip);
  24.         if($result){
  25.                 print "[$ip] is ipv$result\n";
  26.         }else{
  27.                 print "[$ip] is not ip\n";
  28.         }
  29. }

  31. #計(jì)算CDCD:或者:2222的個(gè)數(shù)
  32. #@author yifangyou
  33. #@version gslb 2011-03-23
  34. #@return 0:表示沒有找到,>0表示替換了多少個(gè)
  35. sub cLength{
  36.         my $s= shift;
  37.   return  $s=~ s/([0-9a-f]{1,4}:)|(:[0-9a-f]{1,4})/ /gi;
  38. }

  40. #判斷ipv4格式
  41. #@author yifangyou
  42. #@version gslb 2011-03-23
  43. #@return 0:表示不是ip,4:表示ipv4,6:表示ipv6
  44. sub isIP{
  45.         my $tmpstr=shift;
  46.         if(isIPv4($tmpstr)){
  47.                 return 4;
  48.         }
  49.         if(isIPv6($tmpstr)){
  50.                 return 6;       
  51.         }
  52.         return 0;
  53. }

  55. #判斷ipv4格式
  56. #@author yifangyou
  57. #@version gslb 2011-03-23
  58. #@return 0:表示不是ipv4,1:表示ipv4
  59. sub isIPv4
  60. {
  61.         my $tmpstr=shift;
  62.         if(@matches=$tmpstr=~/^(\d{1,3})\.(\d{1,3})\.(\d{1,3})\.(\d{1,3})$/i)
  63.   {
  64.             if($matches[0]<=255 && $matches[1]<=255 &&$matches[2]<=255 && $matches[3]<=255){
  65.                                 return 1;
  66.                         }
  67.   }
  68.   return 0;
  69. }

  71. #判斷ipv6格式
  72. #@author yifangyou
  73. #@version gslb 2011-03-23        
  74. #@return 0:表示不是ipv6,1:表示ipv6
  75. sub isIPv6
  76. {
  77.           my $tmpstr=shift;
  78.           
  79. #                判斷CDCD:910A:2222:5498:8475:1111:3900:2020
  80.     if($tmpstr=~/^([0-9a-f]{1,4}:){7}[0-9a-f]{1,4}$/i){
  81.             return 1;
  82.     }
  83. #                判斷::
  84.     if($tmpstr=~/^::$/i){
  85.                     return 1;
  86.     }
  87. #                F:F:F::1:1  F:F:F:F:F::1  F::F:F:F:F:1格式   
  88.     if($tmpstr=~/^(([0-9a-f]{1,4}:){1,6})((:[0-9a-f]{1,4}){1,6})$/i){
  89.             my $c=cLength($tmpstr);
  90.             if($c>0 && $c<=7){
  91.                     return 1;
  92.             }
  93.     }
  94.                                                
  95. #                F:F:10F::
  96.     if($tmpstr=~/^([0-9a-f]{1,4}:){1,7}:$/i){
  97.             return 1;
  98.     }
  99.    
  100. #                ::F:F:10F
  101.     if($tmpstr=~/^:(:[0-9a-f]{1,4}){1,7}$/i){
  102.             return 1;
  103.     }
  104.                
  105. #                F:E:E:A:B:C:10.0.0.1格式
  106.                 if(@matches=$tmpstr=~/^([0-9a-f]{1,4}:){6}(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})$/i){
  107.             if(isIPv4($matches[1])){
  108.                                 return 1;
  109.                         }
  110.     }

  112. #   F::10.0.0.1格式
  113.                 if(@matches=$tmpstr=~/^([0-9a-f]{1,4}:){1,5}:(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})$/i){
  114.             if(isIPv4($matches[1])){
  115.                                 return 1;
  116.                         }
  117.     }               
  118. #                ::10.0.0.1格式
  119.                 if(@matches=$tmpstr=~/^::(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})$/i){
  120.             if(isIPv4($matches[0])){
  121.                                 return 1;
  122.                         }
  123.     }
  124.                 return 0;
  125. }
復(fù)制代碼
作者: Shell_HAT    時(shí)間: 2012-06-01 06:58
回復(fù) 14# zooyo


牛的一B
話說當(dāng)年我的畢業(yè)設(shè)計(jì)也是一個(gè)IDS，其實(shí)就是從網(wǎng)上找個(gè)C源碼，然后在自己機(jī)器上調(diào)通，嘿嘿。
作者: wsxedcer    時(shí)間: 2012-06-01 08:10
回復(fù) 1# send_linux


1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？
主要是處理日志這塊的，取出需要的數(shù)據(jù)，再進(jìn)行后續(xù)處理的

2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？
目前只會(huì)寫shell，perl學(xué)習(xí)中，所以也沒什么可比較性，grep，sed，awk 的正則也略有不同，有時(shí)會(huì)寫混淆，這個(gè)有點(diǎn)糾結(jié)，關(guān)鍵還是需要在工作中多運(yùn)用，只看書是沒有用的，不運(yùn)用的話看完書就忘記了
作者: 瀚海書香    時(shí)間: 2012-06-01 09:33
回復(fù) 1# send_linux
頂！

正則表達(dá)式的優(yōu)劣，直接影響一個(gè)腳本語言的好壞

   
作者: sncchen    時(shí)間: 2012-06-01 09:43

隨著對bash sed awk  vim使用的熟悉
linux 的強(qiáng)大和 DIY樂趣 一步步 勝于學(xué)習(xí)的痛苦
昨天我把一個(gè)單詞文本格式化成了自己想要的樣式
這項(xiàng)工作拖拉了好久
完成時(shí) 有種厚積薄發(fā)的快感
正則表達(dá)式啊 像美酒 得慢慢品~
作者: lkk_super    時(shí)間: 2012-06-01 10:19
回復(fù) 16# xbokx


    算法還是用 普通的語言實(shí)現(xiàn)吧  C python 神馬的都行 用sed awk 搞太費(fèi)勁了 且沒有必要
作者: yybmsrs    時(shí)間: 2012-06-01 11:32
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？

處理各種數(shù)據(jù)格式問題

2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？

對perl的正則熟悉，其他如awk，grep等比較別扭，而且不同sh下規(guī)則也不大一樣。解決方法是復(fù)雜的盡量用perl來實(shí)現(xiàn)，也很方便。
作者: kenvifire    時(shí)間: 2012-06-01 12:24
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？
過濾日志，爬取網(wǎng)頁上的數(shù)據(jù)，數(shù)據(jù)校驗(yàn)等
2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？
不同的語言對正則的實(shí)現(xiàn)不一樣，這個(gè)比較糾結(jié)，而且部分語言正則引擎，例如java存在性能問題，對于大量文本的處理，建議不要使用
作者: yinyuemi    時(shí)間: 2012-06-01 14:11
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？

主要用awk，sed和perl，進(jìn)行數(shù)據(jù)的提取，文本格式調(diào)整等，使用也相對比較簡單，很少會(huì)用太復(fù)雜的正則，主要考慮到效率問題，還要考慮代碼維護(hù)和可讀性。

2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？

只接觸過shell，awk，sed和perl的正則，別的語言不了解，個(gè)人比較推崇perl的正則，可以說”無所不能“，除了可以解決實(shí)際問題，更可以鍛煉一種正則思維。
個(gè)人覺得，awk和sed的組合基本上可以解決日常的工作需要，建議初學(xué)者可以先了解這兩種語言的正則，入門后再深入學(xué)習(xí)。
作者: renxiao2003    時(shí)間: 2012-06-01 14:18
回復(fù) 15# zooyo


    不知道啊。反正我是正式提出不干版主的啊。沒什么意思，處理不討好啊。
作者: lkk_super    時(shí)間: 2012-06-01 18:05
正則在工作中都是用于日志文件的分析，提取，替換一些文本處理的操作還有一塊就是前端js 校驗(yàn)用戶填寫信息。支持正則的有很多 常用的grep awk sed perl py都行但是有些小的地方不一樣，比如awk 就不能用\d只能用[0-9]，sed用+需要加-r參數(shù)等等，確實(shí)比較討厭。這其中咱一般都是統(tǒng)一成用perl這樣對正則支持比較全面的，而且能夠?qū)懙帽容^簡單比如一行搞定的去處理。如果正則比較簡單的話就好辦了，隨便用哪個(gè)都行。
作者: xiakedz    時(shí)間: 2012-06-01 18:30
初學(xué)者，通配和正則總是有點(diǎn)混，在書上看grep僅支持正則，但是往往感覺我是在用通配，比如：grep abcde *.txt , 是為什么？
作者: 一劍動(dòng)江湖    時(shí)間: 2012-06-01 22:21
強(qiáng)大的正則，正在學(xué)習(xí)！
作者: myeverything    時(shí)間: 2012-06-01 23:40
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？

像日志，網(wǎng)頁，監(jiān)控等涉及到字符串匹配和提取的地方，基本都會(huì)用正則。

2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？
grep，sed，awk，perl等都有正則，但比較悲催的是他們之間有不少不同，包括模式使用以及支持的符號。我在使用中基本上，不用除perl以外的寫復(fù)雜的正則，并且把各個(gè)語言的正則教程下載下來，隨用隨看，因?yàn)閷?shí)在是記不準(zhǔn)這么多~~~
作者: lkk_super    時(shí)間: 2012-06-01 23:46
回復(fù) 32# xiakedz


    你看到的通配  實(shí)際上是bash的glob  grep正則處理的是前面那一個(gè)
作者: xiyoulaoyuanjia    時(shí)間: 2012-06-02 00:35
我到是遇見了這樣一個(gè)問題，在使用perl  解析 bash命令輸出時(shí)

問題是這樣的，我想在我的程序中捕獲一些命令的輸出，然后做其它的操作，例如：
ps -ef 命令 產(chǎn)生如下

root       329     1  0 22:32 ?        00:00:00 upstart-udev-bridge --daemon
root       338     1  0 22:32 ?        00:00:00 udevd --daemon
root       462   338  0 22:32 ?        00:00:00 udevd --daemon
root       495   338  0 22:32 ?        00:00:00 udevd --daemon
root       543     2  0 22:32 ?        00:00:00 [kmemstick]
root       613     1  0 22:32 ?        00:00:00 upstart-socket-bridge --daemon
root       621     2  0 22:32 ?        00:00:00 [led_workqueue]
root       648     2  0 22:32 ?        00:00:00 [kpsmoused]
root       663     2  0 22:32 ?        00:00:00 [cfg80211]
root       736     2  0 22:32 ?        00:00:00 [ttm_swap]


分不同的列，現(xiàn)在我想捕獲不同的列，默認(rèn)分割符是 空格，我想替換它便于進(jìn)行正則表達(dá)式的提�。ú荒苡每崭褡龅脑蚴怯行┝兄泻锌崭瘢�

怎么搞？ 不知道是從命令中可以設(shè)置參數(shù) 還是可以設(shè)置 shell的變量？ 效果可能如下：

root    %   543   %  2 %  0 % 22:32 ?    %    00:00:00 [kmemstick]
root     %  613    % 1 % 0  % 22:32 ?     %   00:00:00 upstart-socket-bridge --daemon
root      % 621    % 2  % 0 % 22:32 ?      %  00:00:00 [led_workqueue]
（按 %分割）



作者: xiyoulaoyuanjia    時(shí)間: 2012-06-02 00:41
1. 更改 bash 對于每一個(gè)列的默認(rèn)空格分割符 而改用更特殊的字符分割
2. 使用通用的正則表達(dá)式可以考慮到如果列中含有空格的情況

當(dāng)然第一種方法相對而言正則較好匹配，但是不知道如果更改，是可以統(tǒng)一更改還是每一個(gè)命令的輸出可以定義？
本人目前沒有找到第一中方法的解決，而是采用了一個(gè)折中的方法就是將含有空格的列放到最后的列，而匹配前面的，則剩下的就好匹配了！

不知道大神們還有沒有其它方法？


作者: yinyuemi    時(shí)間: 2012-06-02 06:36
回復(fù) 36# xiyoulaoyuanjia
  1. echo 'root       329     1  0 22:32 ?        00:00:00 upstart-udev-bridge --daemon
  2. root       338     1  0 22:32 ?        00:00:00 udevd --daemon
  3. root       462   338  0 22:32 ?        00:00:00 udevd --daemon
  4. root       495   338  0 22:32 ?        00:00:00 udevd --daemon
  5. root       543     2  0 22:32 ?        00:00:00 [kmemstick]
  6. root       613     1  0 22:32 ?        00:00:00 upstart-socket-bridge --daemon
  7. root       621     2  0 22:32 ?        00:00:00 [led_workqueue]
  8. root       648     2  0 22:32 ?        00:00:00 [kpsmoused]
  9. root       663     2  0 22:32 ?        00:00:00 [cfg80211]
  10. root       736     2  0 22:32 ?        00:00:00 [ttm_swap]' |\
  11. perl -nle 'push @arr,[@a=($_=~/^(\S+)\s+(\d+)\s+(\d+)\s+(\d+)\s+(\S+\s+\?)\s+(\S+)\s+(.*)$/)];
  12. END{map{print join "\t%\t",@{$_}}@arr}'
  13. root    %       329     %       1       %       0       %       22:32 ? %       00:00:00        %       upstart-udev-bridge --daemon
  14. root    %       338     %       1       %       0       %       22:32 ? %       00:00:00        %       udevd --daemon
  15. root    %       462     %       338     %       0       %       22:32 ? %       00:00:00        %       udevd --daemon
  16. root    %       495     %       338     %       0       %       22:32 ? %       00:00:00        %       udevd --daemon
  17. root    %       543     %       2       %       0       %       22:32 ? %       00:00:00        %       [kmemstick]
  18. root    %       613     %       1       %       0       %       22:32 ? %       00:00:00        %       upstart-socket-bridge --daemon
  19. root    %       621     %       2       %       0       %       22:32 ? %       00:00:00        %       [led_workqueue]
  20. root    %       648     %       2       %       0       %       22:32 ? %       00:00:00        %       [kpsmoused]
  21. root    %       663     %       2       %       0       %       22:32 ? %       00:00:00        %       [cfg80211]
  22. root    %       736     %       2       %       0       %       22:32 ? %       00:00:00        %       [ttm_swap]
復(fù)制代碼
作者: bekars    時(shí)間: 2012-06-02 10:11
支持，打算買本看看，現(xiàn)在正好用。
作者: xtdddd2000    時(shí)間: 2012-06-02 11:33
關(guān)注一下下。
作者: liangxiaozhang    時(shí)間: 2012-06-02 14:22
我問一個(gè)問題：正則表達(dá)中的awk之類的命令，我用起來感覺特別晦澀，難倒沒有一種簡便而又好記的辦法嗎？

不好意思，我不是計(jì)算機(jī)出身，我是學(xué)通信的．現(xiàn)在的也忘了，在從事嵌入式軟件開發(fā)．
個(gè)人認(rèn)為python很好，但是嵌入式里面用的更多的是shell.
作者: lkk_super    時(shí)間: 2012-06-02 14:46
回復(fù) 41# liangxiaozhang


    awk還好吧  就想編程語言一樣的 不好記指的是？多用就熟悉了～～～
作者: justqb    時(shí)間: 2012-06-02 22:20
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？
perl寫爬蟲，用正則提取網(wǎng)頁中我所需要的信息（市場信息收集）。
修改字符串和一些數(shù)據(jù)只要用在emeditor上。
把excel的內(nèi)容復(fù)制到emeditor中，做些修改，再轉(zhuǎn)回excel。大概叫數(shù)據(jù)清理吧。excel要支持正則就好了。

2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？
只用perl和emeditor。
據(jù)我所知，perl支持正則比較全面。不過有個(gè)問題就是逆向環(huán)視("(?<=)"/"(?<!)")必須定長，而且不能超過256（perl5.12是這樣）。
正則引擎從效率的角度這樣處理是沒問題的。我們可以靈活變通來實(shí)現(xiàn)自己的目的。
emeditor中不支持逆向環(huán)視。好像是因?yàn)橛玫膉s的正則方法。
作者: wfade    時(shí)間: 2012-06-03 00:34
其實(shí)很多時(shí)候我發(fā)現(xiàn)正規(guī)表達(dá)式這個(gè)概念本身不是很清楚，可能是我的理解能力不夠，比如說操作符，sed命令后面接的匹配規(guī)則和grep后面的匹配規(guī)則，都是算作正規(guī)表達(dá)式嘛？如果要系統(tǒng)的學(xué)習(xí)起來該怎么學(xué)？
作者: wfade    時(shí)間: 2012-06-03 00:35
另外想請教一個(gè)問題，grep -Pq '\w+' 這句什么意思啊 ？求高人指點(diǎn)啊 在線等答案。
作者: cnzhangxl    時(shí)間: 2012-06-03 08:04
在我的工作中正則一般有以下用途：
1.客戶端表單提交的時(shí)候，表單元素的規(guī)則性驗(yàn)證
2.服務(wù)端表單提交后的規(guī)則是否正確的驗(yàn)證
3.替換字符串中的指定內(nèi)容，比如替換html中img地址
5.獲取字符串中匹配的內(nèi)容
以上是我一般用正則的場景，大家可以進(jìn)行補(bǔ)充和提議啊，:wink:
作者: ziyunfei    時(shí)間: 2012-06-03 08:22
一個(gè)人的編程能力強(qiáng)不強(qiáng) 看他寫的正則就知道了
作者: __lxmxn__    時(shí)間: 2012-06-03 10:50
就自己的情況談?wù)劙?br />
1、正則表達(dá)式是個(gè)神奇的東西，有時(shí)一個(gè)正則就可以把一個(gè)復(fù)雜的文本編輯工作變得如此簡單，perl, grep, sed, awk, vim 里面的正則都有用到，區(qū)別最大的還是vim和其它幾個(gè)，vim的也很強(qiáng)大，不過環(huán)視和一些列匹配與其他的幾個(gè)寫法不一樣。
2、在日常工作中，用的最多的是sed的正則匹配文本編輯，grep的搜索輸出，vim的批量替換，perl的日志解析，都會(huì)用到regexp，比如最長用到的shell是獲取本機(jī)eth1的ip地址，我使用
  1. /sbin/ifconfig eth1 | grep -oP '(?<=inet addr:)[0-9.]{7,15}'
復(fù)制代碼
還發(fā)現(xiàn)grep配合-P使用，可以匹配多行，打破了grep傳統(tǒng)單行模式匹配的局限性，例子：
  1. lxmxn@shell.example $ cat test   
  2. this is china unix bbs
  3. we are learning regexp for : [ perl
  4.   vim
  5.   grep
  6.   sed
  7.   awk ]
  8. that's all. thanks.
  9. lxmxn@shell.example $ grep -oP '(?si:(?<=\[).*(?=\]))' test   
  10. perl
  11.   vim
  12.   grep
  13.   sed
  14.   awk
  15. lxmxn@shell.example $
復(fù)制代碼
作者: hengshan    時(shí)間: 2012-06-03 16:49
很少用到腳本語言啊
作者: lp279579561    時(shí)間: 2012-06-03 21:10
來學(xué)習(xí)一下...
作者: dooros    時(shí)間: 2012-06-03 23:57
當(dāng)年這位作者兄弟不是寫了本《正則表達(dá)式傻瓜書》，當(dāng)年還給了好多建議……
作者: Shell_HAT    時(shí)間: 2012-06-04 09:52
回復(fù) 45# wfade


\w 被稱作“word’字符：[A-Za-z0-9_]。如果你的“words”由通常的字母，數(shù)字，下劃線組成，那你將非常喜歡它。通常認(rèn)
為“word”由字母，連接符(-)，撇號（'）◆組成，我們希望能改變這種定義◆。因此使用它，請記住我們對“word”的定義，
字母，數(shù)字，下劃線組成。
◆至少，在英語中是這樣。在其它語言中，其words 由不同的符號組成。查看perllocale 的幫助手冊了解更多的信息。
◆當(dāng)查看ASCII 編碼的英語文本時(shí)，我們遇到單引號和撇號(')是相同字符的問題，因此很難說cat’是cat 和一個(gè)撇號( ')，還是cat 后接單引
號。這可能是計(jì)算機(jī)還不能接管世界的一個(gè)原因?。
當(dāng)然，\w 不能匹配單詞，而只能匹配單個(gè)字符。為了匹配整個(gè)單詞，需要后接加號。模式/fred \w+ barney/將匹配fred，空
格，一個(gè)“單詞（word）”，然后是空格和barney。因此，如果fred 和barney 之間有一個(gè)單詞◆，由單個(gè)空格分隔開，它將
能匹配上。
◆我們將停止在word 上加引號；現(xiàn)在你已經(jīng)知道其是由字母-數(shù)字-下劃線組成的。
作者: Shell_HAT    時(shí)間: 2012-06-04 09:54
回復(fù) 32# xiakedz


    *.txt這里的通配符是由Shell來處理的，而不是grep
作者: wenhq    時(shí)間: 2012-06-04 10:45
這書不錯(cuò)啊。。。。。。
正則表達(dá)式還是的對基礎(chǔ)要求要嚴(yán)一些。的強(qiáng)化基礎(chǔ)啊
最近在看perl什么的，很類似。
這樣才能學(xué)的很好。
作者: chenjintao_ii    時(shí)間: 2012-06-04 12:11
大學(xué)期間學(xué)的C，工作后直接上perl，正則表達(dá)式用的那叫一個(gè)爽。前幾天做linux一些應(yīng)用開發(fā)的時(shí)候又用到C，如何匹配字符串？char str_src[128], str_dest[4]; strncp();strcmp()...曾經(jīng)滄海難為水，感覺好凄涼。。。
問：C里有類似正則的做法嗎？或者有誰手頭有類似正則的函數(shù)不？
作者: chenjintao_ii    時(shí)間: 2012-06-04 12:14
回復(fù) 52# Shell_HAT


    很難說cat’是cat 和一個(gè)撇號( ')，還是cat 后接單引號。這可能是計(jì)算機(jī)還不能接管世界的一個(gè)原因?

這個(gè)解釋我好喜歡~~~
作者: 北極熊和企鵝    時(shí)間: 2012-06-04 14:01
搬個(gè)板凳坐下，坐等高手。呵呵
作者: wallcopper    時(shí)間: 2012-06-04 14:34
本帖最后由 wallcopper 于 2012-06-04 14:39 編輯

1、天天用vi，會(huì)逐漸理解正則表達(dá)式的字符，^$\等等 ？
以前真不明白\/和\\是啥意思。為不知道替換?或&特殊字符發(fā)愁。sed -i 's@\?tid=@\&tid=@g'  
2、grep,sed,awk等命令用得越多，接觸正則表達(dá)式也越多， ls  -l|grep ^d
3、apache和nginx配置多了，老和正則打交道
      if ($host = 'abc.com' ) {
                rewrite  ^/(.*)$  http://www.abc.com/$1  permanent;
        }
4、發(fā)現(xiàn)perl,bash,php,java,c,python,js,jsp等也老用到正則表達(dá)式
5、發(fā)現(xiàn)oracle語句中也用到正則
6、以前看sendmail.cf老看不明白大串的奇怪字符組合，后來才知道原來sendmail和Postfix都支持正則表達(dá)式
7、以前看人家寫的包含正則表達(dá)式的腳本，真是難懂，慢慢理解了才知道，原來都用得是正則表達(dá)式啊。
作者: to407    時(shí)間: 2012-06-04 16:42
回復(fù) 55# chenjintao_ii


    http://www.gnu.org/software/libc ... ar-Expressions.html
作者: zsc_ericluo    時(shí)間: 2012-06-04 18:33
正則小白圍觀，學(xué)習(xí)！
作者: milujite    時(shí)間: 2012-06-04 18:54
本帖最后由 milujite 于 2012-06-04 18:55 編輯

本期話題：
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？
2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？

1、文本過濾，我常用的文本編輯器是NOTEPAD++和VIM，NOTEPAD++的正則跟VIM還是沒得比的。如經(jīng)常要過濾掉配置文件里#開頭的，就":g/^#/d"，查找些匹配字段之類的。
2、日志分析過濾，形成報(bào)表，以前維護(hù)過MAIL服務(wù)器，郵件頭是包含各種各樣信息的，因此要獲取這些信息用于統(tǒng)計(jì)，還得靠正則。學(xué)習(xí)了PERL和PYTHON，實(shí)現(xiàn)同樣的功能，PERL和Python的正則匹配比shell腳本快好多，特別是大量日志要獲取某些值用于分析。PERL的正則引擎?zhèn)�人覺得是幾門常用腳本語言里最效率的，雖然現(xiàn)在很多人都已經(jīng)用PYTHON去取代PERL了。PCRE語法和GREP之類的正則語法還是有一定區(qū)別的，經(jīng)常會(huì)用混亂了。所以用GREP之類的干脆直接加-e。
作者: 南非螞蟻    時(shí)間: 2012-06-04 18:57
send_linux 發(fā)表于 2012-05-31 21:59
謝謝參與哈，對啊，做為運(yùn)維管理工作中，需要大量用到的腳本啥的，正則表達(dá)式是必不可少的吧，呵呵



正則是必不可少的��！
作者: Sevk    時(shí)間: 2012-06-04 20:12
提示: 作者被禁止或刪除 內(nèi)容自動(dòng)屏蔽
作者: to407    時(shí)間: 2012-06-05 00:56
回復(fù) 1# send_linux


在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？


     Regex主要是用來 寫腳本來完成工作中的細(xì)節(jié)問題， 另外 還用來看DB/OS的日志，過濾日志來得到需要的結(jié)果。


正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者


用多了就有感覺的， 講一些小細(xì)節(jié)吧～～

1。 要適當(dāng)了解DFA/NFA不同引擎的工具，對于Regex的解析不同～～這個(gè)在之前那本 精通正則表達(dá)式里面講了不少
     DFA的格式不支持回溯， NFA在特定情況下會(huì)比較慢。當(dāng)然現(xiàn)在不少是改進(jìn)過的NFA～～

2。 要注意不同的平臺上 工具的支持度不一樣。
    比如grep/egrep命令， 在目前的Linux平臺上支持得比較新， 但像在Solaris10上面，仍不支持grep -e(solaris11 已經(jīng)支持)， 需要 egrep來替代

    而像tr命令，在解釋下面一條命令時(shí)候則會(huì)出現(xiàn)不同平臺上不同答案(對于括號的解析不同)
    $ echo  '[]' | tr '[a-z]' A

    在一些平臺上，不支持'+'匹配，那么匹配空字符需要
    [[:space:]][[:space:]]* 來替代 [[:space:]]+

    下面這段小代碼，則在Linux/Solaris上面的運(yùn)行性能完全不一樣。在solaris設(shè)備上取隨機(jī)數(shù)再調(diào)head，當(dāng)行數(shù)較大時(shí)性能明顯變差。
    $expr 'NAME'`</dev/urandom tr -dc A-Za-z0-9_#$ | head -c29 |tr '[a-z]' '[A-Z]'`
    所以這段代碼我移植到Solaris上面的時(shí)候，攺了較多
    并且由于solaris10上面不支持 tr -c命令， 又不得不用sed/strings來完成，由于下面又不能保證結(jié)果長度， 不得不做幾次paste之后再截字符串
    $expr 'NAME'`sed 's/[^a-zA-Z0-9_$#]//g' /dev/urandom | strings -n 5 | head -1`


3。 一些常用的Regex可以記住～～         
    比如sed刪掉只有空字符的行
    $ sed '/^[[:space:]]*$/d'

4。 記得特殊字符或控制字符轉(zhuǎn)義
    比如上面說的[[:space:]]+ 在sed里面，需要把加號轉(zhuǎn)義成 [[:space:]]\+
    還有sed里面的范圍控制變量()需要轉(zhuǎn)義，但實(shí)際匹配的"("不需要轉(zhuǎn)義
    sed 's/\([[:alpha:]]\)(\([[:alpha:]]\)/\1 \2/g'

5。 一個(gè)腳本只做一件事。
    特別是在shell腳本中， 不要嘗試一下寫很長的匹配串，對于復(fù)雜事務(wù)，完全可以用多次簡單處理來做到的， 提高可讀性和可調(diào)試性能。
    一下子寫一串特別長的Regex匹配串并不一定明智，除非是在已經(jīng)充分驗(yàn)證或者成熟的大程序方案中，為了性能提升而考慮減少調(diào)用次數(shù)。

6。 區(qū)別貪婪/非貪婪模式(Greediness/Laziness)
    我的想法是，在條件判斷,比如判斷子字符串是否存在的時(shí)候，可以用非貪婪模式來解決。 而不用考慮有1次以上或者多種可能的匹配度。
    在perl等支持兩種模式的語言中，用得好，肯定是會(huì)對運(yùn)行性能提升有幫助的～～～


作者: lkk_super    時(shí)間: 2012-06-05 11:37
回復(fù) 55# chenjintao_ii


    pcre~~~~~
作者: seesea2517    時(shí)間: 2012-06-05 13:24
不是很會(huì)講這些東西，覺得經(jīng)常逛論壇，跟大家討論問題，幫助解答一些問題，以及看其他人的解法學(xué)習(xí)經(jīng)驗(yàn)，慢慢的就會(huì)了。經(jīng)常從別人的解法里學(xué)到一些解決問題的新思維，感覺收獲很多。

編程這東西理論要看，不能連基本的概念都分不清楚。但所謂紙上得來終覺淺，這個(gè)還得靠動(dòng)手才行。網(wǎng)上有什么單行腳本參考什么的，在拿來用之前有空自己實(shí)現(xiàn)一次，看看跟別人寫的有什么不一樣的地方，找到別人的方法和自己的方法之間的差別，想想為什么，想想不同的方法的區(qū)別是怎樣的，從而提高自己。

我一直覺得“正則表達(dá)式”的發(fā)明真是一種對規(guī)律的極大的概括和抽象，是一個(gè)很完美的概念。

題外話：
我發(fā)現(xiàn)我不是很會(huì)看“置頂”的帖子，因?yàn)槊看芜M(jìn)論壇上面都是一片置頂?shù)睦咸�，所以不�?huì)去認(rèn)真看有新貼置頂�？赡艿囊粋�(gè)解決辦法就是老的置頂帖用較不鮮艷的顏色，新的則用比較鮮艷的顏色。
作者: send_linux    時(shí)間: 2012-06-05 13:42
seesea2517 發(fā)表于 2012-06-05 13:24
不是很會(huì)講這些東西，覺得經(jīng)常逛論壇，跟大家討論問題，幫助解答一些問題，以及看其他人的解法學(xué)習(xí)經(jīng)驗(yàn)，慢 ...


收到您的建議了，我們現(xiàn)在也在很快的更新置頂帖了....
作者: su8610    時(shí)間: 2012-06-05 14:23
學(xué)習(xí)學(xué)習(xí):wink::wink:
作者: mcshell    時(shí)間: 2012-06-05 15:21
學(xué)習(xí)正則的后期就是如何處理減少回朔，提高效率
作者: 448395708    時(shí)間: 2012-06-05 23:55
正則好麻煩啊，用不好
作者: zheguzai    時(shí)間: 2012-06-06 09:45
回復(fù) 10# Shell_HAT

這個(gè)個(gè)很強(qiáng)大，正則表達(dá)式?jīng)]怎么用過，學(xué)習(xí)下。。。。


   
作者: Shell_HAT    時(shí)間: 2012-06-08 21:13
回復(fù) 72# 448395708


    學(xué)會(huì)之后可以提高效率
作者: rongpmcu    時(shí)間: 2012-06-10 22:01
湊湊熱鬧，呵呵。。。
作者: chenjintao_ii    時(shí)間: 2012-06-11 09:29
回復(fù) 66# lkk_super


    百度了下，PCRE果然是好東西
作者: chenjintao_ii    時(shí)間: 2012-06-11 09:42
還有幾個(gè)問題：
在一個(gè)目錄中（比如根目錄/）用grep搜索字符串，會(huì)跳出那些“Binary file ./usr/bin/dbus-launch matches”的提示，2>/dev/null也不能屏蔽它們，這提示是什么意思？還有，grep搜索的時(shí)候出現(xiàn)“No such file or directory”的提示，用2>/dev/null可以屏蔽，但是用grep -v "No such file or directory"不能屏蔽，這是為什么？{:2_168:}
作者: yizhengming    時(shí)間: 2012-06-11 09:50
perl的正則很強(qiáng)大　剛看完精通正則表達(dá)式　
作者: to407    時(shí)間: 2012-06-11 15:41
回復(fù) 83# chenjintao_ii


    兩個(gè)問題，
  
    1. “Binary file ./usr/bin/dbus-launch matches”
    這個(gè)問題你應(yīng)該考慮，為什么你要從一個(gè)binary file里去grep一行文字，是否有這個(gè)需求？
    請參閱grep -I 選項(xiàng)
       -I     Process a binary file as if it did not contain matching data; this is equivalent to the --binary-files=without-match option.

       --binary-files=TYPE
              If the first few bytes of a file indicate that the file contains binary data, assume that the file is of type TYPE.  By default, TYPE  is  binary,  and
              grep  normally outputs either a one-line message saying that a binary file matches, or no message if there is no match.  If TYPE is without-match, grep
              assumes that a binary file does not match; this is equivalent to the -I option.  If TYPE is text, grep processes a binary file as if it were text; this
              is  equivalent  to  the -a option.  Warning: grep --binary-files=text might output binary garbage, which can have nasty side effects if the output is a
              terminal and if the terminal driver interprets some of it as commands.



    2. 用grep -v "No such file or directory"不能屏蔽。。。
    這兩個(gè)問題有一點(diǎn)，你似乎沒有分清 stdout和stderr ？
    如果這個(gè)分不清的話。。。那還是去打打基本功吧先。
作者: 職業(yè)民工    時(shí)間: 2012-06-11 15:53
正則的東西太多了，還是把基礎(chǔ)打好！
作者: chenjintao_ii    時(shí)間: 2012-06-11 16:45
回復(fù) 85# to407

多謝賜教

   
stdout是經(jīng)過緩沖處理，而stderr沒有經(jīng)過緩沖處理；輸出到stderr的數(shù)據(jù)會(huì)直接被發(fā)送到終端。


這個(gè)是不是問題的答案了？
作者: to407    時(shí)間: 2012-06-11 17:17
回復(fù) 87# chenjintao_ii


    你能夠理解 2>/dev/null 的意思么， 還有你的兩處問題， 能分清是stdout和stderr么？
作者: zwld1    時(shí)間: 2012-06-11 18:42
新人一個(gè)，是來參觀學(xué)習(xí)的。)
作者: chenjintao_ii    時(shí)間: 2012-06-12 09:11
to407 發(fā)表于 2012-06-11 17:17
回復(fù) 87# chenjintao_ii


”No such file or directory“是一個(gè)stderr，2>/dev/null就是將stderr輸出到/dev/null設(shè)備，即不通過顯示器輸出。
而且stdout經(jīng)過緩沖處理，所以能用grep對其內(nèi)容進(jìn)行二次處理。
但stderr直接輸出到終端，無法再對它們的內(nèi)容進(jìn)行加工處理，只能將其引導(dǎo)到其他設(shè)備輸出。所以grep -v "No such file or directory"命令對stderr無效，而2>/dev/null能達(dá)到我的目的（阻止其輸出到顯示屏上）。

以上是我的理解。
BR
作者: bear_wangc    時(shí)間: 2012-06-12 10:20
在我日常工作中使用正則表達(dá)式解決一些ngx上的一些web跳轉(zhuǎn)
如：
if ($request_uri ~* "([0-9]+)-([0-9]+)_right\.html\?cid=([0-9]+)$"){
        set $fid $1;
        set $gid $3;
        rewrite (.*) /forum-$fid-1-$gid-gid.html? permanent;
}
一些處理帶問號的鏈接
作者: blackold    時(shí)間: 2012-06-12 12:19

以前用過 dos 的 glob 匹配，覺得那個(gè)功能很好用，后來使用 word 時(shí)，覺得它的查找替
換功能也十分便利，還支持“弱智的正則”(這是現(xiàn)在的看法了，當(dāng)時(shí)覺得很“高級”很NB)。
隨著自己對查找(匹配)的要求越來越高，就想，要是有一種更加“聰明”更加“智能”的
搜索方法該多好啊。直到有一天偶然碰上了正則表達(dá)式，“這正是自己苦苦尋找的好東西
啊”，真是相見恨晚！

正則無處不在，完全可以這樣說。它是一種搜索模式，它存在于我們每天的生活中，存在
于世界的各個(gè)角落，無時(shí)無刻。

時(shí)刻離不開正則：使用 shell 命令(如 grep, sed, awk……等等)時(shí)，編輯文本時(shí)，搜索
數(shù)據(jù)時(shí)……UNIX 下的各種工具幾乎到處都可見正則的倩影，一旦了解了正則的基本知識，
就會(huì)大幅度地提高效率——操作的效率和代碼的效率。甚至是當(dāng)你尋找某個(gè)人的時(shí)候,其實(shí)你
也是在使用正則。

比如，你曾經(jīng)編輯一個(gè)文件，現(xiàn)在忘了存放在哪個(gè)目錄了，如何快速從千萬個(gè)文件中找到它？
grep! 指定恰當(dāng)?shù)恼齽t，grep 就會(huì)快速地幫你找到你要的文件。

你想把代碼中多次出現(xiàn)的某個(gè)函數(shù)名修改為另一個(gè)更加合適的名字，不要愚蠢地手動(dòng)修改，
編輯器都有(如果沒有，你還用它干嗎？)支持正則的全局替換命令，一個(gè)命令就好了。

我正在用vim寫這個(gè)貼子，把中文的句號(“�！�)全部誤寫成“.”。不用擔(dān)心，不用管它，
最后用一個(gè)命令:%s/\./。/g全部替換就好了。(我的文本里不需要“.”,除非用來舉例的
這幾個(gè)。)

應(yīng)用的例子舉不勝舉，但萬變不離其宗，本質(zhì)就是匹配(查找)。

不同的工具所支持的正則(正則引擎)也有所不同。大體上說，大同小異。

最好先易后難，從學(xué)習(xí)比較簡單的 POSIX BRE 和 POSIX ERE 開始, 通過grep學(xué)習(xí)基本的
正則，對正則有一個(gè)基本的感性認(rèn)識。

掌握了正則的基礎(chǔ)后，再學(xué)習(xí)其它工具的正則就顯得簡單容易多了。不過，碰到問題時(shí)你
還是要參考相應(yīng)工具的手冊，也許該工具有本身的正則擴(kuò)展或比較特殊的功能。要精通正
則，還需要不斷地努力。

Perl 應(yīng)該是正則之王。如果你喜歡正則，想體驗(yàn)正則的強(qiáng)悍，那你不能不了解 Perl。

作者: to407    時(shí)間: 2012-06-12 14:00
回復(fù) 90# chenjintao_ii


    恩 還有一個(gè)小地方，就是 pipe+grep 處理的是pipe前面一段命令的stdout，這跟是否有緩存沒什么關(guān)系，grep在這邊就是接著管道的 所以grep只是在處理前面的stdout。


你可以自己拿一個(gè)例子來試， cd到一個(gè)空目錄下面。
想想 下面幾處grep有什么不一樣的結(jié)果 就明白了。

  2. # alias grep='grep --color=auto'
  3. # LANG=
  4. # ls bb |grep "DD"
  5. # ls bb |grep "bb"
  6. # ls bb 2>&1|grep "bb"
復(fù)制代碼
作者: chenjintao_ii    時(shí)間: 2012-06-12 14:44
回復(fù) 93# to407


    換句話說：
ls bb命令會(huì)蹦出“No such file or directory”的提示
ls bb 2>/dev/null 提示消失
ls bb |grep -v "No such file or directory"提示不消失，因?yàn)楣艿捞幚聿涣藄tderr的輸出
ls bb 2>&1 |grep -v "No such file or directory" 提示消失，stderr重定向到stdout，管道能處理了

你分析得很透徹，非常感謝。
作者: to407    時(shí)間: 2012-06-12 15:13
回復(fù) 94# chenjintao_ii


    great :wink:
作者: canyang0708    時(shí)間: 2012-06-12 15:25
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？
主要是對日志進(jìn)行分析,匹配出自己需要的字段
2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？
只了解shell,沒什么經(jīng)驗(yàn),只是每寫一次腳本都會(huì)有一定的收獲,寫的越多,得到的也越多
作者: renxiao2003    時(shí)間: 2012-06-12 22:09
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？

我在工作中主要是用正在表達(dá)式的地方在：Shell中用于文件內(nèi)容的處理，Javascript中用于Web頁面內(nèi)容的校驗(yàn)（如Email，電話，郵政編碼等等），以及在PHP中使用正則表達(dá)式。在Java中也會(huì)用到一些。
2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？

我對于正則表達(dá)式的學(xué)習(xí)，不管是在那個(gè)語言中使用，首先要把正則表達(dá)式的核心部分學(xué)習(xí)好，我經(jīng)�？吹氖恰�30分鐘學(xué)習(xí)正在表達(dá)式》，至于在各個(gè)語言和腳本中的差別，就得參考各種語言腳本的手冊來使用就OK了。
作者: yurii    時(shí)間: 2012-06-13 21:52
大家好，我是《正則指引》的作者余晟，抱歉來晚了，看大家討論熱火朝天，我先瀏覽一遍，再和各位討論。
作者: 青蛙咕啦咕啦    時(shí)間: 2012-06-13 22:32
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？
我用到的都是在實(shí)際場景下，正則只是其中的一點(diǎn)。
a) 以前公司的產(chǎn)品在處理日志時(shí)，需要匹配日志，解析日志中的變量，這個(gè)是最簡單的，用到的正則匹配工具Regular.exe、RegexBuddy.exe、Regex Match Tracer
  1. IDS事件：
  2. <82>IDSName:msensorgiga3;EventName:snmp_uservars:bad_commname;Count:1;SIP:10.28.3.99;1052;DIP:10.28.47.17;161;Time:2005-03-18 03:50:51;Type:^ce^b4^d6^aa;Severity:^d6^d0^b7^e7^cf^d5;Bad SNMP community name from 10.28.3.99 to 10.28.47.17
  3. <82>IDSName:msensorgiga3;EventName:dns_labels:binary;Count:1;SIP:10.28.8.100;15000;DIP:210.22.14.9;53;Time:2005-03-18 03:50:31;Type:^b9^a5^bb^f7;Severity:^d6^d0^b7^e7^cf^d5;10.28.8.100 -> 210.22.14.9 id 14080 DNS label contains binary data
  4. <82>IDSName:msensorgiga3;EventName:www2_uservars:unsafe_method;Count:1;SIP:10.28.70.7;4862;DIP:10.0.241.102;80;Time:2005-03-18 03:50:22;Type:^b9^a5^bb^f7;Severity:^d6^d0^b7^e7^cf^d5;10.28.70.7 -> 10.0.241.102: Unsafe method seen: POLL
  5. <82>IDSName:msensorgiga3;EventName:tftp_opcode;Count:1;SIP:10.28.7.96;15000;DIP:221.214.148.244;69;Time:2005-03-21 17:26:40;Type:探測;Severity:中風(fēng)險(xiǎn);10.28.7.96 -> 221.214.148.244: Suspicious opcode in TFTP transfer
  6. <82>IDSName:msensorgiga3-4507;EventName:tftp_opcode;Count:1;SIP:10.28.4.154;57777;DIP:211.244.33.95;69;Time:2005-04-03 20:22:02;Type:探測;Severity:中風(fēng)險(xiǎn);10.28.4.154 -> 211.244.33.95: Suspicious opcode in TFTP transfer
  7. <82>IDSName:Sensor-B;EventName:snmp_uservars:bad_commname;Count:1;SIP:132.194.68.102;60856;DIP:10.28.68.121;161;Time:2007-03-21 18:44:14;Type:未知;Severity:中風(fēng)險(xiǎn);Bad SNMP community name from 132.194.68.102 to 10.28.68.121
  8. 判別規(guī)則：
  9. <\d+>IDSName:([^;]+);EventName:([^:]+):([^;]+);Count:(\d+);SIP:([^;]+);(\d+);DIP:([^;]+);(\d+);Time:([^;]+);Type:([^;]+);Severity:([^;]+);([^;]+)
  10. <\d+>IDSName:([^;]+);EventName:([^;]+);Count:(\d+);SIP:([^;]+);(\d+);DIP:([^;]+);(\d+);Time:([^;]+);Type:([^;]+);Severity:([^;]+);([^;]+)
復(fù)制代碼
b) 自定義unix系統(tǒng)登錄日志，其中需要獲取登錄用戶名、IP等信息時(shí)，也只是簡單的使用cut、grep、awk等。嘿嘿，不過以下代碼的完整文檔可是我的心血。感興趣的兄弟自行研究。
  1. # Add content in /etc/profile
  2. # Log "bash sh ksh" user login and command history
  3. up_client_ip=`(who am i|cut -d\( -f2|cut -d\) -f1)`
  4. if ( test -z "`echo $up_client_ip|awk '($1 ~/[0-9]+.[0-9]+.[0-9]+.[0-9]+/)'`" )
  5. then
  6. up_client_ip=`awk '/'$up_client_ip'/ {print $1}'  /etc/hosts`
  7. fi
  8. up_nowtime=`(date +"%Y-%m-%d %T")`
  9. logger -p user.notice -- class=\"HOST_LOGIN\" type=\"2\" time=\"$up_nowtime\" src_ip=\"$up_client_ip\" dst_ip=\"192.168.100.90\" primary_user=\"\" secondary_user=\"`id|cut -d\( -f2|cut -d\) -f1`\" operation=\"\" content=\"login successful\" authen_status=\"Success\" log_level=\"1\" session_id=\"$$\" 2>/dev/null
  10. case "$0" in
  11. -bash)
  12.         export PROMPT_COMMAND='logger -p user.notice -- class=\"HOST_COMMAND\" type=\"3\" time=\"`date +"%Y-%m-%d %T"`\" src_ip=\"$up_client_ip\" dst_ip=\"192.168.100.90\" primary_user=\"\" secondary_user=\"`id|cut -d\( -f2|cut -d\) -f1`\" operation=\"$(history 1 | { read x y; echo $y; })\" content=\"command\" authen_status=\"\" log_level=\"1\" session_id=\"$$\" 2>/dev/null;'
  13.         ;;
  14. -ksh)
  15. function log2syslog
  16. {
  17.                 logger -p user.notice -- class=\"HOST_COMMAND\" type=\"3\" time=\"`date +"%Y-%m-%d %T"`\" src_ip=\"$up_client_ip\" dst_ip=\"192.168.100.90\" primary_user=\"\" secondary_user=\"`id|cut -d\( -f2|cut -d\) -f1`\" operation=\"`fc -ln -0`\" content=\"command\" authen_status=\"\" log_level=\"1\" session_id=\"$$\" 2>/dev/null;
  18. }
  19.         trap log2syslog DEBUG;
  20.         ;;
  21. esac
  22. readonly up_client_ip
  23. readonly up_nowtime
  24. readonly PROMPT_COMMAND
復(fù)制代碼
c) 公司要分析統(tǒng)計(jì)WEB日志中一些攻擊行為，然后就有了這么一個(gè)腳本。說明下，WEB日志是以IP為目錄，目錄下存放日志文件，日志文件名中包含日期。keywords文件定義關(guān)鍵字，server_ip定義要分析的WEB日志IP。
  1. logdir=/var/log/netscaler
  2. analysedir=/var/www/html/seclog
  3. yesterday=`(date -d yesterday +"%Y-%m-%d")`
  4. today=`(date +"%Y-%m-%d")`

  6. function LOG_ANALYSE
  7. {
  8. cd $analysedir
  9. echo $SERVER_IP
  10. if [ ! -d $SERVER_IP ];
  11.         then mkdir $SERVER_IP;
  12. fi
  13. if [ ! -d $SERVER_IP/$yesterday ];
  14.         then mkdir $SERVER_IP/$yesterday;
  15.         else rm -rf $SERVER_IP/$yesterday/*;
  16. fi
  17. for VALUE in `cat keywords |egrep -v "^$|^#"|awk -F"=" '{print $2}'`;
  18.     do
  19.         KEY=`grep "=$VALUE" keywords|egrep -v "^$|^#"|cut -d\= -f1`;
  20.         grep -i "$VALUE" $logdir/$SERVER_IP/*$yesterday.log* >>$SERVER_IP/$yesterday/"$SERVER_IP"_"$KEY".result;
  21. done
  22. cd $SERVER_IP/$yesterday/
  23. awk '{print $3"\t"$9}' *.result >>analyse_"$yesterday"
  24. #sed -r 's/.* (\S+) \S+ HTTP \S+ \S+ \S+ (\S+) .*/\1 \2/'*.result >>analyse_"$yesterday"
  25. echo "url                                獨(dú)立IP數(shù)                       pv">>count_"$yesterday"
  26. echo "--------------------------------------------------------------------">>count_"$yesterday"
  27. awk '{a[$2]++;if(!b[$2"_"$1]){b[$2"_"$1]=1;n[$2]++}}END{for(i in a) printf "%-45s %-20s %s\n",i,n[i],a[i]}' analyse_"$yesterday" | sort -k3n >>count_"$yesterday"
  28. echo "IP                                 訪問URL數(shù)                   次數(shù)">>count_"$yesterday"
  29. echo "--------------------------------------------------------------------">>count_"$yesterday"
  30. awk '{a[$1]++;if(!b[$1"_"$2]){b[$1"_"$2]=1;n[$1]++}}END{for(i in a) printf "%-45s %-20s %s\n",i,n[i],a[i]}' analyse_"$yesterday" | sort -k3n >>count_"$yesterday"
  31. cd $analysedir
  32. }
  33. for SERVER_IP in `cat $analysedir/server_ip|egrep -v "^$|^#"`;
  34.     do LOG_ANALYSE;
  35. done
  36. cd $analysedir
  37. cat /dev/null >$analysedir/analyse_"$yesterday"_all
  38. cat /dev/null >$analysedir/count_"$yesterday"_all
  39. for SERVER_IP in `cat $analysedir/server_ip|egrep -v "^$|^#"`;
  40.     do cat $analysedir/$SERVER_IP/$yesterday/analyse_"$yesterday" >>$analysedir/analyse_"$yesterday"_all;
  41. done
  42. echo "url                                獨(dú)立IP數(shù)                       pv">>$analysedir/count_"$yesterday"_all
  43. echo "--------------------------------------------------------------------">>$analysedir/count_"$yesterday"_all
  44. awk '{a[$2]++;if(!b[$2"_"$1]){b[$2"_"$1]=1;n[$2]++}}END{for(i in a) printf "%-45s %-20s %s\n",i,n[i],a[i]}' analyse_"$yesterday"_all | sort -k3n >>$analysedir/count_"$yesterday"_all
  45. echo "IP                                 訪問URL數(shù)                   次數(shù)">>$analysedir/count_"$yesterday"_all
  46. echo "--------------------------------------------------------------------">>count_"$yesterday"_all
  47. awk '{a[$1]++;if(!b[$1"_"$2]){b[$1"_"$2]=1;n[$1]++}}END{for(i in a) printf "%-45s %-20s %s\n",i,n[i],a[i]}' analyse_"$yesterday"_all | sort -k3n >>$analysedir/count_"$yesterday"_all
復(fù)制代碼
d) 檢查日志中是否包括敏感信息，如信用卡號、身份證號等，寫了個(gè)簡單的腳本，就用grep、egrep。
  1. ####################################################
  2. echo "log contain ID Number:"
  3. echo "-------------------------------------------"
  4. egrep -a "\b[0-9]{6}[1|2][8|9|0][0-9]{2}0[1-9][0-3][0-9][0-9]{3}[0-9x]\b|\b[0-9]{6}[1|2][8|9|0][0-9]{2}1[0-2][0-3][0-9][0-9]{3}[0-9x]\b|\b[0-9]{6}[0-9]{2}0[1-9][0-9]{5}\b|\b[0-9]{6}[0-9]{2}1[0-2][0-9]{5}\b|持卡人證件號" */*
  5. echo
  6. echo
  7. ####################################################
  8. echo "log contain Credit card number:"
  9. echo "-------------------------------------------"
  10. #egrep  "4[0-9]{15}|4[0-9]{12}|5[1-5][0-9]{14}|6011[0-9]{12}|65[0-9]{14}|3[47][0-9]{13}|30[0-5][0-9]{11}|3[68][0-9]{12}|2131[0-9]{11}|1800[0-9]{11}|35[0-9]{3}[0-9]{11}" */*
  11. egrep -a  "\b4[0-9]{15}\b|\b4[0-9]{12}\b|\b5[1-5][0-9]{14}\b|\b6011[0-9]{12}\b|\b65[0-9]{14}\b|\b3[47][0-9]{13}\b|\b30[0-5][0-9]{11}\b|\b3[68][0-9]{12}\b|\b2131[0-9]{11}\b|\b1800[0-9]{11}\b|\b35[0-9]{3}[0-9]{11}\b|BankCardNumber" */*
  12. echo
  13. echo
  14. ####################################################
復(fù)制代碼
e) 檢查后門，這個(gè)用的網(wǎng)上現(xiàn)成的代碼。
  1. #!/usr/bin/python
  2. #-*- encoding:UTF-8 -*-
  3. ###
  4. ## @package
  5. ##
  6. ## @author      CFC4N   <cfc4nphp@gmail.com>
  7. ## @copyright   copyright (c) Www.cnxct.Com
  8. ## @Version     $Id: check_php_shell.py 37 2010-07-22 09:56:28Z cfc4n $
  9. ###
  10. import os
  11. import sys
  12. import re
  13. import time
  14. def listdir(dirs,liston='0'):
  15.     flog = open(os.getcwd()+"/check_php_shell.log","a+")
  16.     if not os.path.isdir(dirs):
  17.         print "directory %s is not exist"% (dirs)
  18.         return
  19.     lists = os.listdir(dirs)
  20.     for list in lists:
  21.         filepath = os.path.join(dirs,list)
  22.         if os.path.isdir(filepath):
  23.             if liston == '1':
  24.                 listdir(filepath,'1')
  25.         elif os.path.isfile(filepath):
  26.             filename = os.path.basename(filepath)
  27.             if re.search(r"\.(?:php|inc|html?)$", filename, re.IGNORECASE):
  28.                 i = 0
  29.                 iname = 0
  30.                 f = open(filepath)
  31.                 while f:
  32.                     file_contents = f.readline()
  33.                     if not file_contents:
  34.                         break
  35.                     i += 1
  36.                     match = re.search(r'''(?P<function>\b(?:include|require)(?:_once)?\b)\s*\(?\s*["'](?P<filename>[^;]*(?<!\.(?:php|inc)))["']\)?\s*''', file_contents, re.IGNORECASE| re.MULTILINE)
  37.                     if match:
  38.                         function = match.group("function")
  39.                         filename = match.group("filename")
  40.                         if iname == 0:
  41.                             info = '\n[%s] :\n'% (filepath)
  42.                         else:
  43.                             info = ''
  44.                         info += '\t|-- [%s] - [%s]  line [%d] \n'% (function,filename,i)
  45.                         flog.write(info)
  46.                         print info
  47.                         iname += 1
  48.                     match = re.search(r'\b(?P<function>eval|proc_open|popen|shell_exec|exec|passthru|system)\b\s*\(', file_contents, re.IGNORECASE| re.MULTILINE)
  49.                     if match:
  50.                         function = match.group("function")
  51.                         if iname == 0:
  52.                             info = '\n[%s] :\n'% (filepath)
  53.                         else:
  54.                             info = ''
  55.                         info += '\t|-- [%s]  line [%d] \n'% (function,i)
  56.                         flog.write(info)
  57.                         print info
  58.                         iname += 1
  59.                     match = re.search(r'(^|(?<=;|=))\s*`(?P<shell>[^`]+)`\s*;', file_contents, re.IGNORECASE)
  60.                     if match:
  61.                         shell = match.group("shell")
  62.                         if iname == 0:
  63.                             info = '\n[%s] :\n'% (filepath)
  64.                         else:
  65.                             info = ''
  66.                         info += '\t|-- [``] command is [%s] in line [%d] \n'% (shell,i)
  67.                         flog.write(info)
  68.                         print info
  69.                         iname += 1
  70.                 f.close()
  71.     flog.close()
  72. if '__main__' == __name__:
  73.     argvnum = len(sys.argv)
  74.     liston = '0'
  75.     if argvnum == 1:
  76.         action = os.path.basename(sys.argv[0])
  77.         print "Command is like:\n   %s D:\wwwroot\ \n   %s D:\wwwroot\ 1    -- recurse subfolders"% (action,action)
  78.         quit()
  79.     elif argvnum == 2:
  80.         path = os.path.realpath(sys.argv[1])
  81.         listdir(path,liston)
  82.     else:
  83.         liston = sys.argv[2]
  84.         path = os.path.realpath(sys.argv[1])
  85.         listdir(path,liston)
  86.     flog = open(os.getcwd()+"/check_php_shell.log","a+")
  87.     ISOTIMEFORMAT='%Y-%m-%d %X'
  88.     now_time = time.strftime(ISOTIMEFORMAT,time.localtime())
  89.     flog.write("\n----------------------%s checked ---------------------\n"% (now_time))
  90.     flog.close()
復(fù)制代碼
2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？
a) 入門看《正則表達(dá)式30分鐘入門教程》，看完基本的就會(huì)了，然后用我上面說的那幾個(gè)工具試試，很容易上手；
b) 要想了解的深，就得有相應(yīng)的場景使你可以去不斷的研究那些語法。比如在上面提到的日志匹配，在實(shí)際過程中用到比較多的有界定（通過什么來界定位置，比如\b）、零寬斷言、捕獲、單行、多行、不匹配大小寫等，這里就不詳細(xì)說了，大家用不到。
c) 不同語言中的正則表達(dá)式會(huì)有所不同，比如java、perl、shell中可以使用的都會(huì)有不同，這個(gè)看相應(yīng)的說明就行了。
d) 單純的學(xué)習(xí)正則表達(dá)式不難，更多的是結(jié)合其他語言來完成特定的任務(wù)。
e) 測試正則表達(dá)式的效率可以使用RegexBuddy.exe看詳細(xì)的匹配過程，匹配次數(shù)。一般來講能明確的就明確，比如改用\d{1,3}就不用.*等；能限定的就限定，比如\w{1,3}就不用\w+，等等。網(wǎng)上也有一些資料。
f) 最好有實(shí)際場景來解答，這樣才學(xué)得快。
作者: incle    時(shí)間: 2012-06-14 17:58
可以說一切表達(dá)皆正則么？ 正則告訴我們我們的表達(dá)都是有規(guī)律可循的，都符合一定的模式，通過正則匹配，我們可以找到我們想要的藏在茫�；ヂ�(lián)網(wǎng)中的一切東西，網(wǎng)頁抓取，數(shù)據(jù)整理，這都離不開正則

說得好。
作者: send_linux    時(shí)間: 2012-06-15 13:58
yurii 發(fā)表于 2012-06-13 21:52
大家好，我是《正則指引》的作者余晟，抱歉來晚了，看大家討論熱火朝天，我先瀏覽一遍，再和各位討論。


余老師，神龍見首不見尾啊，呵呵，又不見啦
作者: wyw5257    時(shí)間: 2012-06-15 16:23
支持
作者: kingbigeast    時(shí)間: 2012-06-17 01:08
本帖最后由 kingbigeast 于 2012-06-17 01:11 編輯

學(xué)習(xí)正則表達(dá)式是從余晟翻譯的《精通正則表達(dá)式》開始的，由于用vim的時(shí)發(fā)現(xiàn)很多時(shí)候都要用正則表達(dá)式。
從最基本的“錨點(diǎn)”、特殊符號，這些都是以前稍微明白一點(diǎn)的，而且不難上手。真正有意思的是在了解了諸如“匹配優(yōu)先”，“忽略優(yōu)先”，“固化分組”等等概念，還有不同引擎采用的不同思想：傳統(tǒng)的NFA就是非確定有窮狀態(tài)自動(dòng)機(jī)，是表達(dá)式主導(dǎo)的，就是匹配的結(jié)果根據(jù)regex的增長而逐漸確定。而DFA是文本主導(dǎo)。每一次匹配，其實(shí)就是在文本空間做了一次搜索，不同的搜索策略的結(jié)果是一樣的，就像BFS和DFS。由于NFA是表達(dá)式主導(dǎo)，所以表達(dá)式的質(zhì)量直接關(guān)系到搜索效率。
【以上基本是我讀書的心得�！�
舉一些我現(xiàn)在能想到的例子：
一
在調(diào)試代碼的時(shí)候，會(huì)很頻繁地添加和注釋一些測試代碼。在vim中，可以用一些鍵綁定特定的regex來實(shí)現(xiàn)：

  2. vmap <silent> <Leader>/ :s_^\(\s\)\?_\1//<CR>
  3. vmap <silent> <Leader>\ :s_^\(\s\)\?//_\1<CR>
復(fù)制代碼
以上是C++里的注釋和去注釋，把斜杠換成#也可以在shell腳本中使用。
vim里的正則應(yīng)該跟sed比較像，可能你注意到了，s替換的時(shí)候不是用/分隔的，而是下劃線，這個(gè)特性我首先在sed中遇到，當(dāng)模式中含有斜杠的時(shí)候特別有用。
二
*nux下很多工具的輸出都是純文本的，就是為了方便處理。而處理文本的工具必須要用正則表達(dá)式。
例如我想知道自己的IP，并把它賦給一個(gè)變量，首先用ifconfig得到包含本機(jī)IP的信息字符串，然后用grep找到感興趣的行，最后用cut找到感興趣的域：

  2. $ifconfig eth0 | grep "inet addr" | cut -d: -f2 | cut -d" " -f1
復(fù)制代碼
當(dāng)然這里并沒用到什么高級的技巧。但有時(shí)候這個(gè)功能很需要，比如要用ffmpeg截取屏幕視頻，要先知道窗口的坐標(biāo)，xwininfo可以得到窗口信息，但要用grep或sed處理才能過濾出想要的結(jié)果。
三
再舉一個(gè)Shell里用regex的例子。比如現(xiàn)在一直一個(gè)絕對路徑，我要找到它的文件名和后綴名可以這樣：

  2. $filepath=/home/bigeast/Desktop/try/te.c
  3. $filename=${filepath##*/}                #now $filename is te.c
  4. $filetype=${filename##.}                #now $filetype is c
  5. $file=${filename%*.c}                        #now $file is te
復(fù)制代碼
兩個(gè)#代表從做向右找最長的匹配（匹配優(yōu)先），而一個(gè)%表示從右向左找最短的匹配（忽略優(yōu)先）。

時(shí)間不早了，暫且寫這么多，第一次上chinaunix，感覺氛圍還不錯(cuò)。
作者: Bean_lee    時(shí)間: 2012-06-17 10:06
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？
1 利用正則表達(dá)式解析用戶輸入的配置，或者配置文件里面的配置，
2 分析日志中的信息。
3 用戶輸入合法性的檢測。比如用戶輸入一個(gè)IP，你必須檢測用戶輸入的IP正確與否。

2、正則表達(dá)式的用法在各個(gè)語言、腳本里面略有不同，你有什么學(xué)習(xí)經(jīng)驗(yàn)可以分享給初學(xué)者？
各種語言都有對正則表達(dá)式的支持，從我日常的C，Javascript，PHP， python，各種語言都支持正則表達(dá)式，
我們一向認(rèn)為的不太適合解析字串的C也有對正則表達(dá)式的支持，但是C也有庫來支持這個(gè)正則表達(dá)式。筒子們可以自行
百度regexec，js比較方便，有 RegExp 對象。

學(xué)習(xí)正則表達(dá)式，首先要理解正則表達(dá)式的規(guī)則，至于各種語言對正則表達(dá)式的支持，理解了正則表達(dá)式，自然也就水到渠成了。
作者: send_linux    時(shí)間: 2012-06-17 12:12
Bean_lee 發(fā)表于 2012-06-17 10:06
1、在你的日常工作中會(huì)使用正則表達(dá)式解決什么樣的問題？
1 利用正則表達(dá)式解析用戶輸入的配置，或者配置文 ...


真是個(gè)潛水牛人啊，呵呵
作者: to407    時(shí)間: 2012-06-18 11:02
回復(fù) 101# kingbigeast


   
vim里的正則應(yīng)該跟sed比較像，可能你注意到了，s替換的時(shí)候不是用/分隔的，而是下劃線，這個(gè)特性我首先在sed中遇到，當(dāng)模式中含有斜杠的時(shí)候特別有用。


  這邊就是sed， sed的分隔符 其實(shí)可以用任意非特殊字符~~~比如abc~~

  后面這個(gè)字符串用'##'截取字符串的話， 應(yīng)該是通配符"wildcard char"，不算RE
作者: kingbigeast    時(shí)間: 2012-06-18 16:02
本帖最后由 kingbigeast 于 2012-06-18 16:03 編輯

回復(fù) 104# to407

寫得太匆忙，領(lǐng)教了。
作者: to407    時(shí)間: 2012-06-18 16:24
回復(fù) 105# kingbigeast


    恩 第一點(diǎn) 我的意思是 任意可打印字符， 只要是所在命令行或者被包裹程序不需要轉(zhuǎn)義的字符都可以拿來用， 甚至簡單的 'a' 字符也行

    舉個(gè)例子~~~

  2. -bash-3.00$ cat dbm.env
  3. export ORACLE_SID=orcl1

  5. -bash-3.00$ sed 'saORACLEaDATABASEag' dbm.env
  6. export DATABASE_SID=orcl1
復(fù)制代碼




歡迎光臨 Chinaunix (http://72891.cn/) Powered by Discuz! X3.2