- 論壇徽章:
- 23
|
轉(zhuǎn)載一下,好象還沒人發(fā)過awk1line的中文版。- AWK單行腳本快速參考 2008年4月28日
- 編輯: Eric Pement eric [at] pement.org 版本 0.26
- 翻譯: 董一粟 yisudong [at] gmail.com
- 最新英文版本文件發(fā)布在以下地址:
- http://www.pement.org/awk/awk1line.txt
- 最新中文翻譯版本文件發(fā)布在以下地址:
- http://ximix.org/translation/awk1line_zh-CN.txt
- 翻譯問題歡迎聯(lián)系我:
- http://hi.baidu.com/ximix/blog/item/e9334cc2204fa330e5dd3bf2.html
- 用法:
- Unix: awk '/pattern/ {print "$1"}' # 標(biāo)準(zhǔn) Unix shell環(huán)境
- DOS/Win: awk '/pattern/ {print "$1"}' # DJGPP 可編譯通過
- awk "/pattern/ {print \"$1\"}" # GnuWin32,UnxUtils,Mingw環(huán)境
- 需要特別注意的是,DJGPP編譯器可以允許awk腳本使用Unix的引號語法
- '/like/ {"this"}'。但是,用戶必須知道在DOS/Windows環(huán)境下,使用CMD.EXE或者
- COMMAND.COM程序的話,單引號并不能保護重定向符號(<, >)和管道(|)。
- 如果使用雙引號的話,在DOS/CMD命令解釋器下的特殊符號和他們的特殊含義都
- 會被忽略。如果你的命令提示符是bash、ksh或者其他的Unix終端,單引號和雙引號
- 會沿用Unix標(biāo)準(zhǔn)的用法。
- 同樣,DOS/Win用戶必須記住用,百分號(%)用來標(biāo)記DOS/Win環(huán)境變量,
- 如果想要在awk使用的話,需要使用雙百分號(%%)來表示一個百分號%。
- 如果我能確定一個腳本不需要被指出是使用在Unix, DOS或者CMD環(huán)境下,我通常
- 會省略引號。如果一個例子是GNU awk所特有的,將會用 'gawk'命令來代替。如
- 果你發(fā)現(xiàn)錯誤或者新的命令想要添加到這個列表里(總長度控制在65個字符一下)
- ,請通知我。首先我經(jīng)常會嘗試去寫一個最短字符的腳本。為了省空間,我通常使用
- '1'來代替'{print}'去打印每行,兩種寫法都能正確運行。
- 文本間隔:
- # 每行后面增加一行空行
- awk '1;{print ""}'
- awk 'BEGIN{ORS="\n\n"};1'
- # 每行后面增加一行空行。輸出文件不會包含連續(xù)的兩個或兩個以上的空行
- # 注意:在Unix系統(tǒng), DOS行包括的 CRLF (\r\n) 通常會被作為非空行對待
- # 因此 'NF' 將會返回TRUE。
- awk 'NF{print $0 "\n"}'
- # 每行后面增加兩行空行
- awk '1;{print "\n"}'
- 編號和計算:
- # 以文件為單位,在每句行前加上編號 (左對齊)
- # 使用制表符 (\t) 來代替空格可以有效保護頁變的空白。
- awk '{print FNR "\t" $0}' files*
- # 用制表符 (\t) 給所有文件加上連貫的編號。
- awk '{print NR "\t" $0}' files*
- # 以文件為單位,在每句行前加上編號 (編號在左,右對齊)
- # 如果在DOS環(huán)境下,需要寫兩個'%'
- awk '{printf("%5d : %s\n", NR,$0)}'
- # 給非空白行的行加上編號
- # 記得Unix對于 \r 的處理的特殊之處。(上面已經(jīng)提到)
- awk 'NF{$0=++a " :" $0};{print}'
- awk '{print (NF? ++a " :" :"") $0}'
- # 計算行數(shù) (模擬 "wc -l")
- awk 'END{print NR}'
- # 計算每行每個區(qū)域之和
- awk '{s=0; for (i=1; i<=NF; i++) s=s+$i; print s}'
- # 計算所有行所有區(qū)域的總和
- awk '{for (i=1; i<=NF; i++) s=s+$i}; END{print s}'
- # 打印每行每區(qū)域的絕對值
- awk '{for (i=1; i<=NF; i++) if ($i < 0) $i = -$i; print }'
- awk '{for (i=1; i<=NF; i++) $i = ($i < 0) ? -$i : $i; print }'
- # 計算所有行所有區(qū)域(詞)的個數(shù)
- awk '{ total = total + NF }; END {print total}' file
- # 打印包含 "Beth" 的行數(shù)
- awk '/Beth/{n++}; END {print n+0}' file
- # 打印第一列最大的行
- # 并且在行前打印出這個最大的數(shù)
- awk '$1 > max {max=$1; maxline=$0}; END{ print max, maxline}'
- # 打印每行的列數(shù),并在后面跟上此行內(nèi)容
- awk '{ print NF ":" $0 } '
- # 打印每行的最后一列
- awk '{ print $NF }'
- # 打印最后一行的最后一列
- awk '{ field = $NF }; END{ print field }'
- # 打印列數(shù)超過4的行
- awk 'NF > 4'
- # 打印最后一列大于4的行
- awk '$NF > 4'
- 構(gòu)建字符串:
- # 構(gòu)建一指定長度的字符串(比如,513個空格)
- awk 'BEGIN{while (a++<513) s=s " "; print s}'
- # 在某一位置中插入以特定長度的字符串
- # 例子:在每行第6列后插入49個空格
- gawk --re-interval 'BEGIN{while(a++<49)s=s " "};{sub(/^.{6}/,"&" s)};1'
- 構(gòu)建數(shù)組:
- # 以下兩個部分并不是一句話腳本,但是這些技巧相當(dāng)便捷所以也包括進來
-
- # 構(gòu)建一個叫"month"的數(shù)組,以數(shù)字為索引,month[1]就是'Jan',month[2]就是
- # 'Feb',month[3]就是'Mar',以此類推。
- split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec", month, " ")
- # 構(gòu)建一個叫"mdigit"的數(shù)組,以字符串為索引,mdigit["Jan"] 等于 1,
- # mdigit["Feb"] 等于 2,等等。需要有"month"數(shù)組。
- for (i=1; i<=12; i++) m_digit[month[i]] = i
- 文本轉(zhuǎn)換和替代:
- # 在Unix環(huán)境:轉(zhuǎn)換DOS新行 (CR/LF) 為Unix格式
- awk '{sub(/\r$/,"")};1' # 假設(shè)每行都以Ctrl-M結(jié)尾
- # 在Unix環(huán)境:轉(zhuǎn)換Unix新行 (LF) 為DOS格式
- awk '{sub(/$/,"\r")};1'
- # 在DOS環(huán)境:轉(zhuǎn)換Unix新行 (LF) 為DOS格式
- awk 1
- # 在DOS環(huán)境:轉(zhuǎn)換DOS新行 (CR/LF) 為Unix格式
- # DOS版本的awk不能運行, 只能用gawk:
- gawk -v BINMODE="w" '1' infile >outfile
- # 用 "tr" 替代的方法。
- tr -d \r <infile >outfile # GNU tr 版本為 1.22 或者更高
- # 刪除每行前的空白(包括空格符和制表符)
- # 使所有文本左對齊
- awk '{sub(/^[ \t]+/, "")};1'
- # 刪除每行結(jié)尾的空白(包括空格符和制表符)
- awk '{sub(/[ \t]+$/, "")};1'
- # 刪除每行開頭和結(jié)尾的所有空白(包括空格符和制表符)
- awk '{gsub(/^[ \t]+|[ \t]+$/,"")};1'
- awk '{$1=$1};1' # 每列之間的空白也被刪除
- # 在每一行開頭處插入5個空格 (做整頁的左位移)
- awk '{sub(/^/, " ")};1'
- # 用79個字符為寬度,將全部文本右對齊
- awk '{printf "%79s\n", $0}' file*
- # 用79個字符為寬度,將全部文本居中對齊
- awk '{l=length();s=int((79-l)/2); printf "%"(s+l)"s\n",$0}' file*
- # 每行用 "bar" 查找替換 "foo"
- awk '{sub(/foo/,"bar")}; 1' # 僅僅替換第一個找到的"foo"
- gawk '{$0=gensub(/foo/,"bar",4)}; 1' # 僅僅替換第四個找到的"foo"
- awk '{gsub(/foo/,"bar")}; 1' # 全部替換
- # 在包含 "baz" 的行里,將 "foo" 替換為 "bar"
- awk '/baz/{gsub(/foo/, "bar")}; 1'
- # 在不包含 "baz" 的行里,將 "foo" 替換為 "bar"
- awk '!/baz/{gsub(/foo/, "bar")}; 1'
- # 將 "scarlet" 或者 "ruby" 或者 "puce" 替換為 "red"
- awk '{gsub(/scarlet|ruby|puce/, "red")}; 1'
- # 倒排文本 (模擬 "tac")
- awk '{a[i++]=$0} END {for (j=i-1; j>=0;) print a[j--] }' file*
- # 如果一行結(jié)尾為反斜線符,將下一行接到這行后面
- # (如果有連續(xù)多行后面帶反斜線符,將會失。
- awk '/\\$/ {sub(/\\$/,""); getline t; print $0 t; next}; 1' file*
- # 排序并打印所有登錄用戶的姓名
- awk -F ":" '{ print $1 | "sort" }' /etc/passwd
- # 以相反的順序打印出每行的前兩列
- awk '{print $2, $1}' file
- # 調(diào)換前兩列的位置
- awk '{temp = $1; $1 = $2; $2 = temp}' file
- # 打印每行,并刪除第二列
- awk '{ $2 = ""; print }'
- # 倒置每行并打印
- awk '{for (i=NF; i>0; i--) printf("%s ",i);printf ("\n")}' file
- # 用逗號鏈接每5行
- awk 'ORS=NR%5?",":"\n"' file
- 選擇性的打印某些行:
- # 打印文件的前十行 (模擬 "head")
- awk 'NR < 11'
- # 打印文件的第一行 (模擬 "head -1")
- awk 'NR>1{exit};1'
- # 打印文件的最后兩行 (模擬 "tail -2")
- awk '{y=x "\n" $0; x=$0};END{print y}'
- # 打印文件的最后一行 (模擬 "tail -1")
- awk 'END{print}'
- # 打印匹配正則表達(dá)式的行 (模擬 "grep")
- awk '/regex/'
- # 打印不匹配正則表達(dá)式的行 (模擬 "grep -v")
- awk '!/regex/'
- # 打印第5列等于"abc123"的行
- awk '$5 == "abc123"'
- # 打印第5列不等于"abc123"的行
- # 這個同樣可以用于打印少于5列的行
- awk '$5 != "abc123"'
- awk '!($5 == "abc123")'
- # 用正則匹配某一列
- awk '$7 ~ /^[a-f]/' # 打印第7列匹配的行
- awk '$7 !~ /^[a-f]/' # 打印第7列不匹配的行
- # 打印匹配正則表達(dá)式的前一行,但是不打印當(dāng)前行
- awk '/regex/{print x};{x=$0}'
- awk '/regex/{print (x=="" ? "match on line 1" : x)};{x=$0}'
- # 打印匹配正則表達(dá)式的后一行,但是不打印當(dāng)前行
- awk '/regex/{getline;print}'
- # 以任何順序查找包含 AAA、BBB 和 CCC 的行
- awk '/AAA/; /BBB/; /CCC/'
- # 以指定順序查找包含 AAA、BBB 和 CCC 的行
- awk '/AAA.*BBB.*CCC/'
- # 打印長度大于64個字節(jié)的行
- awk 'length > 64'
- # 打印長度小于64個字節(jié)的行
- awk 'length < 64'
- # 打印從匹配正則起到文件末尾的內(nèi)容
- awk '/regex/,0'
- awk '/regex/,EOF'
- # 打印指定行之間的內(nèi)容 (8-12行, 包括第8和第12行)
- awk 'NR==8,NR==12'
- # 打印第52行
- awk 'NR==52'
- awk 'NR==52 {print;exit}' # 對于大文件更有效率
- # 打印兩個正則匹配間的內(nèi)容 (包括正則的內(nèi)容)
- awk '/Iowa/,/Montana/' # 大小寫敏感
- 選擇性的刪除某些行:
- # 刪除所有空白行 (類似于 "grep '.' ")
- awk NF
- awk '/./'
- # 刪除重復(fù)連續(xù)的行 (模擬 "uniq")
- awk 'a !~ $0; {a=$0}'
- # 刪除重復(fù)的、非連續(xù)的行
- awk '! a[$0]++' # 最簡練
- awk '!($0 in a) {a[$0];print}' # 最有效
- 致謝:
- 特別感謝 Peter S. Tillier 幫助我完成了一版的FAQ。同樣感謝Daniel Jana、
- 董一粟和其他提出建議和修正的人。
- 更多的語法指令,包括用文件腳本來使用awk,可以參考如下:
- "sed & awk, 2nd Edition," by Dale Dougherty and Arnold Robbins
- O'Reilly, 1997
- "UNIX Text Processing," by Dale Dougherty and Tim O'Reilly
- Hayden Books, 1987
- "GAWK: Effective awk Programming," 3d edition, by Arnold D. Robbins
- (O'Reilly, 2003) 或者網(wǎng)址 http://www.gnu.org/software/gawk/manual/
- 為了能開發(fā)awk的強大功能,開發(fā)人員必須知道 "正則表達(dá)式"。關(guān)于正則
- 的詳細(xì)討論,可以查看
- "Mastering Regular Expressions, 3d edition" by Jeffrey Friedl (O'Reilly,
- 2006).
- 在Unix系統(tǒng)下info和幫助手冊("man")會非常有幫助(嘗試使用"man awk"、
- "man nawk"、"man gawk"、"man regexp"或者"man ed"里面的正則表達(dá)式章節(jié))。
- 在awk腳本里面使用 '\t':為了使文檔變得清晰,我們在腳本里使用了表達(dá)式'\t'
- 來顯示一個制表符 (0x99)。所有awk的版本,甚至UNIX系統(tǒng)7的版本應(yīng)該能認(rèn)出
- '\t'這種縮寫。
復(fù)制代碼 |
評分
-
查看全部評分
|