提取文件兩行之間的內容放入到一共文件里面

go2cxg

要處理的文本內容如下：
Recno:: 0
URL:: http://digitalcollections.anu.edu.au/
CrawlDatum::
Version: 7
Status: 67 (linked)

Recno:: 1
URL:: http://dspace.anu.edu.au/
CrawlDatum::
Version: 7
Status: 35 (fetch_redir_temp)
Fetch time: Mon Aug 12 18:19:23 CEST 2013


Recno:: 2
URL:: http://ebooks.adelaide.edu.au/
Content::
Version: -1
url: http://ebooks.adelaide.edu.au/
metadata: Date=Mon, 12 Aug 2013 08:18:15 GMT nutch.crawl.score=1.0 _fst_=33 nutch.segment.name=20130813001904 Accept-Ranges=bytes Connection=close Content-Type=text/html Server=Apache/2.0.52 (Red Hat)
Metadata:

Recno:: 4
URL:: http://ebooks.adelaide.edu.au/index.html
CrawlDatum::
Version: 7
Status: 67 (linked)
Fetch time: Mon Aug 12 18:19:33 CEST 2013
Modified time: Thu Jan 01 01:00:00 CET 1970
Retries since fetch: 0
Retry interval: 2592000 seconds (30 days)

處理需求：
希望把Recno::1到Recno::2之間的內容，放入1.txt文件里面；
    把Recno::2到Recno::3之間的內容，放入2.txt文件里面；
就是把相鄰2個Recno開頭的行之間的內容放入第一個Recno::后跟的數(shù)字命名的txt文件中。
以此類推，要處理的文件很大，數(shù)百萬行。
我的方法很土鱉，用while然后去判斷行里是否有Recno開頭。。。
希望有快速的處理速度
求各位大大支招。。。

HH106

awk -v RS='Recno::' '{file=$1;gsub($1,"");print >file".txt"}'  urfile

go2cxg

回復 2# HH106


    多謝老兄~
    處理大文件 時候報錯

awk: program limit exceeded: maximum number of fields size=32767
        FILENAME="dump" FNR=640 NR=640

guogang225

回復 1# go2cxg

1. awk -vRS="Recno::" -vFS="\n" -vOFS="\n" 'NF>1{n=int($1);$1="";print $0>n".txt"}' urfile

復制代碼

go2cxg

回復 4# guogang225


    拋出錯誤，awk: cannot open "1033.txt" for output (Too many open files)
    可能是因為打開了太多文件，沒有關閉。

davidbeckham921

sed干這事是不是專業(yè)些。

guogang225

回復 5# go2cxg

Try this one

1. awk -vRS="Recno::" -vFS="\n" -vOFS="\n" 'NF>1{n=int($1);$1="";print $0>n".txt";close(n".txt")}' urfile

復制代碼

cao627

1. awk '/Recno/{file=$2;next}{if(file)print $0>file".txt"}' file

復制代碼

jason680

回復 5# go2cxg

modify from guogang225 with close function

and add other/debug information with yellow background color

# awk 'BEGIN{RS="Recno:: ";FS=OFS="\n"}NF>1{f=int($1)".txt";print RS$0 > f;close(f);print "output file: "f;c++}END{print "  Total files: "c}' Recno.log
output file: 0.txt
output file: 1.txt
output file: 2.txt
output file: 4.txt
  Total files: 4

   

reyleon

cao627 發(fā)表于 2013-08-29 11:56

1. Recno:: 0
   
2. URL:: http://digitalcollections.anu.edu.au/
   
3. CrawlDatum::
   
4. Version: 7
   
5. Status: 67 (linked)

復制代碼

Recno:: 0 這段