請(qǐng)教awk大量隨機(jī)取數(shù)問(wèn)題

star_wm_craft

如何從1000W行里隨機(jī)抽取10W行數(shù)據(jù)？

sjhf

awk的rand()與srand()函數(shù)可以獲取隨機(jī)值，但好像間隔時(shí)間太短生成的是一樣的。
還可以利用系統(tǒng)的一些方法生成隨機(jī)數(shù)，如：
１、

1. echo $((16#`dd if=/dev/urandom bs=1 count=4 2>/dev/null| od -A n -t x4|sed s/[^1-9a-fA-F]//g`)) %10000000|bc

復(fù)制代碼

２、

1. echo $(date  --rfc-3339=ns|awk -F "[ \t.+]" '{printf("%d\n",$3)}') % 10000000 |bc
   

復(fù)制代碼

生成隨機(jī)數(shù)后，可以用

1. sed -n "$i p"

復(fù)制代碼

打印得到的行。

再加個(gè)循環(huán)就行了。
上面隨機(jī)方式有可能會(huì)取到重復(fù)行，如果不希望重復(fù)，可以取一行，從原文件中刪除一行(可以用臨時(shí)文件)，之后以-1取余；或者再生成一個(gè)已提取的行號(hào)組合文件，再次提取時(shí)檢索一下即可。(但這個(gè)行數(shù)太多，不知道什么方法才能更好。有可能用數(shù)據(jù)庫(kù)是個(gè)好辦法)

star_wm_craft

謝謝。有沒(méi)有人寫(xiě)個(gè)AWK的？效率要高哦。

[ 本帖最后由 star_wm_craft 于 2009-7-23 11:41 編輯 ]

ywlscpl

file 1000w行，隨機(jī)輸出100w行

1. awk 'BEGIN{srand();while (n<1000000) {num=int(rand()*10000000)+1;if (!(num in a)) {a[num]=1;n++}}}NR in a' file

復(fù)制代碼

star_wm_craft

就是這個(gè)了。。^_^
謝謝。。

waker

1. awk 'BEGIN{srand()}
   
2. (rand()<0.0101){print rand(),NR,$0}' urfile|sort -k1,1 -s|awk '{$1="";print}
   
3. NR=100000{exit}'|sort -k1,1 -s|'{$1="";print}

復(fù)制代碼

zhangshebao

估計(jì)樓主并不追求數(shù)學(xué)意義的嚴(yán)格隨機(jī),僅是抽樣1%
建議分段抽樣,如每1W行一組,產(chǎn)生一組隨機(jī)數(shù),再根據(jù)隨機(jī)數(shù)輸出
awk '
BEGIN{
   f0=100; #分組大小
   f0r=10; #每組取樣
   srand();
}
function myout(){
   if(f1<f0)f0=f1;
   f2=int(f1/f0r);
   for(i=0;i<f2;i++){
     while(b[k=1+int(rand()*f1)]);
     b[k]=1;
   }
   for (i in b){ print a;}
   #如果要按原次序,將上句加#注解,下句去掉#:
   #for (i=1;i<=f1;i++){ if(b)print a;}
   delete a;
   delete b;
   ftotal+=f1;
   f1=0;
}
{
   a[++f1]=$0;
   if(f1==f0){
      myout();
   }
}
END{
  myout();
}
'