關(guān)于awk 處理大數(shù)據(jù)量崩潰的問題，求救��！

西任

HP-UX prmtrain B.11.31 U ia64 的系統(tǒng)

awk -v FS="|"  -v OFS="|" 'NR==FNR{a[$1]++}NR>FNR&&a[$1]>1'  p2pp.dat  p2pp.dat > aa.log 檢重測試時候報錯


awk: tostring 函數(shù)  內(nèi)部軟件錯誤。
輸入行號是 1.14473e+07。 文件是 p2pp.dat。
源行號是 1。


安裝gawk 試了一下，報這個錯誤
gawk: (FILENAME=p2pp.dat FNR=11699006) fatal: assoc_lookup: bucket->ahname_str: can't allocate 14 bytes of memory (Not enough space)


開始也是懷疑內(nèi)存不夠，但是系統(tǒng)是32G的物理內(nèi)存，top看了一下，內(nèi)存沒怎么變化
反倒是同樣的命令，我在自己本的虛擬機(jī)上能跑。

請大家?guī)兔χ更c一下，這個問題如何解決呢�。。。。。。。。。。。。�

西任

沒人回復(fù)！自己頂一下！

lbseraph

如果懷疑內(nèi)存的話，下面的命令輸出檢查過么？
ulimit -a

西任

回復(fù) 3# lbseraph


time(seconds)        unlimited
file(blocks)         unlimited
data(kbytes)         2015464
stack(kbytes)        392192
memory(kbytes)       unlimited
coredump(blocks)     4194303
nofiles(descriptors) 15000

是否 data 段設(shè)置問題？

lbseraph

應(yīng)該不是data段問題，swap占用情況如何？下面命令的輸出？

swapinfo -atm
top
kcusage
swlist -l product | grep -i awk

西任

回復(fù) 5# lbseraph


   

bash-4.1$ swlist -l product | grep -i awk
  PHCO_40052            1.0            awk(1) cumulative patch
  gawk                  4.0.1          gawk           
bash-4.1$
bash-4.1$
bash-4.1$ swapinfo -atm
              Mb      Mb      Mb   PCT  START/      Mb
TYPE      AVAIL    USED    FREE  USED   LIMIT RESERVE  PRI  NAME
dev       32768       0   32768    0%       0       -    1  /dev/vg00/lvol2
reserve       -   29039  -29039
memory    62305    8457   53848   14%
total     95073   37496   57577   39%       -       0    -
bash-4.1$  kcusage
Tunable                 Usage / Setting      
=============================================
filecache_max      2966642688 / 3266590105
maxdsiz              83734528 / 2063835136
maxdsiz_64bit      1527775232 / 4294967296
maxfiles_lim              149 / 15000
maxssiz               1179648 / 401604608
maxssiz_64bit          786432 / 2147483648
maxtsiz              35868672 / 1073741824
maxtsiz_64bit       201326592 / 8589934592
maxuprc                    43 / 10800
max_thread_proc           101 / 200000
msgmni                      2 / 200000
msgtql                      0 / 200000
nflocks                    65 / 12000
ninode                   1822 / 256000
nkthread                 1001 / 200000
nproc                     288 / 20000
npty                        0 / 60
nstrpty                     9 / 60
nstrtel                     0 / 60
nswapdev                    1 / 32
nswapfs                     0 / 32
semmni                     35 / 15680
semmns                    768 / 31360
shmmax            20602466304 / 34359738368
shmmni                     10 / 512
shmseg                      3 / 300


如何看呀？

lbseraph

感覺系統(tǒng)沒啥問題，懷疑同樣函數(shù)在hpux里使用有問題，在虛擬機(jī)用的是linux系統(tǒng)吧~awk方面經(jīng)驗少，到Shell版塊問問？