亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標(biāo)題: 關(guān)于awk 處理大數(shù)據(jù)量崩潰的問題，求救��！ [打印本頁]

作者: 西任 時(shí)間: 2012-03-27 10:51
標(biāo)題: 關(guān)于awk 處理大數(shù)據(jù)量崩潰的問題，求救�。�
HP-UX prmtrain B.11.31 U ia64 的系統(tǒng)

awk -v FS="|" -v OFS="|" 'NR==FNR{a[$1]++}NR>FNR&&a[$1]>1' p2pp.dat p2pp.dat > aa.log 檢重測試時(shí)候報(bào)錯(cuò)

awk: tostring 函數(shù) 內(nèi)部軟件錯(cuò)誤。
輸入行號(hào)是 1.14473e+07。文件是 p2pp.dat。
源行號(hào)是 1。

安裝gawk 試了一下，報(bào)這個(gè)錯(cuò)誤
gawk: (FILENAME=p2pp.dat FNR=11699006) fatal: assoc_lookup: bucket->ahname_str: can't allocate 14 bytes of memory (Not enough space)

開始也是懷疑內(nèi)存不夠，但是系統(tǒng)是32G的物理內(nèi)存，top看了一下，內(nèi)存沒怎么變化
反倒是同樣的命令，我在自己本的虛擬機(jī)上能跑。

請(qǐng)大家?guī)兔χ更c(diǎn)一下，這個(gè)問題如何解決呢�。。。。。。。。。。。�！

作者: 西任 時(shí)間: 2012-03-27 17:54
沒人回復(fù)！自己頂一下！

作者: lbseraph 時(shí)間: 2012-03-27 19:26
如果懷疑內(nèi)存的話，下面的命令輸出檢查過么？
ulimit -a

作者: 西任 時(shí)間: 2012-03-29 12:59
回復(fù) 3# lbseraph

time(seconds)       unlimited
file(blocks)       unlimited
data(kbytes)       2015464
stack(kbytes)       392192
memory(kbytes)    unlimited
coredump(blocks)    4194303
nofiles(descriptors) 15000

是否 data 段設(shè)置問題？

作者: lbseraph 時(shí)間: 2012-03-29 13:41
應(yīng)該不是data段問題，swap占用情況如何？下面命令的輸出？

swapinfo -atm
top
kcusage
swlist -l product | grep -i awk

作者: 西任 時(shí)間: 2012-04-19 14:27
回復(fù) 5# lbseraph

bash-4.1$ swlist -l product | grep -i awk
  PHCO_40052          1.0          awk(1) cumulative patch
  gawk                4.0.1       gawk
bash-4.1$
bash-4.1$
bash-4.1$ swapinfo -atm
            Mb    Mb    Mb PCT  START/    Mb
TYPE    AVAIL USED FREE  USED LIMIT RESERVE  PRI  NAME
dev    32768    0 32768 0%    0    - 1  /dev/vg00/lvol2
reserve    - 29039  -29039
memory 62305 8457 53848 14%
total    95073 37496 57577 39%    -    0 -
bash-4.1$  kcusage
Tunable                Usage / Setting
=============================================
filecache_max    2966642688 / 3266590105
maxdsiz             83734528 / 2063835136
maxdsiz_64bit    1527775232 / 4294967296
maxfiles_lim             149 / 15000
maxssiz             1179648 / 401604608
maxssiz_64bit       786432 / 2147483648
maxtsiz             35868672 / 1073741824
maxtsiz_64bit    201326592 / 8589934592
maxuprc                   43 / 10800
max_thread_proc          101 / 200000
msgmni                   2 / 200000
msgtql                   0 / 200000
nflocks                   65 / 12000
ninode                1822 / 256000
nkthread                1001 / 200000
nproc                   288 / 20000
npty                      0 / 60
nstrpty                   9 / 60
nstrtel                   0 / 60
nswapdev                   1 / 32
nswapfs                   0 / 32
semmni                   35 / 15680
semmns                   768 / 31360
shmmax          20602466304 / 34359738368
shmmni                   10 / 512
shmseg                   3 / 300

如何看呀？

作者: lbseraph 時(shí)間: 2012-04-19 15:20
感覺系統(tǒng)沒啥問題，懷疑同樣函數(shù)在hpux里使用有問題，在虛擬機(jī)用的是linux系統(tǒng)吧~awk方面經(jīng)驗(yàn)少，到Shell版塊問問？

歡迎光臨 Chinaunix (http://72891.cn/)