squid代理2G內(nèi)存卻很快被用盡

xzyang

哪位知道內(nèi)存都被用哪了？
幾乎幾秒鐘就被消耗掉1M

gentoo

squid.conf 里有限制的啊!

wolfop

原帖由 "xzyang" 發(fā)表：
哪位知道內(nèi)存都被用哪了？
幾乎幾秒鐘就被消耗掉1M

那么緊張干什么，當(dāng)CACHE了，怎么都不習(xí)慣LINUX這種方式呢，AIX這樣用內(nèi)存啊。反而SOLARIS上面FREE那么多搞得我很不爽。

xzyang

緊張倒沒(méi)有，機(jī)器運(yùn)行其他程序也正常。只是感覺(jué)linux內(nèi)存用過(guò)后好像不釋放。例如用文本編輯器打開(kāi)一個(gè)100M左右的日志文件，用去內(nèi)存300多兆，文件關(guān)閉后，占用內(nèi)存并不減少。不知是不是要進(jìn)行什么優(yōu)化配置？

shanyou

　在Internet上的應(yīng)用幾乎都是事件驅(qū)動(dòng)式的(event driven)。在Unix上，有兩個(gè)基本的函數(shù)用來(lái)檢測(cè)來(lái)自于網(wǎng)絡(luò)的事件，一個(gè)是select(),另外一個(gè)是poll()。無(wú)一例外，Squid使用poll()函數(shù)作為它的事件檢測(cè)和分派的核心。下面是poll()函數(shù)的接口原型：

　　　　int poll(struct pollfd *fds, unsigned int nfds, int timeout);

　　其中，fds是需要檢測(cè)的文件描述符集合，nfds是這個(gè)集合的大小。

　　當(dāng)nfds比較小時(shí)，poll()工作得非常好。但是在實(shí)際中我們發(fā)現(xiàn)，當(dāng)nfds比較大時(shí)，poll()本身的操作就占用了CPU的絕大部分時(shí)間，換句話說(shuō)，就是poll()的伸縮性(scalablity)比較弱。那么，問(wèn)題出在哪兒呢？

　　問(wèn)題就出在poll()接口的定義和實(shí)現(xiàn)上。對(duì)于每次poll()調(diào)用，poll()函數(shù)都要求將整個(gè)文件描述符列表傳遞給它，由于poll()是一個(gè)系統(tǒng)調(diào)用，因此，系統(tǒng)對(duì)于每次poll()調(diào)用，都必須穿透user/kernel邊界拷貝數(shù)據(jù)，同時(shí)在kernel內(nèi)部還有一次malloc()調(diào)用。當(dāng)nfds比較小時(shí)，這種開(kāi)銷不會(huì)導(dǎo)致多大的性能問(wèn)題，但是如果nfs大到成千上萬(wàn)時(shí)，這種開(kāi)銷就非常了得！實(shí)際上，在一個(gè)中等規(guī)模的環(huán)境中，比如高校，系統(tǒng)同時(shí)保持1萬(wàn)多條連接是比較常見(jiàn)的事情(如擁有5000臺(tái)以上計(jì)算機(jī)的高效，最高峰達(dá)到了20000條以上的連接，平均可以達(dá)到13000條左右的連接)。另外，從應(yīng)用程序的角度看，每次當(dāng)poll()調(diào)用返回后，都必須遍歷整個(gè)文件描述符列表，這是一個(gè)O(n)復(fù)雜度的操作，因此伸縮性很差。同樣的，這種遍歷操作在kernel內(nèi)部也必須做一遍。

　　總而言之，poll()低效的主要原因是，poll()做了太多的無(wú)效操作，因此浪費(fèi)了大量的CPU時(shí)間：

　　(1)無(wú)效的user->;kernel方向的數(shù)據(jù)拷貝。在一個(gè)實(shí)際的應(yīng)用中，很多描述符都會(huì)存在于一段時(shí)間，因此每次對(duì)拷貝所要檢測(cè)的所有文件描述符列表是一個(gè)無(wú)效的操作，因?yàn)閮纱芜B續(xù)的poll()調(diào)用中，必定有很多文件描述符是相同的；

　　(2)無(wú)效的kernel->;user方向的數(shù)據(jù)拷貝。在實(shí)際中，盡管系統(tǒng)保持了很多文件描述符(套接字)，但是在每個(gè)時(shí)刻，真正可readable或writable的文件描述符并不多，因此，將所有的文件描述符都拷貝給user是無(wú)效的，在一個(gè)保持了10000條連接的系統(tǒng)中，可能只有1000條連接上可readable或writable，因此有90％的數(shù)據(jù)拷貝是無(wú)效的。

　　(3)無(wú)效的應(yīng)用層遍歷。根據(jù)(2)，既然10000條連接中只有1000條連接是有事件的(readable或writable)，那么90％的遍歷就是無(wú)效的。

　　影響cache系統(tǒng)性能的最主要兩個(gè)因素是network I/O和disk I/O。由于cache存在大量的數(shù)據(jù)讀寫操作，因此disk I/O的性能高低會(huì)極大地影響cache的整體性能。Squid為了解決這一點(diǎn)，在操作系統(tǒng)提供的文件系統(tǒng)的基礎(chǔ)上實(shí)現(xiàn)了一個(gè)所謂的"cache文件系統(tǒng)"。但是無(wú)論如何，由于這個(gè)"cache文件系統(tǒng)"是建立在通用文件系統(tǒng)的基礎(chǔ)之上，所以它最多只能利用內(nèi)存來(lái)減少disk I/O次數(shù)以提高系統(tǒng)性能。由于通用文件系統(tǒng)并沒(méi)有利用多個(gè)磁盤I/O的獨(dú)立性，因此當(dāng)系統(tǒng)掛接了多個(gè)磁盤時(shí)，這種方式并不能有效利用多個(gè)磁盤同時(shí)I/O的特點(diǎn)，所以它并不能有效提高disk I/O。

　　以上兩點(diǎn)，決定了Squid具有很差的伸縮性，也就是說(shuō)，即使你硬件配置再高，它也不能有效的提升性能！

seanding

上面的觀點(diǎn)帶有嚴(yán)重的偏向性,squid如此流行是由它自身的性能決定的.

wolfop

[quote]原帖由 "shanyou"]　在Internet上的應(yīng)用幾乎都是事件驅(qū)動(dòng)式的(event driven)。在Unix上，有兩個(gè)基本的函數(shù)用來(lái)檢測(cè)來(lái)自于網(wǎng)絡(luò)的事件，一個(gè)是select(),另外一個(gè)是poll()。無(wú)一例外，Squid使用poll()函數(shù)作為它的事件檢測(cè)和分派的核心。..........[/quote 發(fā)表：

有開(kāi)始吹了，打算吹Netshine ICS 了吧，堪稱能支持40Gb/s的流量的東西。不過(guò)別人用LINUX哦，沒(méi)有KEVENT你怎么辦。