專家座談——Web開(kāi)發(fā)中你所遇到的性能問(wèn)題（大獎(jiǎng)）

2gua

歡迎大家多多參予~！

coolesting

一般的企業(yè)，只有一臺(tái)服務(wù)器，既是DB服務(wù)器，又是WEB服務(wù)器，甚至這只是一個(gè)VPS，或僅僅是虛擬主 ...
tomac_cu 發(fā)表于 2011-09-12 09:27

    如果這個(gè)企業(yè)對(duì)網(wǎng)絡(luò)上的經(jīng)營(yíng)只投入一臺(tái)服務(wù)器，
    那么他也會(huì)不愿意高薪長(zhǎng)期顧用一個(gè)高級(jí)程序員去幫他的WEB應(yīng)用軟件進(jìn)行優(yōu)化和維護(hù)，

    唯一極限的優(yōu)化就是靜態(tài)化， 這樣達(dá)到單臺(tái)服務(wù)器最極限的性能，
    他用的動(dòng)態(tài)語(yǔ)言無(wú)論是什么都幾乎不會(huì)成為拖累。

無(wú)風(fēng)之谷

回復(fù) 11# 七夜


    七夜，分享下你的案例嘛

tomac_cu

如果這個(gè)企業(yè)對(duì)網(wǎng)絡(luò)上的經(jīng)營(yíng)只投入一臺(tái)服務(wù)器，
    那么他也會(huì)不愿意高薪長(zhǎng)期顧用一個(gè)高級(jí)程序 ...
coolesting 發(fā)表于 2011-09-12 22:29

    是最終用戶只能投一臺(tái)服務(wù)器，所以才有這么多的靜態(tài)優(yōu)化

蘭花仙子

1，初學(xué)者怎么入門Web開(kāi)發(fā)？

我已經(jīng)久未開(kāi)發(fā)web了。當(dāng)今主流的web開(kāi)發(fā)環(huán)境，無(wú)非是php、.Net、Java，我認(rèn)為對(duì)于缺乏編程經(jīng)驗(yàn)的初學(xué)者來(lái)說(shuō)，PHP很合適。PHP跟Perl很像（最早的PHP是用Perl開(kāi)發(fā)的？），是面向過(guò)程的語(yǔ)言，通過(guò)簡(jiǎn)單的函數(shù)調(diào)用，就完成大部分的web和數(shù)據(jù)庫(kù)處理。作為Perl版主，雖然我更喜歡其他web編程語(yǔ)言如Ruby，但是我仍然推薦PHP。它天生是一門web語(yǔ)言，與數(shù)據(jù)庫(kù)結(jié)合緊密，并且容易上手，能快速完成工作，這就可以了。


2，你選哪種Web開(kāi)發(fā)技術(shù)，JEE、PHP、.Net、RoR、Django......？，依據(jù)是什么？

我之前一直用Perl/Mod_perl開(kāi)發(fā)WEB。Perl web開(kāi)發(fā)在國(guó)內(nèi)甚少，但在美國(guó)和歐洲，還是很多�；ヂ�(lián)網(wǎng)早期的動(dòng)態(tài)網(wǎng)頁(yè)，都使用Perl CGI開(kāi)發(fā)。CGI并不代表過(guò)時(shí)的技術(shù)，國(guó)內(nèi)的QQMail和俄羅斯的Mail.ru，他們的webmail都使用CGI技術(shù)（當(dāng)然，不一定是Perl CGI），每天支撐數(shù)千萬(wàn)的動(dòng)態(tài)訪問(wèn)。Perl開(kāi)發(fā)CGI的好處也是容易上手，掌握Perl和HTTP的基礎(chǔ)知識(shí)，再看下CGI這個(gè)模塊的文檔，就可以寫網(wǎng)站了。另外CGI和Template::Toolkit結(jié)合，可以讓HTML代碼與perl代碼徹底分離，從而讓web開(kāi)發(fā)員與UI設(shè)計(jì)師都很舒服。

對(duì)于性能要求高的網(wǎng)站，我們使用Mod_perl。mod_perl將perl解釋器編譯進(jìn)Apache，這樣每個(gè)apache進(jìn)程啟動(dòng)時(shí)，就啟動(dòng)了一個(gè)perl解釋器。然后，perl解釋器從磁盤加載代碼并編譯，只要這個(gè)apache進(jìn)程不退出，這些代碼就都在內(nèi)存駐留，避免了啟動(dòng)解釋器、加載文件、編譯等一系列開(kāi)銷，使程序運(yùn)行速度很快。mod_perl還有個(gè)好處是可以直接訪問(wèn)Apache的內(nèi)部API，這非常方便，我們可定制apache處理器，來(lái)實(shí)現(xiàn)一些特殊功能的處理，如輸入輸出前的過(guò)濾和訪問(wèn)控制。


3，如果你是一名Web開(kāi)發(fā)者，請(qǐng)把你在Web開(kāi)發(fā)中遇到的性能問(wèn)題跟大家做個(gè)分享。

之前參與開(kāi)發(fā)過(guò)一些較大的web系統(tǒng)，基本架構(gòu)是：應(yīng)用服務(wù)器Apache/Mod_perl，數(shù)據(jù)庫(kù)服務(wù)器Mysql，反向代理服務(wù)器Nginx，數(shù)據(jù)庫(kù)連接池Apache::DBI，數(shù)據(jù)緩存Memcache。

Apache和mod_perl是重型應(yīng)用服務(wù)器，它們處理動(dòng)態(tài)web請(qǐng)求，比如查詢數(shù)據(jù)庫(kù)、計(jì)算結(jié)果并返回。apache/mod_perl一般都是prefork運(yùn)行，這樣由apache直接面對(duì)客戶端，會(huì)有很多不利因素。例如一個(gè)客戶請(qǐng)求就要fork一個(gè)進(jìn)程，并且慢客戶端會(huì)導(dǎo)致進(jìn)程吊起，浪費(fèi)資源，因此通常在apache前端使用Nginx反向代理。Ngninx是事件驅(qū)動(dòng)型的輕量級(jí)web服務(wù)器，它一方面可以承擔(dān)更高并發(fā)、處理慢客戶端連接，另一方面處理靜態(tài)文件更快（當(dāng)然，nginx不能完全代替modperl或java的應(yīng)用服務(wù)器，我之前專門寫過(guò)一篇帖子）。

除了web服務(wù)器外，與性能關(guān)系更為緊密的就是數(shù)據(jù)庫(kù)。除了優(yōu)化SQL查詢、設(shè)計(jì)分庫(kù)分表外，我們還可以使用Apache::DBI來(lái)保持長(zhǎng)連接，避免程序每次與數(shù)據(jù)庫(kù)建立連接的開(kāi)銷。還有Memcache也可以用得上（memcached是一種內(nèi)存型的key/value數(shù)據(jù)庫(kù)，我在CU很早前寫過(guò)一篇帖子介紹memcache及其perl API），把查詢量大、更新不頻繁的內(nèi)容放在memcache里，可以大大減輕數(shù)據(jù)庫(kù)的壓力。還有其他一些NoSQL技術(shù)如MongoDB、TTServer、Cassandra等，也可以作為關(guān)系型數(shù)據(jù)庫(kù)的補(bǔ)充，這些我都測(cè)試過(guò)，但沒(méi)正式應(yīng)用過(guò)，不多述。

coolesting

To 36 樓
“把查詢量大、更新不頻繁的內(nèi)容放在memcache里” ？ 是不是多了個(gè)字

蘭花仙子

To 36 樓
“把查詢量大、更新不頻繁的內(nèi)容放在memcache里” ？ 是不是多了個(gè)字
coolesting 發(fā)表于 2011-09-14 15:29

    看怎么用。把讀分離出來(lái)放memcache沒(méi)什么不可以。

Orpherus

    如果mysql 打開(kāi)連接 即便是數(shù)據(jù)取用完成也不關(guān)閉 那樣的代碼簡(jiǎn)直就是災(zāi)難

我覺(jué)得persistent link可以避免反復(fù)建立和銷毀連接的開(kāi)銷，能提高性能。
不準(zhǔn)備復(fù)用的連接，用完了也不關(guān)閉，沒(méi)人會(huì)這么做吧。

Orpherus

前面有人提到，python處理中文有些搞，其實(shí)還好，
decode和encode方法，初學(xué)的時(shí)候可能會(huì)一頭霧水，
理解了就覺(jué)得很優(yōu)雅，很多知名的庫(kù)都有類似設(shè)計(jì)，
例如C++的QT庫(kù)，蘋果objc的NSData和NSString.

Orpherus

關(guān)于python并發(fā)高占用內(nèi)存高的事情，這個(gè)沒(méi)辦法，畢竟不是C也不是C++。
在資源緊張的虛擬主機(jī)上可能會(huì)成問(wèn)題，可以簡(jiǎn)單的計(jì)算一下，以nginx+uwsgi部署為例子，
8個(gè)nginx進(jìn)程處理請(qǐng)求，靜態(tài)資源處理掉，動(dòng)態(tài)資源轉(zhuǎn)發(fā)給python處理，假設(shè)有16個(gè)python進(jìn)程，
每個(gè)進(jìn)程每秒處理30個(gè)請(qǐng)求，動(dòng)態(tài)請(qǐng)求的處理能力就有480/s了，算上靜態(tài)處理能力，已經(jīng)不低了，
而16個(gè)python進(jìn)程，占用內(nèi)存一般不會(huì)超過(guò)1GB，一個(gè)日均上百萬(wàn)PV的網(wǎng)站，這點(diǎn)內(nèi)存算不了什么負(fù)擔(dān)。
tornado是一個(gè)有名的python庫(kù)，使用它可以達(dá)到8000/s的動(dòng)態(tài)請(qǐng)求能力(hello word級(jí)別)，
承載上業(yè)務(wù)邏輯后能到達(dá)什么性能，除了看業(yè)務(wù)邏輯有多復(fù)雜，更要看使用者的水平。