HTTP代理系統(tǒng)的問(wèn)題

ohyeahbbs

小弟跟著老師在弄一個(gè)HTTP代理系統(tǒng)；搗鼓了一個(gè)星期終于容易可以代理成功了，卻發(fā)現(xiàn)html的頁(yè)面只能打開(kāi)一兩個(gè)，然后用top查看Linux系統(tǒng)資源發(fā)現(xiàn)代理占據(jù)資源達(dá)到了七八十%。
哪位大蝦幫忙看看，優(yōu)化一下。。。
采用線程綁定文件描述字的方法。。。。
代碼如下：

1. 1，proxy：
   
2. 
   
3. #include "threadpool/include/threadpool.hpp"
   
4. #include<iostream>
   
5. #include<string.h>// char *strerror(int errnum);errnum(通常就是errno)
   
6. #include<sys/socket.h>
   
7. #include<errno.h>
   
8. #include<arpa/inet.h>
   
9. #include<unistd.h>
   
10. #include<signal.h>
    
11. #include<stdlib.h>
    
12. 
    
13. #define BACKLOG 128
    
14. 
    
15. using namespace std;
    
16. 
    
17. int         httpproxy(void *fd);
    
18. 
    
19. int        listenfd;                //文件(套接字socket)描述符
    
20. volatile bool        gIsRunning;        //volatile表示把gIsRunning添加到內(nèi)存中
    
21. 
    
22. boost::threadpool::pool threadPool; //利用線程池創(chuàng)建線程并設(shè)線程大小為66
    
23. 
    
24. /* 關(guān)閉proxy */
    
25. void sysclosed(int signal)   
    
26. {
    
27.         gIsRunning = false;
    
28.         cout<<"Waiting for proxy threads..."<<endl;
    
29.             threadPool.wait();
    
30.         close(listenfd);
    
31.         cout<<"proxy is closed"<<endl;
    
32. }
    
33. 
    
34. int main()
    
35. {
    
36.         int                        *connfd;        //accept所返回的文件(套接字)描述符                       
    
37.         socklen_t                client;
    
38.         struct sockaddr_in        cliaddr,servaddr;
    
39.         gIsRunning = true;
    
40. 
    
41.         system("service iptables restart");
    
42.         sleep(3);
    
43. 
    
44.         /* 端口80重點(diǎn)向?yàn)楸镜囟丝?997 */
    
45.           system("iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 9997");
    
46.         cout<<"iptables prerouting success"<<endl;
    
47. 
    
48.         /* 創(chuàng)立并監(jiān)聽(tīng)socket */
    
49.         cout<<"Start the server..."<<endl;
    
50.         if((listenfd = socket(AF_INET, SOCK_STREAM, 0))<0 )
    
51.         {
    
52.                 cout<<"Creat the socket error!"<<endl;
    
53.                 exit(-1);       
    
54.         }
    
55.         else cout<<"Creat the socket success"<<endl;
    
56.        
    
57.         memset(&servaddr,0,sizeof(servaddr));
    
58.         servaddr.sin_addr.s_addr  = INADDR_ANY;
    
59.         servaddr.sin_family            = AF_INET;
    
60.         servaddr.sin_port        = htons(9997);
    
61.                
    
62.         /* 綁定任意IP及特定端口 */
    
63.         if(bind(listenfd,(struct sockaddr *)&servaddr, sizeof(servaddr)) <0 )
    
64.         {
    
65.                 cout<<"Bind error"<<strerror(errno)<<endl;
    
66.         }
    
67.         else cout<<"Bind the port success"<<endl;
    
68. 
    
69.         /* 在socket上監(jiān)聽(tīng)連接 */
    
70.         if(listen(listenfd, BACKLOG) != 0 )
    
71.         {
    
72.                 cout<<"Listen error"<<strerror(errno)<<endl;
    
73.         }
    
74.         else cout<<"Listen is running..."<<endl;
    
75.        
    
76.         threadPool.size_controller().resize(66);
    
77.           
    
78.         signal(SIGINT, sysclosed);
    
79. 
    
80.         /* 循環(huán)接受TCP連接 */       
    
81.         for( ; gIsRunning == 1 ; )
    
82.         //while(gIsRunning)
    
83.         {
    
84.                 client = sizeof(cliaddr);
    
85.                 connfd = (int*)malloc(sizeof(int));
    
86. 
    
87.                 /* accept所返回的文件描述符是新的套接字描述符和原始套接字listenfd具有相同的套接字類(lèi)型和地址簇
    
88.                  * 傳給accept的原始套接字沒(méi)有關(guān)聯(lián)到這個(gè)連接，而是繼續(xù)保持可用狀態(tài)并接受其他連接請(qǐng)求 */
    
89.                 if((*connfd = accept(listenfd, (struct sockaddr *)&cliaddr, &client))<0)
    
90.                 {
    
91.                
    
92.                         /*accetp()是慢系統(tǒng)調(diào)用，在信號(hào)產(chǎn)生時(shí)會(huì)中斷其調(diào)用并將
    
93.                          errno變量設(shè)置為EINTR，此時(shí)應(yīng)重新調(diào)用accept()。*/
    
94.                         if( errno == EINTR )
    
95.                         {
    
96.                                 cout<<"Accept error (EINTR):"<<strerror(errno)<<endl;
    
97.                                 continue;
    
98.                         }
    
99.                                else
    
100.                                {
     
101.                                 cout<<"Accept error:"<<strerror(errno)<<endl;
     
102.                                 exit(1);
     
103.                         }
     
104.                 }
     
105.                 else cout<<"Start the http connect!"<<endl;
     
106. 
     
107.                 /* 把a(bǔ)ccept返回的套接字描述符與線程httpproxy綁定 */
     
108.                 threadPool.schedule(boost::bind(&httpproxy, (void *)connfd));
     
109. 
     
110.         }
     
111. }
     
112. 
     
113. 
     
114. 2，forwarddata:
     
115. 
     
116.                 #include<sys/select.h>
     
117. #include<iostream>
     
118. #include<string.h>
     
119. #include<sys/socket.h>
     
120. #include<errno.h>
     
121. #include<arpa/inet.h>
     
122. #include <linux/kernel.h>
     
123. #include <linux/netfilter_ipv4.h>
     
124. 
     
125. #define MAXLINE 4096  
     
126. 
     
127. /* 聲明外部變量gIsRunning */
     
128. extern volatile bool gIsRunning;
     
129. 
     
130. using namespace std;
     
131. 
     
132. int forwarddata(int connfd, int remotefd);
     
133. 
     
134. int max(int a, int b)
     
135. {
     
136.         return a>b?a:b;
     
137. }
     
138. 
     
139. int httpproxy(void *fd)
     
140. {
     
141.         int                 connfd,remotefd,port;
     
142.         socklen_t        len;
     
143.         char                buff[100+1];
     
144.         const char *        ipaddr;
     
145. 
     
146.         struct sockaddr_in        remoteserv;
     
147.         struct sockaddr_in        dest;
     
148. 
     
149.         connfd = *((int *)fd);
     
150.         free(fd);
     
151. 
     
152.         /* 獲取連接的目的IP和PORT */
     
153.         memset(buff, 0x00, sizeof(buff));
     
154.         len =sizeof(dest);
     
155.         memset(&dest, 0, len);
     
156.         if(getsockopt(connfd, SOL_IP, SO_ORIGINAL_DST, &dest, &len)< 0)
     
157.         {
     
158.                 cout<<"Getsockopt error:"<<strerror(errno)<<endl;
     
159.                 return -1;
     
160.         }
     
161.         else
     
162.         {
     
163.                 ipaddr = inet_ntop(AF_INET, &dest.sin_addr, buff, sizeof(buff));
     
164.                 port   = ntohs(dest.sin_port);
     
165.                 cout<<"Iptables transparent destination:"<<ipaddr<<":"<<port<<endl;
     
166.         }
     
167. 
     
168.         cout<<"buff="<<buff<<" "<<"port="<<port<<endl;
     
169. 
     
170.         /* 創(chuàng)建到服務(wù)器socket */
     
171.         if((remotefd = socket(AF_INET, SOCK_STREAM, 0))<0)
     
172.         {
     
173.                 cout<<"Remote error:"<<strerror(errno)<<endl;
     
174.                 return -1;
     
175.         }
     
176.         memset(&remoteserv, 0x00, sizeof(remoteserv));
     
177.         remoteserv.sin_family = AF_INET;
     
178.         remoteserv.sin_port   = htons(ntohs(dest.sin_port));
     
179.         inet_pton(AF_INET, buff, &remoteserv.sin_addr);
     
180.        
     
181.         /* 按目的地址建立連接 */
     
182.         if(connect(remotefd, (struct sockaddr *)&remoteserv, sizeof(remoteserv))<0)
     
183.         {
     
184.                 cout<<"Connect remote server error:"<<strerror(errno)<<endl;
     
185.                 //goto STOP_THREAD;
     
186.                 return -1;
     
187.         }
     
188.         else
     
189.         {       
     
190.                 /* 處理connfd和remotefd的數(shù)據(jù)交換 */
     
191.                 forwarddata(connfd, remotefd);
     
192.         }
     
193.         return 0;
     
194. }
     
195. 
     
196. int forwarddata(int connfd, int remotefd)
     
197. {
     
198.         int        maxfdp1;
     
199.         int        ret, n;
     
200.         char        buff[MAXLINE];
     
201.         fd_set        rset;                 //分配一個(gè)狀態(tài)描述符類(lèi)型的變量
     
202.         struct timeval val;
     
203.         val.tv_sec = 10;
     
204.         val.tv_usec = 0;
     
205. 
     
206.         FD_ZERO(&rset);                //將一個(gè)指定的fd_set變量的所有位設(shè)置為0.
     
207.         ret = 0;
     
208.        
     
209.         /* 循環(huán)地從客戶端讀，向服務(wù)端寫(xiě)；從服務(wù)器端讀，向客戶端寫(xiě) */
     
210.         for( ; gIsRunning==1 ; )
     
211.         //printf("test3=%d\n", gIsRunning);
     
212.         //while(gIsRunning)
     
213.         {
     
214.                 /* 調(diào)用FD_SET設(shè)置一個(gè)fd_set變量的指定位。添加描述符到描述符集合*/
     
215.                 FD_SET(connfd, &rset);
     
216.                 FD_SET(remotefd, &rset);
     
217.        
     
218.                 /* 因?yàn)槊枋龇�編�?hào)從0開(kāi)始，所以要在最大描述符編號(hào)值上加1 */
     
219.                 maxfdp1 = max(connfd, remotefd) + 1;
     
220.                
     
221.                 /* 返還值-1表示出錯(cuò) */
     
222.                 if((n = select(maxfdp1, &rset, NULL, NULL, &val))<0)
     
223.                 {
     
224.                         cout<<"Select serror!"<<endl;
     
225.                         break;
     
226.                 }
     
227.                 /* 判斷是否為超時(shí)返回 */
     
228.                 if( n == 0 )
     
229.                         continue;
     
230. 
     
231.                 /* 從客戶端讀recv(client) */
     
232.                 if(FD_ISSET(connfd, &rset)) //測(cè)試一指定位是否設(shè)置，檢查FD集合中FD是否準(zhǔn)備好
     
233.                 {
     
234.                         memset(buff, 0x00, sizeof(buff));
     
235.                         ret = recv(connfd, buff, MAXLINE, 0);
     
236.                         if(ret > 0)
     
237.                         {
     
238.                                 cout<<"Client to server..."<<endl;
     
239. 
     
240.                                 /* 向服務(wù)器端寫(xiě)send(server) */
     
241.                                 ret = send(remotefd, buff, ret, 0);
     
242.                                 if(ret == -1)
     
243.                                 {
     
244.                                         cout<<"Send data to real server error"<<endl;
     
245.                                         break;
     
246.                                 }
     
247.                         }
     
248.                         /* 沒(méi)讀到數(shù)據(jù)關(guān)閉連接 */
     
249.                         else if(ret == 0)
     
250.                         {
     
251.                                 break;
     
252.                         }
     
253.                         /* 從客戶端接受數(shù)據(jù)錯(cuò)誤 */
     
254.                         else
     
255.                         {
     
256.                                 break;
     
257.                         }
     
258.                 }
     
259. 
     
260.                 /* 從服務(wù)器端讀recv(server) */
     
261.                 if(FD_ISSET(remotefd, &rset))
     
262.                 {
     
263.                         memset(buff, 0x00, sizeof(buff));
     
264.                         ret = recv(remotefd, buff, MAXLINE, 0);
     
265.                         if(ret > 0)
     
266.                         {
     
267.                                 cout<<"Remote to client..."<<endl;
     
268. 
     
269.                                 /* 向客戶端寫(xiě)send(client) */
     
270.                                 ret = send(connfd, buff, ret, 0);
     
271.                                 if(ret == -1)
     
272.                                 {
     
273.                                         cout<<"Send data to client error"<<endl;
     
274.                                         break;
     
275.                                 }
     
276.                         }
     
277.                         /* 沒(méi)讀到數(shù)據(jù)關(guān)閉連接 */
     
278.                         else if(ret == 0)
     
279.                         {
     
280.                                 break;
     
281.                         }
     
282.                         /* 從客戶端接受數(shù)據(jù)錯(cuò)誤 */
     
283.                         else
     
284.                         {
     
285.                                 break;
     
286.                         }
     
287.                 }
     
288. 
     
289.         }
     
290.         return 0;
     
291. 
     
292. }

復(fù)制代碼

ohyeahbbs

坐等高人··指點(diǎn)····

ohyeahbbs

xiboboy123

val.tv_sec = 10;
val.tv_usec = 0;
放到select函數(shù)前面就成。。。

ohyeahbbs

val.tv_sec = 10;
val.tv_usec = 0;
放到select函數(shù)前面就成。。。
xiboboy123 發(fā)表于 2011-07-13 16:08

嗯嗯，top  中的pproxy代理占用資源的確有明顯大量的減少，可以html代理連接的頁(yè)面依然只能代理2~3個(gè)頁(yè)面，點(diǎn)擊多個(gè)時(shí)打不開(kāi)·········

ohyeahbbs

是不是線程綁定的資源沒(méi)有釋放導(dǎo)致不能打開(kāi)多個(gè)頁(yè)面的鏈接吖。。。。？？

如果后面我不采用線程來(lái)綁定文件秒數(shù)字來(lái)處理調(diào)用httpproxy函數(shù)的調(diào)用，
而采用進(jìn)程來(lái)調(diào)用就不會(huì)產(chǎn)生不能打開(kāi)多個(gè)頁(yè)面的問(wèn)題。。。這是為什么呢？？？
進(jìn)程替換線程代碼如下：
要替換的：

1.       /* 把a(bǔ)ccept返回的套接字描述符與線程httpproxy綁定 */
   
2.                 threadPool.schedule(boost::bind(&httpproxy, (void *)connfd));

復(fù)制代碼

替換為：

1. /* 創(chuàng)建子進(jìn)程，處理請(qǐng)求 */
   
2.                 if((pid = fork()) > 0)
   
3.                 {
   
4.                         /* 父進(jìn)程處理 */
   
5.                         free(connfd);
   
6.                         continue ;
   
7.                 }
   
8.                 else if(pid == 0)
   
9.                 {
   
10.                         /* 子進(jìn)程處理 */
    
11.                         close(listenfd);
    
12.                         cout<<"Start the http connect!"<<endl;
    
13.                         httpproxy((void *)connfd);
    
14.                         exit(0);
    
15.                 }
    
16.                 else if(pid < 0)
    
17.                 {
    
18.                         cout<<"Creat the child process fail! "<<endl;
    
19.                         exit(2);
    
20.                 }
    
21.                 close(listenfd);

復(fù)制代碼

這樣就可以打開(kāi)多個(gè)網(wǎng)頁(yè)了······不懂真不懂這是為啥？？？？線程不是用完自動(dòng)釋放，重復(fù)利用的麼？？
望大蝦指點(diǎn)·····

ohyeahbbs

是不是由這個(gè)原因啊？？？有木有大蝦啊？？
由于程序用select等待連接完成，可以設(shè)置一個(gè)select等待時(shí)間限制，從而縮短connect超時(shí)時(shí)間。多數(shù)實(shí)現(xiàn)中，connect的超時(shí)時(shí)間在75秒到幾分鐘之間。有時(shí)程序希望在等待一定時(shí)間內(nèi)結(jié)束，使用非阻塞connect可以防止阻塞75秒，在多線程網(wǎng)絡(luò)編程中，尤其必要。   例如有一個(gè)通過(guò)建立線程與其他主機(jī)進(jìn)行socket通信的應(yīng)用程序，如果建立的線程使用阻塞connect與遠(yuǎn)程通信，當(dāng)有幾百個(gè)線程并發(fā)的時(shí)候，由于網(wǎng)絡(luò)延遲而全部阻塞，阻塞的線程不會(huì)釋放系統(tǒng)的資源，同一時(shí)刻阻塞線程超過(guò)一定數(shù)量時(shí)候，系統(tǒng)就不再允許建立新的線程（每個(gè)進(jìn)程由于進(jìn)程空間的原因能產(chǎn)生的線程有限），如果使用非阻塞的connect，連接失敗使用select等待很短時(shí)間，如果還沒(méi)有連接后，線程立刻結(jié)束釋放資源，防止大量線程阻塞而使程序崩潰。