事件響應方式

yulihua49

在編程中，常常要讓程序等待某些事件，如何及時響應這些事件，有若干方式。
1.        程序輪詢，程序不斷查詢狀態(tài)，直到期望的狀態(tài)發(fā)生。這將劇烈消耗CPU和相關資源�？梢栽谳喸冎胁迦雜leep之類的休眠以減小CPU的消耗，但是犧牲了響應時間。
2.        事件觸發(fā)，有幾種：
1：1    一個線程等待一個事件，同步阻塞方式。等待期間不消耗CPU，事件可以立即響應。如read。
M：1    一個線程等待M個事件。同步阻塞方式。等待期間不消耗CPU，出現(xiàn)任一事件可以立即響應。如select。
M：N    N個線程等待M個事件。同步阻塞方式。等待期間不消耗CPU，出現(xiàn)任一事件都會選出一個線程來響應這個事件。如epoll。

cokeboL

只討論 rpc 的情況？
不考慮跨硬件 rpc 的話，除了socket/pipe，還有信號量，條件量，直接回調（有競爭就加鎖）配著隊列之類的也方便

yulihua49

cokeboL 發(fā)表于 2016-08-12 17:30
只討論 rpc 的情況？
不考慮跨硬件 rpc 的話，除了socket/pipe，還有信號量，條件量，直接回調（有競爭就加 ...

把你的想法說說，補充一下。

尤其是同步阻塞的事件處理器如何處理異步IO，沒想出來怎樣簡練的描述。
關于eventfd，signalfd，timerfd等等。

cokeboL

最近論壇上的少，才看到。

eventfd這個好像沒什么可說的吧，epollfd，就是epoll那幾個接口
signalfd，這個具體是指信號？比如kill -9？還是指其他？
實現(xiàn)timer的方式也挺多的，timerfd這個也沒明白具體指？

cokeboL

如果非要用c/c++

異步IO
發(fā)包肯定要存隊列，同步阻塞的地方處理，也只是把包掛到sock fd對應的結構體的消息隊列里然后加個等待可寫的事件，但是無法保證同步阻塞的地方返回時包已經(jīng)發(fā)出去了，
想等到結果，就得把同步的地方分兩半，發(fā)包之后的部分弄個回調來做，如果同步這部分邏輯，發(fā)包和等待都是在循環(huán)里，又不行，還得改成回調之后再激發(fā)下一次循環(huán)的結構，
所以你們各位弄的協(xié)程那種，可能比這種寫法稍好一些
如果同步的地方都用同步發(fā)肯定太虐心了，一是發(fā)包的sock fd如果有多個，就都應該從epoll列表里dele了先，然后再遍歷阻塞發(fā)，這種肯定就亂了，不行

cokeboL

timer c/c++ epoll這種結構里
我見過的主流大概就兩種：
一種是弄個小頂堆或者list、map也湊合用，epoll的循環(huán)里每次wait最小時間間隔，nginx好像是這種，redis類似但是好像是沒用小頂堆，用的鏈表，我猜是redis的業(yè)務場景，簡單的鏈表實現(xiàn)足夠了吧
另一種是wait固定的tick time，然后和timer的結構最小間隔對比看到時間沒，就相當于輪詢吧

cokeboL

不太清楚你們具體的業(yè)務場景，各種ipc機制和鎖這些，就像過家家，不同的業(yè)務場景和需求，可以有太多中擺法。。

可惜你們不用golang，否則真是簡化了太多結構，chan、鎖、回調加起來的各種組合，就差不多能搞所有姿勢了，省心，省力。

yulihua49

cokeboL 發(fā)表于 2016-08-15 14:53
不太清楚你們具體的業(yè)務場景，各種ipc機制和鎖這些，就像過家家，不同的業(yè)務場景和需求，可以有太多中擺法。 ...

個人偏愛C是因為癖好，喜歡玩機器，C更像在使用一個機器。其他語言更高級，接近于任務描述，應該是好用些，但是資源控制更間接，有時不知他怎么干的，需要優(yōu)化也無從下手。

那幾個fd，你在網(wǎng)上搜搜，有詳細說明。配合epoll完成非IO異步操作的。
這里有一個eventfd配合epoll進行文件異步IO的例子：

1. 
   
2. /*******************************************
   
3. * 需要linux 2.6.22 以上版本
   
4. * 和libaio 3.107以上版本
   
5. * 如果不具備這個條件，在makefile里用SIO_fd.o
   
6. * 取代本模塊
   
7. *******************************************/
   
8. 
   
9. #include <unistd.h>
   
10. #include <sys/stat.h>
    
11. #include <fcntl.h>
    
12. #include <sys/eventfd.h>
    
13. #include <libaio.h>
    
14. 
    
15. #include <scsrv.h>
    
16. 
    
17. static int AIO_oper(int fd,char *buff,size_t iosize,int flg)
    
18. {
    
19. io_context_t myctx;
    
20. int rc,num;
    
21. uint64_t finished_aio;
    
22. struct iocb _iocb,*io=&_iocb;
    
23. struct io_event event;
    
24. int     efd = eventfd(0, 0);
    
25. T_YIELD yield=get_yield();
    
26. 
    
27.         if (efd == -1) {   
    
28.                 return flg?write(fd,buff,iosize):read(fd,buff,iosize);
    
29.         }   
    
30. 
    
31.         memset(&myctx,0,sizeof(myctx));
    
32.         io_set_eventfd(io,efd);
    
33.         io_queue_init(1, &myctx);
    
34.         if(flg) io_prep_pread(io, fd, buff, iosize, 0);
    
35.         else    io_prep_pwrite(io, fd, buff, iosize, 0);
    
36.         rc = io_submit(myctx, 1, &io);
    
37.         if(rc<0) {
    
38.                 close(efd);
    
39.                 io_destroy(myctx);
    
40.                 return flg?write(fd,buff,iosize):read(fd,buff,iosize);
    
41.         }
    
42.         if(yield) {
    
43.                 rc = yield(efd,0,0);//efd提交給epoll，并yield and resume.
    
44.                 if(rc==0) eventfd_read(efd, &finished_aio);
    
45.         }
    
46.         close(efd);
    
47.         num = io_getevents(myctx, 1, 1, &event, NULL);
    
48.         if(num>0) {
    
49.                 if(event.res2==0) num=event.res;
    
50.                 else num=-1;
    
51.         }
    
52.         io_destroy(myctx);
    
53.         return num;
    
54. }
    
55. 
    
56. int AIO_read(int fd,char *buff,size_t iosize)
    
57. {
    
58.         return AIO_oper(fd,buff,iosize,0);
    
59. }
    
60. 
    
61. int AIO_write(int fd,char *buff,size_t iosize)
    
62. {
    
63.         return AIO_oper(fd,buff,iosize,1);
    
64. }
    
65. 
    

復制代碼

yulihua49

cokeboL 發(fā)表于 2016-08-15 14:53
不太清楚你們具體的業(yè)務場景，各種ipc機制和鎖這些，就像過家家，不同的業(yè)務場景和需求，可以有太多中擺法。 ...

發(fā)了個回復怎么丟了？

1. 
   
2. /*******************************************
   
3. * 需要linux 2.6.22 以上版本
   
4. * 和libaio 3.107以上版本
   
5. * 如果不具備這個條件，在makefile里用SIO_fd.o
   
6. * 取代本模塊
   
7. *******************************************/
   
8. 
   
9. #include <unistd.h>
   
10. #include <sys/stat.h>
    
11. #include <fcntl.h>
    
12. #include <sys/eventfd.h>
    
13. #include <libaio.h>
    
14. 
    
15. #include <scsrv.h>
    
16. 
    
17. static int AIO_oper(int fd,char *buff,size_t iosize,int flg)
    
18. {
    
19. io_context_t myctx;
    
20. int rc,num;
    
21. uint64_t finished_aio;
    
22. struct iocb _iocb,*io=&_iocb;
    
23. struct io_event event;
    
24. int     efd = eventfd(0, 0);
    
25. T_YIELD yield=get_yield();
    
26. 
    
27.         if (efd == -1) {   
    
28.                 return flg?write(fd,buff,iosize):read(fd,buff,iosize);
    
29.         }   
    
30. 
    
31.         memset(&myctx,0,sizeof(myctx));
    
32.         io_set_eventfd(io,efd);
    
33.         io_queue_init(1, &myctx);
    
34.         if(flg) io_prep_pread(io, fd, buff, iosize, 0);
    
35.         else    io_prep_pwrite(io, fd, buff, iosize, 0);
    
36.         rc = io_submit(myctx, 1, &io);
    
37.         if(rc<0) {
    
38.                 close(efd);
    
39.                 io_destroy(myctx);
    
40.                 return flg?write(fd,buff,iosize):read(fd,buff,iosize);
    
41.         }
    
42.         if(yield) {
    
43.                 rc = yield(efd,0,0);//efd提交給epoll，并yield and resume.
    
44.                 if(rc==0) eventfd_read(efd, &finished_aio);
    
45.         }
    
46.         close(efd);
    
47.         num = io_getevents(myctx, 1, 1, &event, NULL);
    
48.         if(num>0) {
    
49.                 if(event.res2==0) num=event.res;
    
50.                 else num=-1;
    
51.         }
    
52.         io_destroy(myctx);
    
53.         return num;
    
54. }
    
55. 
    
56. int AIO_read(int fd,char *buff,size_t iosize)
    
57. {
    
58.         return AIO_oper(fd,buff,iosize,0);
    
59. }
    
60. 
    
61. int AIO_write(int fd,char *buff,size_t iosize)
    
62. {
    
63.         return AIO_oper(fd,buff,iosize,1);
    
64. }
    
65. 
    

復制代碼

yulihua49

cokeboL 發(fā)表于 2016-08-15 14:53
不太清楚你們具體的業(yè)務場景，各種ipc機制和鎖這些，就像過家家，不同的業(yè)務場景和需求，可以有太多中擺法。 ...

1. 
   
2. /*******************************************
   
3. * 需要linux 2.6.22 以上版本
   
4. * 和libaio 3.107以上版本
   
5. * 如果不具備這個條件，在makefile里用SIO_fd.o
   
6. * 取代本模塊
   
7. *******************************************/
   
8. 
   
9. #include <unistd.h>
   
10. #include <sys/stat.h>
    
11. #include <fcntl.h>
    
12. #include <sys/eventfd.h>
    
13. #include <libaio.h>
    
14. 
    
15. #include <scsrv.h>
    
16. 
    
17. static int AIO_oper(int fd,char *buff,size_t iosize,int flg)
    
18. {
    
19. io_context_t myctx;
    
20. int rc,num;
    
21. uint64_t finished_aio;
    
22. struct iocb _iocb,*io=&_iocb;
    
23. struct io_event event;
    
24. int     efd = eventfd(0, 0);
    
25. T_YIELD yield=get_yield();
    
26. 
    
27.         if (efd == -1) {   
    
28.                 return flg?write(fd,buff,iosize):read(fd,buff,iosize);
    
29.         }   
    
30. 
    
31.         memset(&myctx,0,sizeof(myctx));
    
32.         io_set_eventfd(io,efd);
    
33.         io_queue_init(1, &myctx);
    
34.         if(flg) io_prep_pread(io, fd, buff, iosize, 0);
    
35.         else    io_prep_pwrite(io, fd, buff, iosize, 0);
    
36.         rc = io_submit(myctx, 1, &io);
    
37.         if(rc<0) {
    
38.                 close(efd);
    
39.                 io_destroy(myctx);
    
40.                 return flg?write(fd,buff,iosize):read(fd,buff,iosize);
    
41.         }
    
42.         if(yield) {
    
43.                 rc = yield(efd,0,0);//efd提交給epoll，并yield and resume.
    
44.                 if(rc==0) eventfd_read(efd, &finished_aio);
    
45.         }
    
46.         close(efd);
    
47.         num = io_getevents(myctx, 1, 1, &event, NULL);
    
48.         if(num>0) {
    
49.                 if(event.res2==0) num=event.res;
    
50.                 else num=-1;
    
51.         }
    
52.         io_destroy(myctx);
    
53.         return num;
    
54. }
    
55. 
    
56. int AIO_read(int fd,char *buff,size_t iosize)
    
57. {
    
58.         return AIO_oper(fd,buff,iosize,0);
    
59. }
    
60. 
    
61. int AIO_write(int fd,char *buff,size_t iosize)
    
62. {
    
63.         return AIO_oper(fd,buff,iosize,1);
    
64. }
    
65. 
    

復制代碼