Apache Traffic Server 3.2.0 正式版，附srpm包

aaaaaa

回復 25# aaaaaa


    我最近在測試的過程中發(fā)現(xiàn)我系統(tǒng)測試中有2個特別大的文件，是造成我的磁盤io分配不均衡的主因，這2個文件是其他小圖片的1000倍。你分析一下你的系統(tǒng)中是否有類似的情況？

aaaaaa

回復 32# xiaxueyi


    問題一，這個ACL規(guī)則是后來增加的，以至于官方文檔中都沒有很詳細的記錄，并且目前開發(fā)人員也沒有仔細看過其中的奧妙：
下面是我的一份文檔，可以用作參考，不一定特準確：
TrafficServer中的ACL控制之remap篇
TrafficServer中原設(shè)計中有復雜的ACL體系，其中最常用的，最簡單的控制方式是根據(jù)UA的來源IP地址進行控制，我們將會以實際的示例來講解如何使用這個系統(tǒng)來構(gòu)造復雜的安全控制系統(tǒng)。
首先我們看看ACL的規(guī)則說明，remap.config中支持的ACL安全控制（filtering）格式可以分解為3個元素：
  #  @action=allow|deny
  #  @src_ip=IP-address
  #  @method=HTTP method string (CONNECT|DELETE|GET|HEAD|ICP_QUERY|OPTIONS|POST|PURGE|PUT|TRACE|PUSH)
格式中的3個元素詳解如下：
  @action中可以使用允許allow或拒絕deny，默認系統(tǒng)為 allow。
  @src_ip是ip段，使用1.2.3.4-5.6.7.8的IP段標示模式或獨立ip地址。
  @method是標示HTTP的method，包括所有支持的方法，常用的如GET HRAD POST等。
  map規(guī)則行末就可以直接添加ACL規(guī)則。
使用說明：
每條ACL規(guī)則可以包含多個控制元素，多個相同控制元素間是或的關(guān)系。
每條map規(guī)則上可以使用的過濾規(guī)則的條目是沒有限制的。
所有的ACL規(guī)則都是對用于map條目的，因此這些規(guī)則是不能作通配符的，也不能孤立定義。

指令集：
為了設(shè)置全局或影響多個map條目的過濾規(guī)則，我們可以使用類似下述例子的ACL規(guī)則指令：
  # .defflt  disable_all @action=deny @src_ip=0.0.0.1-254.254.254.254
  # .defflt  disable_delete_purge @action=deny @method=delete @method=purge
  # .useflt  disable_all
  # .useflt  disable_delete_purge
其中具體指令說明如下：
  .definefilter (亦可以簡化為deffilter或defflt）：定義一條過濾規(guī)則，規(guī)則格式同上。
  .deletefilter (亦可以簡化為delfilter或delflt）：刪除一條過濾規(guī)則。
  .usefilter (亦可以簡化為activefilter、activatefilter或useflt）：啟用一條已經(jīng)使用definefilter定義的規(guī)則。此指令后的所有map條目，將會集成此過濾規(guī)則。
  .unusefilter (亦可以簡化為deactivatefilter、unactivefilter、deuseflt或unuseflt）：停止使用過濾規(guī)則。
例如，需要允許我們的工具服務器10.62.163.181使用HTTP協(xié)議的PURGE方法，而禁止其他IP使用PURGE方法：
  .defflt  tools @action=deny @src_ip=0.0.0.1-10.62.163.180 @src_ip=10.62.163.182-254.254.254.254 @method=PURGE
  .useflt  tools
  map http://cdn.zymlinux.net/ http://source.zymlinux.net
  map http://cdn.zymlinux.info/ http://zymlinux.info/source
此例的需求是針對所有的map條目的，因此我們在所有的map條目前，定義了名字叫tools的過濾規(guī)則，以禁止除10.62.163.181外的所有IP地址使用PURGE方法。

再例，我們又添加了http_ui的map條目，以對cache系統(tǒng)進行debug。但是對于http_ui，我們不希望192.168.0.0/24以外的所有IP訪問，那么我們可以使用如下的配置來完成這個需求：
  .defflt  tools @action=deny @src_ip=0.0.0.1-10.62.163.180 @src_ip=10.62.163.182-254.254.254.254 @method=PURGE
  .useflt  tools
  map http://cdn.zymlinux.net/ http://source.zymlinux.net
  map http://cdn.zymlinux.info/ http://zymlinux.info/source
  .unuseflt  tools
  .delflt  tools
  .defflt  debug @action=deny @src_ip=0.0.0.1-192.167.255.255 @src_ip=192.168.1.1-254.254.254.254 @method=GET @method=POST
  .useflt  debug
  map http://localhost/cache-internal/ http://{cache-internal}
  map http://localhost/cache/ http://{cache}
  map http://localhost/stat/ http://{stat}
  map http://localhost/test/ http://{test}
  map http://localhost/hostdb/ http://{hostdb}
  map http://localhost/net/ http://{net}
  map http://localhost/http/ http://{http}
  .unuseflt  debug
  .delflt  debug
此例中，由于http_info的map條目已經(jīng)不適用tools過濾規(guī)則，因此我們?nèi)サ袅藅ools規(guī)則，新定義了debug過濾規(guī)則，禁止除192.168.0.0/24范圍外的IP地址對http_ui接口進行POST GET操作。同時在http_ui的map條目后，我們停用并刪除了debug過濾規(guī)則。
以上的例子可以發(fā)現(xiàn)，TS有一個比較易于維護的ACL規(guī)則表述方法，并切與map條目可以進行非常自由的組合匹配。因此具體的業(yè)務生產(chǎn)中，應該仔細規(guī)劃并周密部署，充分利用這個系統(tǒng)實現(xiàn)業(yè)務需求同時防止由于其自由度大帶來的潛在風險。

注意：
1、TS中，對map規(guī)則的變更，在執(zhí)行traffic_line -x后，會立即在10秒鐘內(nèi)在集群內(nèi)全部生效。
2、records.config中的proxy.config.http.quick_filter.mask，是一個過濾規(guī)則的總控。如在此已經(jīng)mask掉了PURGE方法，則不需要再在remap.config中進行過濾了。同樣，如remap中的某些條目需要用到PURGE方法，則必須首先在proxy.config.http.quick_filter.mask中將PURGE方法去掉。如將默認的0x482改為0x402。
3、所有過濾規(guī)則的debug信息以url_rewrite為關(guān)鍵詞，必要的話可以啟用debug來觀察TS的配置問題。



問題二：
cache.config的配置會覆蓋records.config，這是在預料之中的，因為我們是用cache.config來做更細致的控制的。pin-in-cache會造成磁盤的RRD模式復寫很復雜，仔細注意IO情況。

aaaaaa

順便說一句，很榮幸已經(jīng)獲邀成為trafficserver的committer，大家有任何問題和patch我都可以代理提交。

thanks

tao_627

請問下，ATS還有更詳細點的說明嗎？比如Cache中的結(jié)構(gòu)設(shè)計，本人正在研究ATS的源碼！

xrjk

新手有1個問題要請教：
軟件環(huán)境 freebsd 7.3 32   traffic sever 3.0

1、用traffic server 3.0 端口綁定不能低于 1024，做反向代理時無法用80端口



以上是問題不知道是不是bug？

aaaaaa

用traffic server 3.0 端口綁定不能低于 1024，做反向代理時無法用80端口。如果所述屬實，當然是bug。

你是用的bsd的port嗎？http://www.freshports.org/www/trafficserver，標準init啟動的嗎？

能否多測試一下并把相關(guān)的測試log發(fā)上來？

xrjk

freebsd 最新ports安裝

啟動服務錯誤
[Jun 29 14:07:16.254] Server {682627136} NOTE: logging initialized[7], logging_mode = 3
[Jun 29 14:07:16.260] Server {682627136} ERROR: Could not bind or listen to port 80 (error: -1)
[Jun 29 14:07:16.260] Server {682627136} WARNING: unable to listen on port 80: -1 13, Permission denied
[Jun 29 14:07:16.274] Server {682627136} NOTE: traffic server running
[Jun 29 14:07:16.314] Server {682627952} NOTE: cache enabled


系統(tǒng)日志

Jun 29 14:07:16 mymdb traffic_server[1694]: NOTE: Server Version: Apache Traffic Server - traffic_server - 3.0.0 - (build # 52812 on Jun 28 2011 at 12:54:25)
Jun 29 14:07:16 mymdb traffic_server[1694]: {682627136} ERROR: Could not bind or listen to port 80 (error: -1)

aaaaaa

這個port的init腳本有問題，不應該直接用traffic_server。你看看直接用/usr/bin/trafficserver來啟動吧。

ports中的問題，我們會跟owner聯(lián)系解決掉。thanks

xrjk

謝謝回復，接用/usr/bin/trafficserver來啟動是可以的

tao_627

樓主，你好！ 我想請教下，為何ATS 3.0版本搭建正向代理時，顯示502錯誤：

[Jul  5 19:16:00.444] Server {3068738416} DEBUG: (http) [4] DNS lookup failed for 'safebrowsing.clients.google.com'
[Jul  5 19:16:00.444] Server {3068738416} DEBUG: (http_trans) [HttpTransact::OSDNSLookup] This was attempt 1
[Jul  5 19:16:00.444] Server {3068738416} DEBUG: (http_seq) [HttpTransact::OSDNSLookup] DNS Lookup unsuccessful
[Jul  5 19:16:00.444] Server {3068738416} DEBUG: (http_trans) [WUTS code generation] Hit/Miss: 49, Log: 117, Hier: 49, Status: 805
[Jul  5 19:16:00.444] Server {3068738416} DEBUG: (http_trans) Adding Server: ATS/3.0.0
+++++++++ Proxy's Response 2 +++++++++
-- State Machine Id: 4
HTTP/1.1 502 Cannot find server.
Date: Tue, 05 Jul 2011 11:16:00 GMT
Proxy-Connection: close
Server: ATS/3.0.0

[Jul  5 19:16:00.444] Server {3068738416} DEBUG: (http_trans) Next action PROXY_SEND_ERROR_CACHE_NOOP; NULL
[Jul  5 19:16:00.444] Server {3068738416} DEBUG: (http) [4] State Transition: DNS_LOOKUP -> PROXY_SEND_ERROR_CACHE_NOOP
[Jul  5 19:16:00.445] Server {3068738416} DEBUG: (http_tunnel) [4] adding producer 'internal msg'
[Jul  5 19:16:00.445] Server {3068738416} DEBUG: (http_tunnel) [4] adding consumer 'user agent'
[Jul  5 19:16:00.445] Server {3068738416} DEBUG: (http_tunnel) tunnel_run started, p_arg is NULL
[Jul  5 19:16:00.445] Server {3068738416} DEBUG: (http_tunnel) [4] consumer_handler [user agent VC_EVENT_WRITE_COMPLETE]
[Jul  5 19:16:00.445] Server {3068738416} DEBUG: (http) [4] [&HttpSM::tunnel_handler_ua, VC_EVENT_WRITE_COMPLETE]
[Jul  5 19:16:00.445] Server {3068738416} DEBUG: (http_cs) [1] session half close
[Jul  5 19:16:00.445] Server {3068738416} DEBUG: (http) [4] [HttpSM::main_handler, HTTP_TUNNEL_EVENT_DONE]
[Jul  5 19:16:00.448] Server {3068738416} DEBUG: (http) [4] [&HttpSM::tunnel_handler, HTTP_TUNNEL_EVENT_DONE]
[Jul  5 19:16:00.448] Server {3068738416} DEBUG: (http_redirect) [HttpTunnel::deallocate_postdata_copy_buffers]
[Jul  5 19:16:00.448] Server {3068738416} DEBUG: (http_seq) [HttpStateMachineGet::update_stats] Logging transaction
[Jul  5 19:16:00.448] Server {3068738416} DEBUG: (http) [4] dellocating sm
[Jul  5 19:16:00.448] Server {3068738416} DEBUG: (http_cs) [1] [&HttpClientSession::state_wait_for_close, VC_EVENT_EOS]
[Jul  5 19:16:00.448] Server {3068738416} DEBUG: (http_cs) [1] session closed
[Jul  5 19:16:00.448] Server {3068738416} DEBUG: (http_cs) [1] session destroy

相比之下，一樣到配置，使用ATS 2.1.4就沒有任何問題，
懇請指教！