解決kettle調(diào)度效率低，不可高并發(fā)調(diào)度方法

xc20494580

“我在spoon里面運(yùn)行一個(gè)作業(yè)只要幾秒種，但是在命令行中運(yùn)行卻要好幾十秒？”

“并行同時(shí)運(yùn)行幾個(gè)job，就把內(nèi)存撐爆了，Kettle好占資源呀！”




  Kettle作為用戶規(guī)模最多的開源ETL工具，強(qiáng)大簡潔的功能深受廣大ETL從業(yè)者的歡迎。但kettle本身的調(diào)度監(jiān)控功能卻非常弱。連Pentaho官方都建議采用crontab(Unix平臺)和計(jì)劃任務(wù)(Windows平臺)來完成調(diào)度功能。調(diào)用kettle作業(yè)，實(shí)際上是通過pan和kitchen命令去調(diào)用。每一次調(diào)用都會重新初始化kettle運(yùn)行環(huán)境，這個(gè)過程占用大量的時(shí)間。并且每啟動一個(gè)kettle運(yùn)行環(huán)境都相當(dāng)于啟動一個(gè)JVM進(jìn)程。每個(gè)JVM則會占用幾百兆（默認(rèn)設(shè)置）的內(nèi)存。所以同時(shí)運(yùn)行幾個(gè)作業(yè)，也會消耗大量內(nèi)存資源。極端情況則可能會導(dǎo)致kettle內(nèi)存溢出，產(chǎn)生致命錯誤。

https://my.oschina.net/u/944575/blog/1557410

http://www.taskctl.com/forum/detail_124.html

  上述是Taskctl出的解決方案，但是如果我本身不愿意在多學(xué)習(xí)一個(gè)調(diào)度工具，其實(shí)也是可以用這個(gè)的。安裝這個(gè)服務(wù)后，默認(rèn)會生成兩個(gè)調(diào)度插件，分別對應(yīng)trans和job兩種類型的。我們現(xiàn)在需要做的就是用crontab調(diào)用調(diào)度插件，配合著正確的參數(shù)值，就可以正常調(diào)度了，非常簡單，而且效率也很高。

  下面是我調(diào)度Linux下kettle配置的一個(gè)crontab范例，僅供大家參考

0 0 * * * /home/kettle/shell/cprunsoapktr.sh “/home/kettle/mykettle/my.ktr” “” “”

  這個(gè)是我們trans作業(yè)。是直接調(diào)用文件，而且也沒有參數(shù)，如果有差異，在安裝服務(wù)是按需選擇，調(diào)用的時(shí)候有細(xì)微的差異。執(zhí)行效率比原來有大幅的提升，而且也不在開辟多個(gè)JVM環(huán)境，造成服務(wù)器資源的問題

ffw_880106

謝謝樓主 正在為kettle的調(diào)度發(fā)愁呢

ffw_880106

謝謝樓主 正在為kettle的調(diào)度發(fā)愁呢

macrolee77

通過crontab定時(shí)器調(diào)用kettle的確很方便，但缺少對job運(yùn)行狀態(tài)的監(jiān)控，我們經(jīng)常是開發(fā)的時(shí)候?qū)憯?shù)據(jù)庫日志表。