Kettle調(diào)度現(xiàn)狀及解決方法

青菜豆腐湯2011

kettle作為非常優(yōu)秀的開源ETL工具得到了非常廣泛的使用，一般的使用的都是使用客戶端操作管理，但問(wèn)題是當(dāng)投入生產(chǎn)環(huán)境使用時(shí)，動(dòng)輒上百或幾百個(gè)job需要管理，這時(shí)在使用客戶端管理已經(jīng)很難完成了。

我所知道的解決方案有用命令行的調(diào)用的，操作麻煩，體驗(yàn)很差（基于命令行上構(gòu)架出來(lái)的一般都用Linux的crontab、或者是Windows下用定時(shí)器等）；還有就是開發(fā)web端管理工具，kettle自帶了一個(gè)web端管理工具，界面極其簡(jiǎn)陋不說(shuō)，還很難用，基本無(wú)法投入生產(chǎn)環(huán)境使用。

上述方法不能滿足后，我開始尋求第三方工具，發(fā)現(xiàn)其實(shí)調(diào)度界的產(chǎn)品還是有很多，有Control-M、TASKCTL等專注調(diào)度的老牌廠商；有外包項(xiàng)目集成的Moia、ETS、WFT、IBM集成的調(diào)度工具；也有開源的Oozie、Zeus、Azkaban。

挨個(gè)查看一下資料后，感覺(jué)taskctl應(yīng)該算里面比較簡(jiǎn)單的，試用后taskctl，還不錯(cuò)，他們家不僅僅對(duì)Kettle支持不錯(cuò)，基本上市面上常見的數(shù)據(jù)庫(kù)、各種類似的大數(shù)據(jù)、ETL工具、各種腳本語(yǔ)言都有這不錯(cuò)的支持力度，即使不支持的，也可以自己擴(kuò)展。

下面是一些在查找資料過(guò)程中收集到的帖子，也一并分享個(gè)大家。

作業(yè)調(diào)度框架：http://blog.csdn.net/victory0508/article/details/8590974

調(diào)度工具中美PK ( TASKCTL VS Control-M): http://www.itpub.net/thread-1756140-1-1.html

說(shuō)說(shuō)ETL調(diào)度工具TASKCTL的五宗最: http://www.itpub.net/thread-1778332-1-1.html

Taskctl調(diào)用kettle的例子：http://www.taskctl.com/forum/detail_67.html

   如果有什么地方說(shuō)的不對(duì)，請(qǐng)大家多多指正，共同學(xué)習(xí)進(jìn)步！