LMT NODE PBS對作業(yè)排隊調(diào)度的實現(xiàn)

章魚小丸子LIC

                    LMT NODE PBS對作業(yè)排隊調(diào)度的實現(xiàn)
近年來，隨著計算機硬件價格的不斷下降和性能的不斷提高，計算機在各行各業(yè)應(yīng)用也變得日益廣泛，對各類計算機軟件的需求空前高漲。特別是為了滿足目前許多企業(yè)優(yōu)化利用內(nèi)部各類資源的應(yīng)用現(xiàn)狀，對基于分布式、集群系統(tǒng)之上的系統(tǒng)管理軟件的研究和開發(fā)，也引起了國內(nèi)外眾多科研機構(gòu)的興趣。
網(wǎng)絡(luò)作業(yè)管理系統(tǒng)一般具有典型的client\server結(jié)構(gòu)，server端的功能主要包括批處理排隊、作業(yè)調(diào)度、作業(yè)執(zhí)行及資源管理等；Client端的功能主要包括作業(yè)定義、啟動與服務(wù)器的通訊、作業(yè)執(zhí)行狀態(tài)查看及控制等。在server與client之間，采用TCP\IP網(wǎng)絡(luò)連接協(xié)議及與平臺無關(guān)的數(shù)據(jù)通訊協(xié)議。LMT NODE PBS作業(yè)管理系統(tǒng)涉及并行編程技術(shù)、并行機環(huán)境、事務(wù)處理、網(wǎng)絡(luò)協(xié)議、數(shù)據(jù)庫系統(tǒng)、網(wǎng)絡(luò)文件系統(tǒng)等多個領(lǐng)域。
目前，作業(yè)管理系統(tǒng)可以大體分成兩類：一類是通過擴展NQS系統(tǒng)而來，這類系統(tǒng)與原有的NQS系統(tǒng)有著良好的兼容性；另一類則是自己重新定義整個系統(tǒng)，與其他任何系統(tǒng)都不兼容，但是有的也提供了與NQS系統(tǒng)協(xié)同工作的方法。
作業(yè)管理功能最早由unix操作系統(tǒng)本身實現(xiàn)。由于unix主機通常晝夜運行，在大多數(shù)的非工作時間里系統(tǒng)資源無法得到有效利用，因此產(chǎn)生了“在以后某個時刻執(zhí)行作業(yè)”、“在資源得到滿足的情況下執(zhí)行作業(yè)”、“按某種時間周期有規(guī)律的執(zhí)行作業(yè)”等作業(yè)管理的思想，并將其實現(xiàn)。
大型機上的計算任務(wù)被分散在多臺工作站上執(zhí)行，人們使用自己桌面上的臺式機完成了更多的任務(wù)。但經(jīng)過美國國家實驗室的一項調(diào)查表明，工作站的資源利用率很低，不到總資源的10%，通常一臺工作站任務(wù)繁重，而另一臺工作站卻處于閑置狀態(tài)。另外，從系統(tǒng)運行時間看，在一周168個小時中有效的工作時間往往只有40多個小時左右，造成了資源的嚴重浪費。為了能夠更加有效的利用計算機網(wǎng)絡(luò)和工作站系統(tǒng)的能力，人們擴展了批處理系統(tǒng)，出現(xiàn)了以批處理隊列系統(tǒng)為代表的傳統(tǒng)的作業(yè)管理系統(tǒng)。后來，隨著計算機網(wǎng)絡(luò)技術(shù)的發(fā)展和對網(wǎng)格技術(shù)研究的深入，基于網(wǎng)格技術(shù)的作業(yè)管理系統(tǒng)的研制工作也開始起步，但尚處于開始階段。現(xiàn)有的網(wǎng)格系統(tǒng)對作業(yè)管理的功能還不夠強，一般只支持批處理作業(yè)，沒有獨立的作業(yè)調(diào)度模塊，對作業(yè)的調(diào)度往往由資源調(diào)度模塊來完成。因此，對于基于網(wǎng)格的作業(yè)管理技術(shù)還有待發(fā)展。
LMT NODE PBS作業(yè)管理系統(tǒng)的開發(fā)，提出了一種適合集群環(huán)境下的高效資源分配與利用方案，并給出了詳細的設(shè)計過程。深入分析了作業(yè)管理系統(tǒng)的內(nèi)部運行機制、安全機制、調(diào)度策略等方面問題，提出了改進方案。
LMT NODE PBS作業(yè)管理系統(tǒng)集群技術(shù)的特點：
在計算機應(yīng)用領(lǐng)域，為了 實現(xiàn)系統(tǒng)的高吞吐量和高性能，一個行之有效的方法就是提高處理器的處理速度，從而滿足應(yīng)用程序?qū)τ嬎隳芰Φ男枨蟆５�這種方法的進一步發(fā)展卻受到了物理因素的制約。為了滿足應(yīng)用對高性能和高吞吐量計算系統(tǒng)需求的不斷增長，集群計算就此應(yīng)運而生了。所謂集群就是將多個廉價的計算機有機的結(jié)合在一起，使它們協(xié)調(diào)工作，以此達到高的計算能力。這種系統(tǒng)就好像一個虛擬的大型計算機，作業(yè)在這個虛擬的大型計算機上有機的執(zhí)行。
LMT NODE PBS作業(yè)管理集群系統(tǒng)之所以成為構(gòu)建高吞吐量和高性能計算環(huán)境的有效途徑，主要原因是它具有以下幾個明顯的特點。
①、成本較低。傳統(tǒng)巨型機或?qū)Ｓ么笮蜋C的價格都比較昂貴，往往要幾百萬甚至上千萬美元，而構(gòu)成集群的工作站或PC機的價格一般比較便宜。一個由幾十臺工作站組成的集群系統(tǒng)就可以滿足相當多的應(yīng)用要求，成本相對很低。
   ②、用戶投資風險小。用戶在購置傳統(tǒng)巨型機或?qū)Ｓ孟到y(tǒng)時會擔心使用效率不高，系統(tǒng)性能不能充分發(fā)揮，從而浪費大量資金。集群系統(tǒng)不僅僅是一個并行處理系統(tǒng)，它的每個節(jié)點同時也是一臺獨立的工作站，即使整個系統(tǒng)對某些應(yīng)用問題并行度不高，但它的節(jié)點仍然可以作為單個工作站使用。
   ③、易于構(gòu)建。由于集群系統(tǒng)大多采用個人工作站和通用網(wǎng)絡(luò)，使得節(jié)點及系統(tǒng)管理相對容易，且可靠性高。既不用重新研制計算節(jié)點，又不用重新設(shè)計操作系統(tǒng)和編譯系統(tǒng)，節(jié)省了大量的研制時間。
   ④、可擴展性好。從規(guī)模上說，集群系統(tǒng)大多使用通用網(wǎng)絡(luò)，系統(tǒng)擴展容易；從性能上說，對大多數(shù)的并行應(yīng)用都有較高的效率。
LMT NODE PBS作業(yè)管理系統(tǒng)的簡單介紹：


（作業(yè)列表_查看所有作業(yè)：顯現(xiàn)出作業(yè)的詳細信息。作業(yè)詳細信息包括作業(yè)文件參數(shù)、作業(yè)計算結(jié)果、作業(yè)ID、主文件編號、所需CPU數(shù)量、所需內(nèi)存大小、軟件名稱、版本等等。）

（作業(yè)調(diào)整：可以對正在排隊的作業(yè)進行排隊順序的操作。）



（節(jié)點列表：顯示所有節(jié)點記錄。）



（節(jié)點維護：顯示所有的節(jié)點信息，并且可以對節(jié)點進行新增、修改、刪除操作。）


（節(jié)點平臺管理：顯示出所選節(jié)點平臺的詳細信息，并支持對去進行修改。）


（可用CPU配額管理：顯示的是用戶空閑時可用上限CPU數(shù)、緊張時可用上限CPU數(shù)。）



（作業(yè)節(jié)點實時狀態(tài)監(jiān)控圖：顯示當前實時的節(jié)點監(jiān)控結(jié)果。）



（作業(yè)數(shù)據(jù)分析：依據(jù)時間范圍、軟件視圖、用戶視圖、只顯示軟件、只顯示具體隊列等方式選擇要查詢的數(shù)據(jù)。）



（用戶列表：查看用戶的角色，系統(tǒng)管理員或提交人員角色。）



（CAE維護：查看到按軟件名稱排列的列表。該列表顯示軟件名稱、軟件版本、軟件安裝目錄、軟件程序絕對路徑、主文件 后綴名、MPI路徑、MPI版本等信息。）



（系統(tǒng)檢測：可以對異常情況平臺進行立即檢測及修復(fù)功能操作。支持對平臺查看歷史日志。）