LMT NEW PBS作業(yè)調(diào)度運(yùn)算系統(tǒng)對多隊(duì)列作業(yè)的運(yùn)算

章魚小丸子LIC

              LMT NEW PBS作業(yè)調(diào)度運(yùn)算系統(tǒng)對多隊(duì)列作業(yè)的運(yùn)算
    在網(wǎng)格環(huán)境下,如何將分布的計(jì)算資源整合起來,根據(jù)不同用戶提交的作業(yè)請求,充分利用網(wǎng)格中的資源,合理調(diào)度作業(yè),提高系統(tǒng)的利用率,一直是網(wǎng)格計(jì)算要解決的核心問題。作業(yè)調(diào)度系統(tǒng)正是解決以上問題的功能部件,其基本功能是接受用戶的作業(yè)請求,根據(jù)用戶作業(yè)特征,對作業(yè)隊(duì)列進(jìn)行排序,從全局資源池中選取合適的資源,對作業(yè)進(jìn)行資源分配,并監(jiān)督用戶作業(yè)的執(zhí)行�？梢娋W(wǎng)格作業(yè)在真正執(zhí)行前要進(jìn)行一系列的處理,比如請求解析、資源選擇、作業(yè)調(diào)度和最終提交,目前的大多數(shù)作業(yè)調(diào)度系統(tǒng)一般采用先來先服務(wù)( First2Come, First2Service,FCFS)策略,這就帶來了以下缺點(diǎn):
1)缺乏靈活性,無法滿足用戶的某些特殊需求;
2)缺乏統(tǒng)一的組織管理,作業(yè)在進(jìn)行處理的過程中如果出錯(cuò),將無法找到其準(zhǔn)確的位置,從而影響到進(jìn)一步的處理。
    為此,可以把處理作業(yè)的過程按照功能劃分成若干個(gè)階段,每個(gè)階段對應(yīng)一個(gè)處理隊(duì)列,這些隊(duì)列首尾相連,就構(gòu)成了一個(gè)多隊(duì)列結(jié)構(gòu);另外,為了便于對作業(yè)的管理,可以設(shè)置一個(gè)控制中心,它負(fù)責(zé)將用戶的作業(yè)請求封裝成一個(gè)對象,同時(shí)可以靈活地控制作業(yè)對象在各個(gè)處理隊(duì)列的入隊(duì)和出隊(duì)等操作,以上就是多隊(duì)列作業(yè)處理環(huán)境的設(shè)計(jì)思想。
1　作業(yè)處理環(huán)境的設(shè)計(jì)
1. 1　作業(yè)處理環(huán)境的框架結(jié)構(gòu)
    作業(yè)處理環(huán)境由作業(yè)控制中心和多隊(duì)列結(jié)構(gòu)構(gòu)成,在處理作業(yè)的過程中,作業(yè)處理環(huán)境還需要與網(wǎng)格服務(wù)系統(tǒng)中的其他服務(wù)和數(shù)據(jù)庫進(jìn)行交互。

                            圖1　作業(yè)處理環(huán)境框架
1. 2　作業(yè)處理環(huán)境的組成
1. 2. 1　作業(yè)控制中心
作業(yè)控制中心由作業(yè)控制器、作業(yè)對象工廠和作業(yè)對象組成。
作業(yè)控制器( Job Controller) 　作業(yè)控制器有三個(gè)功能:
一是接收用戶的調(diào)用請求,包含作業(yè)提交、控制、查詢等;
二是初始化作業(yè)處理環(huán)境,即啟動(dòng)多隊(duì)列結(jié)構(gòu)中的每個(gè)處理隊(duì)列所對應(yīng)的線程;
三是協(xié)調(diào)、控制作業(yè)對象工廠和處理隊(duì)列處理用戶作業(yè)請求。
    作業(yè)對象工廠(Job Object Factory) 　負(fù)責(zé)創(chuàng)建、管理作業(yè)對象。包括對作業(yè)對象的查詢、銷毀以及作業(yè)對象的持久化與恢復(fù)等。作業(yè)對象的持久化是指將作業(yè)運(yùn)行時(shí)信息封裝在作業(yè)對象里,通過序列化將其存儲(chǔ)在數(shù)據(jù)庫中。系統(tǒng)通過作業(yè)對象的持久化與恢復(fù),適時(shí)保存作業(yè)信息,支持作業(yè)的檢查點(diǎn)恢復(fù)。作業(yè)對象工廠的設(shè)計(jì)借鑒了編程模式中的工廠模式[ 5 ]。
作業(yè)對象(Job Object) 　為了方便對作業(yè)請求進(jìn)行處理,可以將作業(yè)請求封裝成一個(gè)對象,一個(gè)作業(yè)對象有如下幾個(gè)特點(diǎn): 1)作業(yè)對象代表用戶作業(yè),包含與作業(yè)有關(guān)的所有信息,貫穿于作業(yè)處理的全過程; 2)所有的作業(yè)處理都是基于作業(yè)對象進(jìn)行的; 3)作業(yè)處理各環(huán)節(jié)、各模塊間通過作業(yè)對象保存,傳遞信息; 4)作業(yè)處理相關(guān)環(huán)節(jié)通過作業(yè)對象相互調(diào)用。
    作業(yè)對象由兩類信息組成:
作業(yè)請求信息　與請求相關(guān)的信息,即作業(yè)描述文檔。包括一般信息、執(zhí)行信息、屬性信息、數(shù)據(jù)信息、擴(kuò)展信息等內(nèi)容。
    作業(yè)處理信息　與作業(yè)處理過程的相關(guān)信息。包括作業(yè)ID號(hào)、作業(yè)狀態(tài)、業(yè)提交次數(shù)等用于作業(yè)處理的信息。作業(yè)對象中包含了與整個(gè)作業(yè)處理過程相關(guān)的所有信息,這些信息的充分性既保證了作業(yè)能夠被完整地處理,又使作業(yè)保持了高度的獨(dú)立性。
1. 2. 2　多隊(duì)列結(jié)構(gòu)
    多隊(duì)列結(jié)構(gòu)由四個(gè)處理隊(duì)列構(gòu)成,分別是:預(yù)處理隊(duì)列　負(fù)責(zé)對作業(yè)進(jìn)行預(yù)處理,最終為每個(gè)到達(dá)的作業(yè)篩選出可用的資源地址。
調(diào)度隊(duì)列　負(fù)責(zé)對所有到達(dá)的作業(yè)按照其可用資源地址進(jìn)行重新排隊(duì),各個(gè)作業(yè)對象被排隊(duì)到新的子隊(duì)列中。然后,對于每個(gè)子隊(duì)列,系統(tǒng)采用多策略的模式進(jìn)行調(diào)度,最終篩選出每個(gè)子隊(duì)列中優(yōu)先級(jí)最高的作業(yè)。
    資源選擇隊(duì)列　負(fù)責(zé)對由上一個(gè)隊(duì)列選出的作業(yè)進(jìn)行資源選擇,最終為每個(gè)作業(yè)選擇最合適的執(zhí)行地址。
提交隊(duì)列　負(fù)責(zé)將每個(gè)作業(yè)提交到執(zhí)行地址上執(zhí)行。
    關(guān)于多隊(duì)列結(jié)構(gòu)還要說明以下幾點(diǎn):
1)每個(gè)處理隊(duì)列本身是一個(gè)線程,線程一旦啟動(dòng)起來就可以自動(dòng)處理作業(yè)。為了規(guī)范管理作業(yè)處理環(huán)境中的每個(gè)處理隊(duì)列,系統(tǒng)設(shè)計(jì)了一個(gè)隊(duì)列模板,定義了一些基本操作,比如入隊(duì)、出隊(duì)等,所有的處理隊(duì)列都是在隊(duì)列模板的基礎(chǔ)上創(chuàng)建的。
2)作為作業(yè)對象的容器,處理隊(duì)列以線程池的形式建立,具有負(fù)載平衡的能力,即可以根據(jù)設(shè)置線程池容量的大小來控制隊(duì)列中作業(yè)對象的數(shù)目,當(dāng)作業(yè)對象數(shù)目達(dá)到容量上限時(shí),新來的作業(yè)對象將被排隊(duì)等待。處理隊(duì)列為線程池中的每個(gè)作業(yè)對象創(chuàng)建一個(gè)處理進(jìn)程,負(fù)責(zé)對作業(yè)進(jìn)行具體的處理。
3)每個(gè)處理進(jìn)程都包含一條處理鏈,處理鏈?zhǔn)且幌盗刑幚韯?dòng)作的集合,每個(gè)處理動(dòng)作負(fù)責(zé)對作業(yè)對象進(jìn)行特定的處理。通過修改配置文件JMSConfig,可以靈活添加或刪除特定的處理動(dòng)作,從而實(shí)現(xiàn)了可插入的軟件設(shè)計(jì)方法。
1. 3　處理隊(duì)列的工作原理
    作業(yè)處理環(huán)境在處理作業(yè)對象前首先要進(jìn)行初始化,初始化工作負(fù)責(zé)把四個(gè)處理隊(duì)列首尾相接形成一個(gè)多隊(duì)列的作業(yè)處理環(huán)境,并且把每個(gè)處理隊(duì)列的線程都啟動(dòng)起來,線程一旦啟動(dòng)就可以自動(dòng)運(yùn)行。每個(gè)處理隊(duì)列一旦啟動(dòng),就會(huì)等待作業(yè)對象的加入。由于四個(gè)處理隊(duì)列都是從相同的隊(duì)列模板產(chǎn)生的,所以它們有著相似的處理流程。圖2給出了處理隊(duì)
列的一般工作流程。
    作業(yè)的入隊(duì)、出隊(duì)操作很簡單,就是加入和離開一個(gè)哈希表并更新數(shù)據(jù)庫。處理隊(duì)列采用了循環(huán)結(jié)構(gòu)對作業(yè)對象進(jìn)行批量處理,每間隔一段時(shí)間就從哈希表中依次讀取一定數(shù)量的作業(yè)放入到線程池中,檢查當(dāng)前線程池中的作業(yè)數(shù)量,只要線程池不發(fā)生上溢,就按照FCFS的原則為每個(gè)作業(yè)創(chuàng)建一個(gè)處理進(jìn)程。處理進(jìn)程負(fù)責(zé)具體的處理工作,它會(huì)調(diào)用一個(gè)名字叫做HandlerChain的處理鏈來決定要采用的處理動(dòng)作。
這里面有幾點(diǎn)要進(jìn)行說明。
1)所謂“上溢”在數(shù)據(jù)結(jié)構(gòu)[ 8 ]中泛指隊(duì)滿還入隊(duì)的操作,在作業(yè)處理環(huán)境中是指處理隊(duì)列的線程池的容量達(dá)到上限的情況。之所以加上這個(gè)判斷條件是為了保持容器的負(fù)載平
衡,提高系統(tǒng)的處理效率。
2)雖然四個(gè)隊(duì)列的結(jié)構(gòu)相似,但是它們所完成的功能卻完全不同,這就決定了在各自的處理鏈中要采用不同的處理動(dòng)作。為了屏蔽這種內(nèi)在的差異,系統(tǒng)采用了讀取配置文件JMSConfig的方法。這樣做有兩點(diǎn)好處,一是保證了操作形式上的統(tǒng)一性,幾個(gè)處理隊(duì)列都是通過讀取這個(gè)配置文件來決定要采用的處理動(dòng)作;二是保證了配置上的靈活性,可以根據(jù)用戶的需要?jiǎng)討B(tài)修改配置文件,添加或刪除所需的處理方法,從而實(shí)現(xiàn)了一種可插入的軟件設(shè)計(jì)技術(shù)。
3)這個(gè)流程是前三個(gè)處理隊(duì)列工作的一般流程,但調(diào)度隊(duì)列在各個(gè)處理環(huán)節(jié)上采用了特殊的處理方法,這是由它的功能決定的。
4)作業(yè)控制中心接收到用戶的調(diào)用請求后,就可以控制作業(yè)進(jìn)出某個(gè)隊(duì)列被相應(yīng)地處理。作業(yè)對象一般情況下要依次經(jīng)過四個(gè)處理隊(duì)列的處理,實(shí)際運(yùn)行當(dāng)中,每個(gè)處理隊(duì)列都處于活動(dòng)狀態(tài)等待處理作業(yè),但并不是每個(gè)作業(yè)對象在任何情況下都要被這四個(gè)隊(duì)列做依次處理,要根據(jù)作業(yè)控制中心下達(dá)的指令來確定。
    比如作業(yè)控制器接收到的用戶請求是作業(yè)終止,首先會(huì)根據(jù)作業(yè)號(hào)在數(shù)據(jù)庫查詢得到該作業(yè)所處的位置,然后就會(huì)下達(dá)作業(yè)終止命令,強(qiáng)制該作業(yè)從當(dāng)前所處的隊(duì)列中出隊(duì),并將實(shí)時(shí)信息保存到數(shù)據(jù)庫中。如果接收到的是用戶作業(yè)重啟的請求,作業(yè)控制器就會(huì)根據(jù)作業(yè)號(hào)從數(shù)據(jù)庫中查詢該作業(yè)對象的信息,然后下達(dá)作業(yè)重啟的命令,強(qiáng)制該作業(yè)從原來的暫停位置重新做入隊(duì)操作。

                             圖2　處理隊(duì)列的一般工作流程
2　作業(yè)處理環(huán)境的實(shí)現(xiàn)
2. 1　作業(yè)控制中心的實(shí)現(xiàn)
作業(yè)控制中心的工作流程如圖3所示。
    作業(yè)控制中心接收用戶提交的各種作業(yè)請求,下面以提交作業(yè)為例,介紹一下作業(yè)提交的步驟。首先,通過作業(yè)對象工廠把這個(gè)作業(yè)請求封裝成一個(gè)作業(yè)對象。通過調(diào)用作業(yè)工廠的初始化方法,完成對作業(yè)對象的初始化工作:包括初始化作業(yè)的ID號(hào)、作業(yè)的初始優(yōu)先級(jí)、初始狀態(tài)、安全身份等。其次,將作業(yè)對象序列化,調(diào)用數(shù)據(jù)庫存取接口完成作業(yè)對象存入數(shù)據(jù)庫操作。第三,由作業(yè)控制中心轉(zhuǎn)發(fā)指令。作業(yè)控制中心接收到用戶提交的調(diào)用指令后,首先初始化作業(yè)處理環(huán)境,然后根據(jù)作業(yè)對象的狀態(tài)將作業(yè)對象入隊(duì)到相應(yīng)隊(duì)列,由于本次接受到的是作業(yè)提交指令,所以控制中心將作業(yè)對象入隊(duì)到預(yù)處理隊(duì)列。
    注意,如果控制中心接收到用戶銷毀作業(yè)指令的話,會(huì)根據(jù)待銷毀作業(yè)對象的ID號(hào),從數(shù)據(jù)庫中取出相應(yīng)的作業(yè)對象,查看該作業(yè)的狀態(tài)信息,判斷作業(yè)所在的處理隊(duì)列,然后命令作業(yè)做出隊(duì)操作。

                 圖3　作業(yè)控制中心的工作流程
2. 2　預(yù)處理隊(duì)列的實(shí)現(xiàn)
    預(yù)處理隊(duì)列的處理分為三個(gè)步驟:入隊(duì)操作、循環(huán)處理和出隊(duì)操作。其中,入隊(duì)和出隊(duì)的操作比較簡單,循環(huán)處理是關(guān)鍵。圖4給出了預(yù)處理隊(duì)列的工作流程。

                         圖4　預(yù)處理隊(duì)列的工作流程
1)入隊(duì)操作。將作業(yè)對象放入一個(gè)名字叫作queue的哈希表中,同時(shí)更新數(shù)據(jù)庫中作業(yè)對象的狀態(tài)信息,表明此時(shí)作業(yè)處在預(yù)處理隊(duì)列階段。更新數(shù)據(jù)庫的目的是防止系統(tǒng)突然掉電等意外情況的發(fā)生,從而方便作業(yè)對象的重啟。
2)循環(huán)處理。該循環(huán)處理結(jié)構(gòu)負(fù)責(zé)定期對加入到本隊(duì)列的作業(yè)對象按照FCFS的原則進(jìn)行批量處理,其工作按照
圖2中所示的一般工作流程進(jìn)行。本隊(duì)列共采用了五個(gè)處理動(dòng)作。
需求解析　負(fù)責(zé)解析作業(yè)對象中的作業(yè)描述文本,將文本中要求使用的軟硬件環(huán)境信息和資源地址信息解析出來。
權(quán)限檢查　通過調(diào)用虛擬社會(huì)組織(Virtual Organization,VO)服務(wù)提供的接口,獲得用戶有權(quán)使用的資源地址向量,和上一步取得的用戶要求使用的資源地址向量取交集,并以此更新作業(yè)對象的可用資源地址向量值。
類型檢查　負(fù)責(zé)判斷作業(yè)是否是應(yīng)用類型作業(yè),如果是則調(diào)用應(yīng)用服務(wù)接口直接獲得可用的資源地址信息;否則,進(jìn)入下一步。
有效性檢查　調(diào)用全局信息服務(wù)接口,獲得滿足作業(yè)執(zhí)行軟、硬件環(huán)境要求且在當(dāng)前網(wǎng)格環(huán)境中可使用的資源地址向量。再和前面取得的資源地址取交集,并以此更新作業(yè)可
用的資源地址向量值。
合法性檢查　對更新過的作業(yè)的資源地址向量的大小進(jìn)行判斷檢查。作業(yè)對象經(jīng)過以上處理動(dòng)作處理后,攜帶著的是最新的可用資源地址。
3)出隊(duì)操作。出隊(duì)操作完成的任務(wù)是:將作業(yè)對象從哈希表中刪除,然后,攜帶著必要的信息自動(dòng)入隊(duì)到下一個(gè)處理隊(duì)列中。
2. 3　調(diào)度隊(duì)列的實(shí)現(xiàn)
在本層隊(duì)列,網(wǎng)格作業(yè)在各個(gè)服務(wù)節(jié)點(diǎn)的執(zhí)行次序?qū)⒈蛔罱K確定,所以此模塊的設(shè)計(jì)是作業(yè)處理流程中最關(guān)鍵的步驟。圖5給出了調(diào)度隊(duì)列的工作流程。

                       圖5　調(diào)度隊(duì)列的工作流程
調(diào)度隊(duì)列負(fù)責(zé)把所有入隊(duì)的作業(yè)對象重新排隊(duì),它的排隊(duì)規(guī)則是以作業(yè)對象攜帶的可用資源地址為索引項(xiàng),把作業(yè)對象排隊(duì)到各個(gè)子隊(duì)列相應(yīng)的位置。這意味著資源地址與子隊(duì)列是一對一的關(guān)系。每個(gè)子隊(duì)列都包含一個(gè)列表,列表里存儲(chǔ)著一組有著共性的作業(yè)對象,這個(gè)共性指的就是擁有相同的資源地址。也就是說,擁有相同的資源地址的作業(yè)對象都排隊(duì)到同一個(gè)子隊(duì)列中。系統(tǒng)根據(jù)相應(yīng)的策略對每個(gè)子隊(duì)列所包含的作業(yè)對象進(jìn)行調(diào)度,在調(diào)度的過程中,采用了多策略的調(diào)度模式。
重新排隊(duì)的特性使得本層隊(duì)列的設(shè)計(jì)不同于其他三個(gè)處理隊(duì)列,作業(yè)對象在調(diào)度隊(duì)列中的處理步驟也是由入隊(duì)、循環(huán)處理和出隊(duì)構(gòu)成。
1)入隊(duì)操作。主要是完成重新排隊(duì)的工作。每入隊(duì)一個(gè)作業(yè)對象,系統(tǒng)首先檢查它所攜帶的可用資源地址(URL) ,根據(jù)這些地址創(chuàng)建一個(gè)哈希表(QueueTable) 。該表以作業(yè)對象的URL為索引,鍵值是子隊(duì)列( JMSQueue)對象。一旦發(fā)現(xiàn)某個(gè)作業(yè)對象有新的資源地址,就為此地址創(chuàng)建一個(gè)子隊(duì)列。
某個(gè)作業(yè)對象進(jìn)入作業(yè)調(diào)度隊(duì)列時(shí)可能攜帶著多個(gè)可用資源地址,系統(tǒng)根據(jù)這些URL值將其分別排隊(duì)到相應(yīng)的子隊(duì)列中。一個(gè)子隊(duì)列可以包含多個(gè)作業(yè)對象,而一個(gè)作業(yè)對象也可以存儲(chǔ)在多個(gè)子隊(duì)列中,子隊(duì)列和作業(yè)對象是多對多的關(guān)系。圖6給出了一種可能的作業(yè)排隊(duì)情形。

                        圖6　作業(yè)在子隊(duì)列中的排隊(duì)示意圖
通過入隊(duì)操作,每個(gè)進(jìn)入調(diào)度隊(duì)列的作業(yè)對象其實(shí)有了兩個(gè)排隊(duì)順序,一個(gè)是在整個(gè)調(diào)度隊(duì)列這個(gè)大隊(duì)列中的排隊(duì)順序,另一個(gè)是在以資源地址作為索引項(xiàng)的子隊(duì)列這樣的小隊(duì)列中的排隊(duì)順序。
2)循環(huán)處理。調(diào)度隊(duì)列的線程一旦被啟動(dòng),就采用一種循環(huán)處理的結(jié)構(gòu),定期對本隊(duì)列中的每個(gè)子隊(duì)列進(jìn)行調(diào)度。調(diào)度過程中采用的是一種多策略的調(diào)度模式,采用了兩種算法來調(diào)整子隊(duì)列中作業(yè)的優(yōu)先級(jí)。調(diào)度隊(duì)列的調(diào)度鏈類包含四個(gè)處理動(dòng)作�；�于用戶滿意度的優(yōu)先級(jí)調(diào)整　算法借助效用函數(shù)理論,根據(jù)實(shí)際調(diào)度過程中用戶的等待心理,構(gòu)造了用戶不滿意度曲線,這條曲線最終確定了作業(yè)的優(yōu)先級(jí)隨時(shí)間變化的趨勢,算法的好處是使作業(yè)優(yōu)先級(jí)的調(diào)整符合用戶的心理。
基于調(diào)度頻率的優(yōu)先級(jí)調(diào)整( FrequencyPriorityAdjust2Algorithm) 　算法根據(jù)作業(yè)的調(diào)度頻率調(diào)整其優(yōu)先級(jí),通過降低某些阻塞型作業(yè)的優(yōu)先級(jí),使各類作業(yè)有了公平競爭的環(huán)境,提高了計(jì)算資源的利用率。
作業(yè)選擇　為每個(gè)子隊(duì)列選擇出優(yōu)先級(jí)最高的作業(yè),并把子隊(duì)列所對應(yīng)的URL作為作業(yè)的最終執(zhí)行地址Endpoint。
可用性檢查　對于每個(gè)子隊(duì)列選擇出的作業(yè),把它的調(diào)度次數(shù)加1,然后調(diào)用全局信息服務(wù),檢查它的Endpoint是否處于可用狀態(tài)。如果可用,就把該作業(yè)對象出隊(duì);如果不可用,就重新參加調(diào)度。
基于用戶滿意度的優(yōu)先級(jí)調(diào)整和基于調(diào)度頻率的優(yōu)先級(jí)調(diào)整分別采用了兩種調(diào)度算法,經(jīng)過這兩個(gè)調(diào)度動(dòng)作,每個(gè)子隊(duì)列中作業(yè)的優(yōu)先級(jí)已經(jīng)被調(diào)整完畢,系統(tǒng)要求每個(gè)子隊(duì)列中只有優(yōu)先級(jí)最高的作業(yè)(即作業(yè)選擇)才能被下一個(gè)處理動(dòng)作(即可用性檢查)進(jìn)行處理。
作業(yè)選擇的任務(wù)就是按照作業(yè)優(yōu)先級(jí)的大小為每個(gè)子隊(duì)列選擇出優(yōu)先級(jí)最高的作業(yè)作以標(biāo)記,并且把子隊(duì)列的索引值作為此作業(yè)對象的一個(gè)候選地址,這個(gè)索引值就是圖6中哈希表的URL,這些被標(biāo)記的作業(yè)便擁有了得到真正執(zhí)行的權(quán)利。
并不是每個(gè)子隊(duì)列選擇出來的被標(biāo)記的作業(yè)都能得到真正執(zhí)行,這些被選擇的作業(yè)所攜帶的所有的候選地址此時(shí)在網(wǎng)格范圍內(nèi)不一定可用,必須進(jìn)行檢查。系統(tǒng)設(shè)計(jì)了可用性檢查處理動(dòng)作,通過調(diào)用信息服務(wù)提供的接口,對每個(gè)子隊(duì)列選擇出的作業(yè)的候選地址的有效性進(jìn)行檢查,那些網(wǎng)格無法滿足的作業(yè)將重新在子隊(duì)列中排隊(duì)等待調(diào)度,只有通過檢查的作業(yè)對象才能順利地做出隊(duì)操作。
3)出隊(duì)操作。經(jīng)過四個(gè)處理動(dòng)作的處理后,每個(gè)子隊(duì)列中優(yōu)先級(jí)最高并且其執(zhí)行地址確實(shí)能被網(wǎng)格系統(tǒng)滿足的作業(yè), 分別從大隊(duì)列(調(diào)度隊(duì)列)和每個(gè)小隊(duì)列(子隊(duì)列)做出隊(duì)操作,并自動(dòng)入隊(duì)到下一個(gè)隊(duì)列即資源選擇隊(duì)列。
2. 4　資源選擇隊(duì)列和提交隊(duì)列的實(shí)現(xiàn)
這兩個(gè)模塊的設(shè)計(jì)思路與預(yù)處理隊(duì)列模塊基本相同,唯一不同之處在于所采用的處理動(dòng)作不一樣。從調(diào)度隊(duì)列出隊(duì)后的每個(gè)作業(yè)可能包含多個(gè)候選地址,
例如圖6中的作業(yè)a,如果經(jīng)過調(diào)度后它在子隊(duì)列JMSQueue1和JMSQueue2都可能是優(yōu)先級(jí)最高的作業(yè),那么它就包含兩個(gè)候選地址URL1和URL2。資源選擇隊(duì)列的主要任務(wù)就是針對入隊(duì)的每個(gè)作業(yè)對象,在候選地址中選取其最適合的資源地址作為作業(yè)的最終執(zhí)行地址。然后,作業(yè)出隊(duì)并自動(dòng)入隊(duì)到下一個(gè)隊(duì)列即提交隊(duì)列。提交隊(duì)列負(fù)責(zé)把進(jìn)入該層的作業(yè)提交到最終執(zhí)行地址上真正執(zhí)行。
經(jīng)過四個(gè)處理隊(duì)列的處理,作業(yè)對象就完成了在作業(yè)處理環(huán)境的流程,或者繼續(xù)留在調(diào)度系統(tǒng)參加排隊(duì),或者得到最終的執(zhí)行。
3　結(jié)語
本文提出了一種基于多隊(duì)列思想來構(gòu)建作業(yè)處理環(huán)境的思路,由作業(yè)控制中心和多隊(duì)列結(jié)構(gòu)組成的作業(yè)處理環(huán)境,采用分階段的方式處理網(wǎng)格作業(yè)。它的特點(diǎn)是:由四個(gè)處理隊(duì)列構(gòu)成的多隊(duì)列結(jié)構(gòu)將作業(yè)的處理流程劃分成幾個(gè)階段,每個(gè)階段完成特定的功能,它們彼此聯(lián)系而又相互區(qū)別;作業(yè)控制中心負(fù)責(zé)統(tǒng)一管理作業(yè)對象在多隊(duì)列結(jié)構(gòu)中的操作,它的存在使得系統(tǒng)對作業(yè)處理流程的控制更加靈活。