將光纖通道和RAID相融合（一）

beiyasjhf

數(shù)據(jù)儲(chǔ)存結(jié)構(gòu)中的I/O帶寬問(wèn)題一直是RAID系統(tǒng)中的瓶頸，而光纖通道恰好可以為服務(wù)器和存儲(chǔ)設(shè)備之間提供一條高速的數(shù)據(jù)傳輸通道，將光纖通道和RAID技術(shù)融合，提供一個(gè)基于全光纖通道的RAID系統(tǒng)，可以在速度、容量、可靠性、靈活性等方面滿足飛速發(fā)展的網(wǎng)絡(luò)存儲(chǔ)服務(wù)的要求，所以本文就基于這個(gè)思想來(lái)設(shè)計(jì)一個(gè)高性能的企業(yè)級(jí)磁盤系統(tǒng)，該系統(tǒng)應(yīng)該具有如下的技術(shù)特點(diǎn)：
　　1． 主機(jī)接口和磁盤接口均采用光纖通道；
　　2． 采用大緩存，多體交叉、多訪存總線結(jié)構(gòu)；
　　3． 采用多CPU結(jié)構(gòu)，分布處理主機(jī)和磁盤的請(qǐng)求，提高響應(yīng)的速度；
　　4． 總體上采用可擴(kuò)展的結(jié)構(gòu)，在各部分帶寬平衡的條件下，動(dòng)態(tài)擴(kuò)展主機(jī)側(cè)的通道接口數(shù)和磁盤側(cè)的磁盤數(shù)量；
　　5． 充分采用冗余設(shè)計(jì)技術(shù)和熱插拔技術(shù)，提高系統(tǒng)可靠性；
　　6． 實(shí)現(xiàn)快速的重建算法和改進(jìn)小寫性能。
　　一、硬件結(jié)構(gòu)設(shè)計(jì)
　　RAID_FC的系統(tǒng)結(jié)構(gòu)框圖如下：
                                 

                                
                                                                                                         圖1：RAID_FC控制器結(jié)構(gòu)圖
　　處理器： 在RAID_FC中，面向主機(jī)和磁盤側(cè)的接口都采用光纖通道，內(nèi)部使用大容量Cache，這樣處理器就需要處理來(lái)自主機(jī)接口的高速數(shù)據(jù)請(qǐng)求、實(shí)現(xiàn)各級(jí)RAID Level的結(jié)構(gòu)、管理內(nèi)部Cache、完成校驗(yàn)計(jì)算、處理多個(gè)磁盤成員數(shù)據(jù)的讀寫操作和故障狀態(tài)下的重建工作，負(fù)載很重。為支持光纖通道的大數(shù)據(jù)量傳輸，為系統(tǒng)性能提供較大的擴(kuò)展空間，所以采用雙處理器設(shè)計(jì)，分別負(fù)責(zé)面向主機(jī)的操作和面向磁盤的操作，稱為SPH（Storage Processor for Host）和SPD（Storage Processor for Disk）。為提高處理器間的通信速度，兩處理器間中斷和某些關(guān)鍵信息的傳遞通過(guò)硬件連線直接完成，數(shù)據(jù)傳遞通過(guò)共享緩存空間來(lái)完成。
　　這樣做的優(yōu)點(diǎn)是：SPH、SPD分別負(fù)責(zé)面向主機(jī)和面向設(shè)備的操作，降低了各自的負(fù)載，并且每個(gè)處理器上運(yùn)行自己專門的陣列管理軟件，可以針對(duì)各自的操作特點(diǎn)進(jìn)行優(yōu)化；處理器間的信號(hào)交互通過(guò)硬件直線連接，通信速度快；雙處理器通過(guò)共享內(nèi)存交換數(shù)據(jù)，提高了對(duì)共享內(nèi)存的管理和使用效率，可以高速完成數(shù)據(jù)的交互。
　　 主機(jī)接口部件： 主機(jī)接口采用兩個(gè)光纖通道，單根光纖通道就提供100MB/s的帶寬，可以接一個(gè)主機(jī)或兩個(gè)主機(jī)或多口的光纖交換機(jī)，連接到一個(gè)主機(jī)時(shí)，兩條通道互為備份，也可以同時(shí)進(jìn)行數(shù)據(jù)傳輸。
　　 磁盤接口部件： 存儲(chǔ)接口面向FC磁盤成員，使用光纖通道仲裁環(huán)路結(jié)構(gòu)(FC_AL)，系統(tǒng)提供了4個(gè)光纖接口形成兩對(duì)雙光纖環(huán)路，每個(gè)環(huán)路包括一個(gè)主環(huán)路和一個(gè)冗余環(huán)路形成Dual Loop。
　　存儲(chǔ)接口使用光纖環(huán)路主要是基于如下考慮：首先當(dāng)然是光纖的高帶寬，且支持點(diǎn)到多點(diǎn)的傳輸能力；FC_AL可以支持127個(gè)設(shè)備有較好的擴(kuò)展性；每個(gè)磁盤可以同時(shí)維護(hù)兩條到控制器的通路，實(shí)現(xiàn)了對(duì)關(guān)鍵路徑的冗余保護(hù)；FC_AL使端口位置有端口旁路機(jī)制，使熱交換的實(shí)現(xiàn)更加簡(jiǎn)單；光纖通道接口提供了一些新的SCSI命令，簡(jiǎn)化了“讀－修正－寫”的過(guò)程，使RAID 5的實(shí)現(xiàn)更簡(jiǎn)單；FC_AL支持絕對(duì)尋址，容許多個(gè)設(shè)備故障、且兼容并行的SCSI命令，提高了設(shè)備管理的靈活性。
　　Cache： 為提高數(shù)據(jù)的緩存能力，加快對(duì)主機(jī)訪問(wèn)的響應(yīng)時(shí)間，系統(tǒng)中設(shè)置一個(gè)GB級(jí)的大容量數(shù)據(jù)緩存，由處理器SPH和SPD共享�？刂破魈峁┙o主機(jī)的數(shù)據(jù)全部存放在Cache中。為充分發(fā)揮Cache的作用，Cache設(shè)計(jì)支持多體交叉并行訪問(wèn)和突發(fā)數(shù)據(jù)傳輸，在訪問(wèn)能力上與雙處理器的處理能力相匹配。
　　內(nèi)部總線設(shè)計(jì)： 陣列所有的數(shù)據(jù)流都要進(jìn)過(guò)內(nèi)部存儲(chǔ)總線，是數(shù)據(jù)傳輸?shù)年P(guān)鍵通道。內(nèi)部存儲(chǔ)總線需要支持外部設(shè)備的高數(shù)據(jù)傳輸速率和對(duì)大容量Cache的訪問(wèn)。設(shè)計(jì)采用兩條相同的高速總線，形成關(guān)鍵的雙備份。控制器的各部件同時(shí)接到兩條總線上，確保到關(guān)鍵路徑的雙通路。
  
　　內(nèi)部存儲(chǔ)總線的速率應(yīng)和處理器的總線速率相匹配，總線位數(shù)和所提供的帶寬應(yīng)與雙處理器帶寬匹配，保證系統(tǒng)的關(guān)鍵部件不夠成瓶頸。根據(jù)與PCI總線的接口，可以確定內(nèi)部總線寬度64位，工作頻率200MHz以上。內(nèi)部存儲(chǔ)總線位為控制器專用總線，帶寬設(shè)計(jì)高，可以為系統(tǒng)擴(kuò)展提供較大空間。
　　磁盤成員的組織： 系統(tǒng)中的硬盤選用光纖接口、大容量、支持熱插拔硬盤。每8個(gè)磁盤成員形成一個(gè)物理光纖雙環(huán)路，5個(gè)雙環(huán)路級(jí)聯(lián)，形成一個(gè)完整的 FC_AL仲裁環(huán)路。系統(tǒng)支持兩個(gè)FC_AL。這樣每個(gè)環(huán)路支持40個(gè)磁盤成員，整個(gè)系統(tǒng)支持80個(gè)磁盤成員。系統(tǒng)中磁盤成員的組織結(jié)構(gòu)如圖2所示。
                                                      

                                                                                                    圖2：磁盤組織連接圖

本文來(lái)自ChinaUnix博客，如果查看原文請(qǐng)點(diǎn)：http://blog.chinaunix.net/u3/98097/showart_2017665.html