實踐ldom FC SR-IOV 虛擬功能

lem0

       我最近裝了一套系統(tǒng)，兩臺T5-2 做兩個LDOM,但只有一塊HBA卡，要想有好的性能，只能使用SR-IOV了,在每個HBA端口上創(chuàng)建兩個虛擬功能VF，分別分配到兩個guest 域中。
具體功能說明參見附件《Oracle VM Server for SPARC 3.2 管理指南 l .pdf》 Oracle VM Server for SPARC 3.2 管理指南 l .pdf (4.45 MB, 下載次數(shù): 44)

2015-12-11 11:55 上傳

點擊文件名下載附件

“使用 PCIe SR-IOV 虛擬功能創(chuàng)建 I/O 域”。
具體做法在這里有介紹https://blogs.oracle.com/raghuram/entry/fibre_channel_sr_iov
但是我遇到的問題跟這個一樣https://support.oracle.com/epmos/faces/DocumentDisplay?_afrLoop=551701503092548&id=1950167.1&displayIndex=1&_afrWindowMode=0&_adf.ctrl-state=v698902ol_4  
即使所有固件，補丁版本都滿足了，還是無法實現(xiàn) ，原來是要安裝Qlogic 的Multi-Boot Update Kit ， 但是QLogic網(wǎng)站上下載的包跟Oracle介紹的不一樣，可能是有更新了吧，下載下來的包沒有更新腳本，即使手工安裝了包也無法實現(xiàn)SR-IOV。
最后還是開了個SR，讓800 給我發(fā)了個正確的包給我。 Oracle_QLE8362_SRIOV_Flash_Kit_06.2.zip (2.95 MB, 下載次數(shù): 41)

2015-12-11 11:55 上傳

點擊文件名下載附件

然后在http://driverdownloads.qlogic.com/QLogicDriverDownloads_UI/Oracle_Search.aspx 里下載并安裝QCC管理軟件 “QConvergeConsoleCLI-1.1.03-38-sol8-sol12-sparc.pkg.Z” （11M，發(fā)不了），還有 800 給我傳的Update kit 包“Oracle_QLE8362_SRIOV_Flash_Kit_06.2.zip” ，運行里面的./update_sol.sh  /kit目錄 ，然后reboot –p 重啟就行了。
但是在一個域里不能既有BUS總線劃分，又有SR-IOV 方式分配的卡和端口，所以我這里把網(wǎng)口也做了SR-IOV，不用vsw 的方式分配，硬盤用了vdisk 方式分配。


root@primary2 # ./update_sol.sh /tmp        
Flashing Board Config Data...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating Board Config parameters of HBA instance 0 - QLE8362...
Success
Flashing FC NVRAM Data....
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating FC NVRAM Data on HBA instance 0 (QLE8362)...
Success
Updating FC NVRAM Data on HBA instance 1 (QLE8362)...
Success
Flashing FCOE NVRAM Data...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating FCoE NVRAM Data on HBA instance 0 (QLE8362)...
Success
Updating FCoE NVRAM Data on HBA instance 1 (QLE8362)...
Success
Flashing FW Preload Table...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating firmware preload table of HBA instance 0 - QLE8362...
Successful, please reboot for the change to take effect.
Flashing FW Jump Table...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating FC Preload Table Jump Area of HBA instance 0 - QLE8362...
Success
Flashing Feature Config Data...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating feature config area of HBA instance 0 - QLE8362...
Success
Flashing FC Board Config Data...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating FC board config of HBA instance 0 (QLE8362 )...
Success
Flashing Flash Layout Table...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating flash layout table of HBA instance 0 (QLE8362)...
Success
Flashing Eport Parameters...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating Eport Parameters of HBA instance 0 - QLE8362 ...
Success
Flashing Default Configuration ...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating default config of HBA instance 0 - QLE8362...
Success
Flashing Active Configuration ...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating active config of HBA instance 0 - QLE8362...
Success
Flashing Reset Sequence...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating reset sequence of HBA instance 0 (QLE8362 )...
Success
Flashing User Info...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating User Info region of HBA instance 0 - QLE8362...
Success
Flashing Mini Dump Template...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Updating mini-dump templates of HBA instance 0 (QLE8362 )...
Success
Flashing Flash image /tmp/hld36017.bin...
Using config file: /opt/QLogic_Corporation/QConvergeConsoleCLI/qaucli.cfg
Installation directory: /opt/QLogic_Corporation/QConvergeConsoleCLI
Working dir: /tmp
Validating Flash Image File... Success
Updating Flash on HBA port(s) - QLE8362. Please wait...
Updating Adapter FC Boot Code... Success
Updating Adapter NIC Boot Code... Success
Updating Adapter FCoE Boot Code... Success
Updating Adapter CRBInit... Success
Updating Adapter BootLoader... Success
Updating Adapter PEGTune ... Success
Updating Adapter FCoE FW... Success
Updating Adapter FC FW... Success
Updating Adapter NIC/CNA FW... Success
Updating Adapter NIC/CNA VPD... Success
Updating Adapter FC VPD... Success
Updating Adapter FC VPD... Success
Flash update complete. Changes have been saved to all ports of this HBA.
You must reboot in order for the changes to become effective.
root@primary2 #
root@primary2 # reboot -p
Oct  8 10:19:31 primary2 reboot: rebooted by root
Oct  8 10:19:31 /usr/lib/snmp/snmpdx: received signal 15
syncing file systems... done
rebooting...
Resetting...

root@primary2 # ldm list-io
NAME                                       TYPE   BUS      DOMAIN    STATUS
。。。。。
/SYS/MB/PCIE2                              PCIE   pci_2    primary   OCC
/SYS/MB/PCIE3                              PCIE   pci_2    primary   EMP
/SYS/MB/PCIE4                              PCIE   pci_2    primary   EMP
/SYS/MB/PCIE1/IOVFC.PF0                    PF     pci_0    primary                    ------》》重啟后這兩行IOVFC 就出現(xiàn)了
/SYS/MB/PCIE1/IOVFC.PF1                    PF     pci_0    primary  
/SYS/MB/NET0/IOVNET.PF0                    PF     pci_0    primary   
/SYS/MB/NET0/IOVNET.PF1                    PF     pci_0    primary   
/SYS/MB/PCIE2/IOVNET.PF0                   PF     pci_2    primary   
/SYS/MB/PCIE2/IOVNET.PF1                   PF     pci_2    primary   
/SYS/MB/PCIE2/IOVNET.PF2                   PF     pci_2    primary   
/SYS/MB/PCIE2/IOVNET.PF3                   PF     pci_2    primary  

root@primary2:~# ldm start-reconf primary
root@primary2:~# ldm set-io iov=on pci_0      ---》》 HBA卡在PCIE1 上
root@primary2 # ldm create-vf -n 2 /SYS/MB/PCIE1/IOVFC.PF0
root@primary2 # ldm create-vf -n 2 /SYS/MB/PCIE1/IOVFC.PF1

root@primary2 # ldm list-io
NAME                                       TYPE   BUS      DOMAIN    STATUS

/SYS/MB/PCIE1/IOVFC.PF0                    PF     pci_0    primary   
/SYS/MB/PCIE1/IOVFC.PF1                    PF     pci_0    primary   
/SYS/MB/NET0/IOVNET.PF0                    PF     pci_0    primary   
/SYS/MB/NET0/IOVNET.PF1                    PF     pci_0    primary   
/SYS/MB/PCIE2/IOVNET.PF0                   PF     pci_2    primary   
/SYS/MB/PCIE2/IOVNET.PF1                   PF     pci_2    primary   
/SYS/MB/PCIE2/IOVNET.PF2                   PF     pci_2    primary   
/SYS/MB/PCIE2/IOVNET.PF3                   PF     pci_2    primary   
/SYS/MB/PCIE1/IOVFC.PF0.VF0                VF     pci_0              ---》》每個HBA端口虛擬出兩個VF出來
/SYS/MB/PCIE1/IOVFC.PF0.VF1                VF     pci_0                     
/SYS/MB/PCIE1/IOVFC.PF1.VF0                VF     pci_0              
/SYS/MB/PCIE1/IOVFC.PF1.VF1                VF     pci_0              




啟動服務(wù)
svcadm enable svc:/ldoms/vntsd:default
---------------------------------------------
配置primary domain
ldm list
ldm start-reconf primary
ldm set-core 1 primary        分配 3 個core
ldm set-memory 8G primary        分配 96GB 的內(nèi)存
ldm add-vds primary-vds0 primary
ldm add-vcc port-range=5000-5100 primary-vcc0 primary
ldm list-services primary
ldm set-io iov=on pci_0
ldm create-vf -n 2 /SYS/MB/PCIE1/IOVFC.PF0
ldm create-vf -n 2 /SYS/MB/PCIE1/IOVFC.PF1
ldm create-vf -n 1 /SYS/MB/NET0/IOVNET.PF0
ldm create-vf -n 1 /SYS/MB/NET0/IOVNET.PF1
ldm create-vf -n 1 /SYS/MB/NET2/IOVNET.PF0
ldm create-vf -n 1 /SYS/MB/NET2/IOVNET.PF1
ldm create-vf -n 1 /SYS/MB/PCIE8/IOVNET.PF0
ldm create-vf -n 1 /SYS/MB/PCIE8/IOVNET.PF1


ldm add-config initial      
ldm list-config               

init 6

---------------------------------------------
創(chuàng)建IO 域 EBSDB

ldm add-domain EBSDB
ldm set-core 18 EBSDB
ldm set-memory 152G EBSDB
ldm add-io /SYS/MB/PCIE1/IOVFC.PF0.VF0 EBSDB
ldm add-io /SYS/MB/PCIE1/IOVFC.PF1.VF0 EBSDB
ldm add-io /SYS/MB/NET2/IOVNET.PF0.VF0 EBSDB
ldm add-io /SYS/MB/NET2/IOVNET.PF1.VF0 EBSDB
ldm add-io /SYS/MB/PCIE8/IOVNET.PF0.VF0 EBSDB
ldm add-io /SYS/MB/PCIE8/IOVNET.PF1.VF0 EBSDB
ldm add-vdsdev /dev/dsk/c0t5000CCA07047CF40d0s2 disk0@primary-vds0
ldm add-vdsdev /dev/dsk/c0t5000CCA07047DDF0d0s2 disk1@primary-vds0
ldm add-vdisk disk0 disk0@primary-vds0 EBSDB
ldm add-vdisk disk1 disk1@primary-vds0 EBSDB
ldm set-variable auto-boot\?=false EBSDB
ldm list -l EBSDB
ldm bind-domain EBSDB 將資源綁定到來賓域
ldm list-bindings EBSDB  列出該域以檢驗它是否已綁定
ldm add-vdsdev /install/sol-10-u11-ga-sparc-dvd.iso cdrom_iso@primary-vds0
ldm add-vdisk bootcd cdrom_iso@primary-vds0 EBSDB



------------------------------------
創(chuàng)建guest 域 ldm21
zfs create -V 300g rpool/ldm21

ldm add-domain ldm21
ldm set-core 13 ldm21
ldm set-memory 95G ldm21
ldm add-vdsdev /dev/zvol/dsk/rpool/ldm21 vol1@primary-vds0
ldm add-vdisk disk0 vol1@primary-vds0 ldm21
ldm add-io /SYS/MB/PCIE1/IOVFC.PF0.VF1 ldm21
ldm add-io /SYS/MB/PCIE1/IOVFC.PF1.VF1 ldm21
ldm add-io /SYS/MB/NET0/IOVNET.PF0.VF0 ldm21
ldm add-io /SYS/MB/NET0/IOVNET.PF1.VF0 ldm21
ldm set-variable auto-boot\?=false ldm21
ldm list -l ldm21
ldm bind-domain ldm21
ldm list-bindings ldm21  
ldm add-vdsdev /install/sol-10-u11-ga-sparc-dvd.iso cdrom_iso@primary-vds0
ldm add-vdisk bootcd cdrom_iso@primary-vds0 ldm21

DONE。

東方蜘蛛

好文收藏，謝謝分享～

lanyun001

好文收藏。。

jj_m

能給我個oracle vm server for sparc的下載地址嗎？
我閑置了兩臺T5140，想擴展下安裝linux或者windows來用。

jj_m

您好。我閑置了三臺T5140，想用來做linux或者windows服務(wù)。但是不知道怎么弄？能提供下vm server for sparc的下載地址嗎？我的QQ 三O2O53陸4 能否指導(dǎo)下。非常感謝！

lem0

回復(fù) 5# jj_m

你好，你想像VMWare 那樣用OVM manager 來管理SPARC的機器嗎？ 可以管理，但是沒什么用處，OVM for sparc agent 只支持NFS 的存儲掛接，不支持SAN 方式，操作系統(tǒng)要是裝在NFS的卷上不大現(xiàn)實
solaris  11系統(tǒng)自帶了ldommanager 軟件，ldom 的創(chuàng)建參考我的這個帖子
T5140（ldom）單機創(chuàng)建cluster環(huán)境http://72891.cn/forum.php?mod=viewthread&tid=4233132&fromuid=20186767

   

jj_m

是兩方面的。
1。這個sparc的機器上是否可以虛擬出linux或者windows。
2。才是幾臺物理機的統(tǒng)一管理。

其實第一個比較關(guān)心，現(xiàn)在閑置的幾臺T5140，solaris大部分人不會用，現(xiàn)在的生產(chǎn)系統(tǒng)全是linux，因此想看看有沒有在sparc機器上能用的vmbox，虛擬點linux來用。
能加下QQ詳細(xì)請教嗎？

lem0

回復(fù) 7# jj_m


1，都不行，只能裝solaris for sparc2，不能這樣做

liusu_520

好文章，收藏了

ibmlenovo

回復(fù) 7# jj_m

不支持，只支持虛擬出來solaris 10 和11 ，