華山論劍新解--軟件硬件誰在引領(lǐng)IT技術(shù)革命？（獲獎(jiǎng)名單已公布-2014-6-5）

Heng_Liao

回復(fù) 126# niugb


同意。最適合容量大的冷存儲。單位容量的成本降低。
不過現(xiàn)在Hadoop HDFS依乎流行在各種數(shù)據(jù)存儲，超出了原本map reduce的范疇。你覺得有可能把HDFS或其它3拷貝的分布式文件存儲的塊層改為這種保護(hù)機(jī)制嗎？如能這樣，應(yīng)用范圍就能涵蓋更廣些。
你看呢？

mazihu

Heng_Liao 發(fā)表于 2014-05-15 14:32
回復(fù) 118# mazihu

才從EMC大會上聽到他們要轉(zhuǎn)型成軟件公司的戰(zhàn)略。還買了ViPR, SCaleIO, 再加上VMWare的 ...

大概了解了，不過現(xiàn)在看起來，這種趨勢不是很明良

cdb81

回復(fù) 119# Heng_Liao

中國政府會不會大力支持開源CPU呢？以前拼命想自己搞CPU，投了很多錢，搞了很多丑聞�，F(xiàn)在開源了，那門檻低多了，很容易就擁有安全在自己控制下的東西。
   

cdb81

回復(fù) 120# Heng_Liao

EMC剛剛又買了DSSD，這些產(chǎn)品聽起來神乎其神的，不知道有沒有人知道真實(shí)用起來怎么樣？
   

冬瓜頭

廖博新文：軟硬件之共生之道——一千零一夜的啟示.

http://blog.csdn.net/pmc/article/details/25197327

”當(dāng)年和筆者一起定義完善SAS標(biāo)準(zhǔn)的許多巨型廠商中從業(yè)多年的行家，今天已經(jīng)不知去向，不知是否面臨著Layoff或強(qiáng)制提前退休的壓力。當(dāng)這些人都不能繼續(xù)從業(yè)時(shí)，下一個(gè)取代SAS的協(xié)議標(biāo)準(zhǔn)將來自何方？如果硬件廠商都失去了利潤，那有誰可以支付這些復(fù)雜技術(shù)的進(jìn)一步研發(fā)的費(fèi)用？ “

冬瓜頭

冬瓜頭 發(fā)表于 2014-05-16 11:29
廖博新文：軟硬件之共生之道——一千零一夜的啟示.

http://blog.csdn.net/pmc/article/details/2519732 ...

歷史車輪浩浩湯湯，順之者昌逆之者亡�；ヂ�(lián)網(wǎng)如果自己做硬件，oem紛紛退出，其他行業(yè)就得跟著互聯(lián)網(wǎng)混了，就會反而成為包袱，得自己搞定，如果搞不定，其他行業(yè)出了問題，反饋回來影響互聯(lián)網(wǎng)，總之，都是一條繩上的，輪回往復(fù)發(fā)展，你先踩我一腳走一步，我再踩你一腳走一步。

ssailing

在這個(gè)SAS的例子中 DMA傳輸要求必須直接訪問物理地址，但用戶態(tài)待發(fā)送數(shù)據(jù)的緩沖區(qū)在物理地址上并不一定連續(xù)，因此SAS的driver通過訪問頁表建立了虛擬地址和可能的不連續(xù)物理地址的映射關(guān)系，然后將不同的數(shù)據(jù)段通過DMA依次發(fā)送出去。  如果DMA通過虛擬地址可以直接訪問數(shù)據(jù)，那么SAS driver就不需要建立相關(guān)的映射關(guān)系，可以一次性的將全部數(shù)據(jù)發(fā)送出去，可以大大減少軟件設(shè)計(jì)的復(fù)雜性，同時(shí)提高效率

在這個(gè)方面 我覺得Intel VT-d IOMMU中的DMA remaping就是利用硬件機(jī)制解決了上述問題  虛擬機(jī)物理地址GPA 從虛擬機(jī)的角度 其認(rèn)為是物理地址并且是連續(xù)的  直接利用此地址進(jìn)行DMA數(shù)據(jù)傳輸，但GPA映射到HPA并不一定是連續(xù)的，此時(shí)DMA傳輸就會出現(xiàn)問題

個(gè)人認(rèn)為有兩種方式可以解決:
1）Guest 有某種機(jī)制獲得真實(shí)的物理地址，則可以利用SAS例子中的機(jī)制，將數(shù)據(jù)分段傳輸出去。這種方案要求guest OS必須感知虛擬化環(huán)境，且能通過半虛擬化的方式獲得GPA到HPA的映射關(guān)系，從而獲得HPA。這種方案不支持全虛擬化方式，必須要求guest OS通過半虛擬化實(shí)現(xiàn)該驅(qū)動
2）其他硬件機(jī)制實(shí)現(xiàn)GPA到HPA的轉(zhuǎn)化，對guest OS透明。也就是當(dāng)前IOMMU中的DMA remaping技術(shù)。好處是性能高，對guest OS透明，但是需要專門的硬件支持。

個(gè)人認(rèn)為第一種方式在技術(shù)上是可行性的，并且是純軟件的方案，只是目前好像未看到相關(guān)實(shí)現(xiàn)。而第二種是純硬件的方案。

這個(gè)例子也間接的說明了軟件和硬件方案的關(guān)系，并不一定誰更好。最終還是要站在用戶的角度從成本及性能等各方面綜合考慮，才能判斷哪種方案更好

回復(fù) 102# Heng_Liao


   

ssailing

深表贊同~

IP SAN最大的優(yōu)勢就是靈活性 其建立在成熟的以太網(wǎng)技術(shù)之上  如二層STP協(xié)議、MAC學(xué)習(xí)及三層的路由技術(shù)
FC SAN也成功的開發(fā)了類似交換機(jī) 路由器這樣的產(chǎn)品，在靈活性方面可媲美IP SAN，但最大的問題時(shí)專用硬件 成本太高
SAS SAN有一定的路由交換功能 但我覺得他的問題在于 現(xiàn)有的芯片端口規(guī)模較少，另外性能較弱，在處理能力上不能支持更多的網(wǎng)絡(luò)拓?fù)洌涣硗饩�纜傳輸距離也是個(gè)問題
PCIe SAN最大的問題在于其本身不是一個(gè)基于交換的技術(shù)，想構(gòu)建大型的網(wǎng)絡(luò)必須支持以太網(wǎng)理念中的VLAN、交換及路由技術(shù)，這個(gè)是最大的技術(shù)挑戰(zhàn)，也需要相當(dāng)長時(shí)間的演進(jìn)過程

cdb81 發(fā)表于 2014-05-13 17:40
SAN這個(gè)理念很好，現(xiàn)在也有IP SAN, FC SAN, SAS SAN.
IP SAN我覺得最大的優(yōu)點(diǎn)應(yīng)該是整個(gè)拓?fù)湟?guī)模的拓展 ...

cdb81

回復(fù) 134# ssailing

閣下對系統(tǒng)，虛擬機(jī)工作機(jī)制認(rèn)識深刻，佩服。
請問下，提到的Guest OS 訪問的方式用的是direct IO嗎？
   

cdb81

回復(fù) 135# ssailing

是啊，每種協(xié)議都有各自的優(yōu)缺點(diǎn)，這就是不同系統(tǒng)采用不同的Fabric，同一個(gè)系統(tǒng)也可能用多種Fabric的原因。
請問對未來有什么看法和期待呢？比如是否100G以太網(wǎng)一統(tǒng)？或者PCIe成熟？或者新的協(xié)議？