亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標題: 華山論劍新解--軟件硬件誰在引領(lǐng)IT技術(shù)革命？（獲獎名單已公布-2014-6-5） [打印本頁]

作者: send_linux 時間: 2014-05-05 13:32
標題: 華山論劍新解--軟件硬件誰在引領(lǐng)IT技術(shù)革命？（獲獎名單已公布-2014-6-5）
獲獎名單已公布，詳情請看：http://72891.cn/thread-4140892-1-1.html

昔日華山論劍，始于氣宗劍宗之爭。今朝論道CU論壇，討論軟件與硬件在技術(shù)變革中誰為主導(dǎo)？軟件是否能以最有效的方式實現(xiàn)所有系統(tǒng)和終端用戶所需的功能？是否是軟件應(yīng)用的不斷推陳出新在推動著硬件的更新?lián)Q代？亦或是硬件的性能與發(fā)展決定并局限著軟件的發(fā)展，并最終引領(lǐng)著軟件行業(yè)的前行？

聚焦到當今的大數(shù)據(jù)時代，潮水般涌現(xiàn)的數(shù)據(jù)該如何存儲才能最為有效地發(fā)掘其潛在價值？互聯(lián)網(wǎng)催生的種種應(yīng)用怎樣才能以最優(yōu)的方式運作？Hadoop是我們的最終天堂嗎？應(yīng)用驅(qū)導(dǎo)下，硬件的變革是否勢在必行？什么樣的架構(gòu)能從經(jīng)濟角度、使用效率的角度乃至于能源和環(huán)保的角度提供理想的解決方案？這是時代擺在我們面前的難題。

本期話題：
針對上述出現(xiàn)的問題，歡迎各路朋友，見仁見智，各抒己見。

本期嘉賓：

張冬：ChinaUnix資深網(wǎng)友（社區(qū)ID：冬瓜頭），《大話存儲1&2》系列圖書作者，PMC數(shù)據(jù)中心存儲架構(gòu)師；存儲技術(shù)領(lǐng)域?qū)＜遥群髶芜^產(chǎn)品設(shè)計、顧問等角色，對存儲技術(shù)、產(chǎn)品、市場有多年經(jīng)驗積累，對存儲技術(shù)底層有深刻理解。曾經(jīng)設(shè)計的產(chǎn)品有：SmartMotion、SmartX Insight Suite，UltraAPM等，三項前沿技術(shù)專利唯一發(fā)明人�，F(xiàn)就職于PMC擔任數(shù)據(jù)中心存儲架構(gòu)師。

廖恒：PMC公司研發(fā)副總裁兼首席科學家，主要負責制定公司的產(chǎn)品策略以及技術(shù)發(fā)展路線圖，他曾設(shè)計并帶領(lǐng)開發(fā)了PMC公司幾款里程碑式的存儲芯片的架構(gòu)，名下共有二十五項已獲或待發(fā)美國專利。廖博士活躍于多個標準組織（包括: INCITS T10、IEEE 802、IETF、 MEF及CCSA等），專注于應(yīng)用于超大型數(shù)據(jù)中心的架構(gòu)設(shè)計，其中包括將數(shù)據(jù)中心的計算、網(wǎng)絡(luò)、存儲資源徹底池化/虛擬化的解耦合方案等。廖恒博士畢業(yè)于清華大學，并在普林斯頓大學從事博士后研究工作。

活動時間：
2014年5月5日-5月25日

本期獎品：
1、優(yōu)秀參與獎，精美旅行筆記本一個，共20名

2、積極參與獎，從所有的參與用戶中隨機選取，贈送《大話存儲2》圖書一本，共2名（可以帶張冬老師親筆簽名哦）

活動要求：
1、要言之有物，不能低于20個字
2、本次話題主要關(guān)注存儲技術(shù)的現(xiàn)狀及未來的發(fā)展的心得體會和使用技巧，其他問題可能不做重點

作者: hexilanlan 時間: 2014-05-05 13:40
占個地方先

作者: 2009532140 時間: 2014-05-05 13:44
CU 人才濟濟啊....

作者: dengbao2001 時間: 2014-05-05 13:48
先來占位置了

作者: cryboy2001 時間: 2014-05-05 14:20
這個問題與先有雞還是先有蛋是一個道理，就是說不清楚。

作者: seesea2517 時間: 2014-05-05 15:08
剛剛還看到一個磁帶的新聞：

【單個內(nèi)存達185TB!索尼研發(fā)“超級磁帶”】超高密度磁帶還在被企業(yè)和政府的用于檔案存儲,因為它們更便宜,更省電,也比磁盤存儲更加可靠。索尼近期研發(fā)出了“超級磁帶”-每平方英寸可以容納18.5GB的信息量!有了這樣的密度,單個磁帶的內(nèi)存能達到185TB!是我們今天所使用的普通硬盤的幾百倍!

也許一些傳統(tǒng)的技術(shù)還能繼續(xù)發(fā)展，為日后的技術(shù)做貢獻呢~

作者: woosuv 時間: 2014-05-05 16:16
華山論劍！

作者: buptdream 時間: 2014-05-05 16:36
先占個地方

作者: cynthiazhong827 時間: 2014-05-05 16:56
看起來似乎現(xiàn)在最熱的就是軟件定義，不過撥開現(xiàn)象看本質(zhì)似乎，硬件的發(fā)展已經(jīng)超越了軟件，只是絕大多數(shù)的軟件工程師不理解硬件技術(shù)，而無法更好地發(fā)揮硬件優(yōu)勢！

作者: qingduo04 時間: 2014-05-05 17:12
占位更新......

作者: qingduo04 時間: 2014-05-05 17:13
本期的嘉賓都是牛人啊

作者: beyondfly 時間: 2014-05-05 17:38
本帖最后由 beyondfly 于 2014-05-06 08:47 編輯

沒有軟件，計算機只能稱為裸機，什么也干不了。沒有硬件，軟件只能靜靜地躺在光盤或是磁盤上，無處發(fā)揮作用。在計算機的歷史中，硬件的發(fā)展按照摩爾定律以驚人的速度在提升其運算能力，能軟件的發(fā)展則按照安迪--比爾定律，導(dǎo)致軟件的體積越來越大，占用的內(nèi)存越來越多，當然功能也越來越強大。所以，在計算機領(lǐng)域的發(fā)展中，軟件與硬件同時推動信息技術(shù)的發(fā)展，給生活帶來更多的變化。
多數(shù)情況下，信息技術(shù)的革命，離不開軟硬件的同時推動，比如現(xiàn)在的云計算，大數(shù)據(jù)，物聯(lián)網(wǎng)。如果CPU不支持虛擬化，如果沒有各種開源閉源虛擬化軟件的不斷出現(xiàn)，比如KVM,Xen,vmware等，那么虛擬化就無從談起，沒有了虛擬化，自然也就離不上云計算。再比如，如果沒有hadoop這個平臺的出現(xiàn)，也許大數(shù)據(jù)的概念在現(xiàn)在不會這么火熱，因為hadoop是非常重要的非結(jié)構(gòu)化數(shù)據(jù)的處理平臺。
大數(shù)據(jù)概念的興起與不斷火熱，存儲行業(yè)的發(fā)展又將迎來新的機遇。很多以前企業(yè)認為不重要的、無用的數(shù)據(jù)，在大數(shù)據(jù)時代，企業(yè)主們會不管這些數(shù)據(jù)有沒有用，先收集存儲起來再說。這些數(shù)據(jù)量都是十分巨大的。有錢的公司，自然考慮各種商業(yè)存儲，如EMC，NetAPP等，互聯(lián)網(wǎng)公司則更采用各種開源的分布式存儲平臺。
隨著數(shù)據(jù)量越來越大，則占用的存儲空間越來越大，要處理這些巨大無比的數(shù)據(jù)，則要求處理器的運算速度越來越快，處理軟件的算法越來越好，從而促進了軟硬件技術(shù)的同時發(fā)展

作者: JackNorton 時間: 2014-05-06 12:08
軟件與硬件的發(fā)展是相輔相成的。

就存儲來說，隨著大數(shù)據(jù)時代的來臨，對數(shù)據(jù)的存儲、數(shù)據(jù)挖掘與分析成為目前熱點問題，如在地質(zhì)信息工程方面，數(shù)據(jù)量極大，在存儲方面需要高效的存儲，并對數(shù)據(jù)進行有效的管理，針對數(shù)據(jù)存儲與高效的讀寫當然離不開硬件的支持，對針對管理方面同樣離不開軟件與硬件之間的配合。

由于高性計算的發(fā)展，對存儲的要求越來越高，從而促進存儲硬件的不斷發(fā)展；存儲不僅僅是設(shè)備技術(shù)的進行，更重要的是如何管理這些設(shè)備，如何有效的傳輸數(shù)據(jù)，這需要軟件的協(xié)調(diào)和管理，從而失去軟件的不斷更新，以適應(yīng)新的發(fā)展。

總之，軟件與硬件共同引領(lǐng)著IT革命，它們相輔相成，任何一方發(fā)展不平衡都將導(dǎo)致瓶頸。

作者: 冬瓜頭 時間: 2014-05-06 14:08

beyondfly 發(fā)表于 2014-05-05 17:38
沒有軟件，計算機只能稱為裸機，什么也干不了。沒有硬件，軟件只能靜靜地躺在光盤或是磁盤上，無處發(fā)揮 ...

說的挺到位。稍后我會貼一些個人在云計算這方面的一些看法出來。

作者: Heng_Liao 時間: 2014-05-06 15:30
本帖最后由 Heng_Liao 于 2014-05-12 12:13 編輯

軟件有時是硬件的遮羞布。硬件處在具體現(xiàn)實的物理世界中，難免要碰上這樣那樣的現(xiàn)實困難，因此每個技術(shù)常常會伴隨著現(xiàn)實的苦果。上層軟件處在完全虛擬世界中，可以像莊生夢蝶一樣，夢境中套夢境，應(yīng)用套應(yīng)用，操作系統(tǒng)套操作系統(tǒng)，虛擬機套虛擬機，完全不需顧及何謂真實，何謂物理。這個虛構(gòu)的抽象世界自有其妙處。物理現(xiàn)實的不理想，可以通過一層firmware或底層軟件來彌補修正成上層軟件想要的理想世界。

就拿存儲來說吧，硬盤會因故障損壞，通過RAID層的軟件就可把一組不可靠的盤呈現(xiàn)為一個十分可靠的邏輯盤，這樣應(yīng)用的程序員就可以忽視由于硬盤損壞造成的數(shù)據(jù)丟失和相關(guān)的恢復(fù)，保障等問題。

再說說NAND flash, 由于存儲芯片寫之前要對大數(shù)據(jù)塊先擦除，因此不能以小扇區(qū)為單位做隨機寫，這給使用帶來很大的不便利。每關(guān)系，軟件可以補救，在固件中引入Flash Translation Layer，可以把這些不便利全部藏起來。程序員還可以回到以扇區(qū)為單位訪問的塊設(shè)備模式向傳統(tǒng)硬盤一樣使用。因此，過去的文件系統(tǒng)和應(yīng)用程序可以繼續(xù)使用。

還要提一下我們用了幾十年的硬盤，簡單塊設(shè)備的訪問模式也到頭了，為了繼續(xù)增加容量（磁記錄密度），SMR (Shingled Magnetic Recording) 模式的硬盤就要來了，道和道直接要重疊覆蓋，因此，不能再像過去的硬盤一樣任意隨即以扇區(qū)為單位寫，而像Flash一樣要以GB量級的Band 為單位做改寫（Read Modify Write), 因此要引入類似于Flash Translation Layer的翻譯影射層來呈現(xiàn)大家想看到的塊設(shè)備。

這一切層層疊疊都是為了回到軟件所想要看到的簡單的夢境般的理想的抽象世界中去。不過軟件虛構(gòu)之夢境此終還在降低性能功耗成本等等硬件方面下功夫。

作者: Heng_Liao 時間: 2014-05-06 15:32
相關(guān)話題在PMC官方博客上有更多內(nèi)容：
http://blog.csdn.net/pmc/article/details/25116979

作者: 冬瓜頭 時間: 2014-05-06 15:52
關(guān)于這個話題，套用一句諺語就是三十年河?xùn)|三十年河西，風水輪流轉(zhuǎn)。軟件和硬件一定是相互促進、相互拆臺又相互搭臺的。一些之前被詬病的上層架構(gòu)，或許若干年之后會被發(fā)現(xiàn)成了最合適的選擇，而再過若干年，又會變得不合適。軟件定義亦或是硬件定義，同樣也是這樣，硬件定義的結(jié)果是性能夠強但是不靈活，此時軟件定義便會開始醞釀翻盤，但是任何事情都有慣性，軟件“過度”定義之后，會發(fā)現(xiàn)很多事情搞不定，還得靠硬件來加速一下，此時開始進入硬件定義周期，然后循環(huán)往復(fù)。我們可以用幾個例子來窺探一下這種規(guī)律。

CPU和OS。
一對不離不棄的夫妻，陰抱陽，陽抱陰。一開始沒有所謂中斷，更沒有所謂OS，只有順序執(zhí)行指令計算機和被寫死的程序，很不靈活。后來才有了OS，CPU先執(zhí)行OS這個大循環(huán)程序，然后載入所需要執(zhí)行的用戶程序執(zhí)行，執(zhí)行完退出，可以繼續(xù)載入其他程序執(zhí)行。哪怕最簡單的OS要想玩轉(zhuǎn)，CPU起碼也得至少提供IO和時鐘中斷機制。OS呱呱墜地，就得不斷長大，不斷的進化，單任務(wù)不靈活，就得多任務(wù)分時執(zhí)行，所有任務(wù)共享內(nèi)存空間，導(dǎo)致了安全性問題，這就不得不引入虛擬內(nèi)存技術(shù)，所以軟件越來越復(fù)雜，性能逐漸就不行了。此時CPU出來說話了，我來搞定虛擬內(nèi)存，提供頁表極致，提供專用的控制寄存器，并提供專用的查表加速硬件部件。多任務(wù)分時OS的生產(chǎn)力被初步釋放，但是性能還是較差，還得依靠CPU搞定。CPU繼續(xù)發(fā)力，引入超線程技術(shù)，讓多個線程的代碼可以并發(fā)執(zhí)行，這得益于流水線的設(shè)計；為了能夠更好的實現(xiàn)線程并發(fā)執(zhí)行，后來繼續(xù)出現(xiàn)多核心多CPU的SMP技術(shù)， OS不得不做出改動。但是多CPU/核心并不是任何時候都很高效的并發(fā)多線程的，隨著軟件復(fù)雜度提升，線程同步、緩存一致性等問題導(dǎo)致需要大量狀態(tài)和數(shù)據(jù)同步，傳統(tǒng)的共享式的前端總線效率太低，所以不得不改為交換式Fabric比如Intel QPI，訪問內(nèi)存經(jīng)過太多跳器件效率上不去，所以也改為直連CPU分布式共享架構(gòu)，這也是當今的形態(tài)。再往后會怎么發(fā)展，應(yīng)該可以順著慣性往前推導(dǎo)一下，交換式Fabric的出現(xiàn)，意味著CPU和CPU之間可以離得越來越遠，只要有足夠高速的鏈路連接，這一形態(tài)其實就是大型NUMA計算機的形態(tài)了。這一形態(tài)的輪回意味著軟件架構(gòu)的變化，傳統(tǒng)領(lǐng)域需要高性能的場景不得不使用大型機、小型機，但是他們是及其昂貴的，就是因為不開放，而他們又不可能像互聯(lián)網(wǎng)領(lǐng)域一樣投入開發(fā)資源在分布式系統(tǒng)上定制化自己的應(yīng)用。而開放式大型NUMA系統(tǒng)出現(xiàn)之后，可能之前的被“過度”定義了的分布式系統(tǒng)生態(tài)又會沉寂下來，這個循環(huán)進入新的周期紀元，在這個紀元里，曾經(jīng)光鮮的分布式系統(tǒng)可能會被新生代工程師/架構(gòu)師認為是一種很不可思議的“野路子”：“你看，以前這種架構(gòu)，好坑爹��！”。這就像我們現(xiàn)在回頭看之前的有些設(shè)計一樣，也會感覺到不可思議，那時候的人都這么“腦殘”么？恩，如果換了你回到那個時代，或許更腦殘：）。不管誰腦殘，一個事實是始終不變的，那就是硬件性能的絕對值是一直直線上升的，不管分布式還是集中式。

CPU和VMM。
VMM能發(fā)展到今天這個地步是無人始料的，一開始就是玩玩，沒想到玩了個大的出來。有不少人持有上述觀點，其實這個觀點只是表象。虛擬機技術(shù)起源于大型機，中小型機上早已也使用了多年，所以VMM可并不是玩玩。大機小機都是封閉市場，技術(shù)也確實牛。開放市場領(lǐng)域很多技術(shù)其實都是源自大型機小型機。虛擬機顯然是單機性能過剩，而多機整體資源又無法得到全局細粒度池化分配時代的產(chǎn)物。VMM虛擬CPU，虛擬IO設(shè)備，虛擬內(nèi)存，一開始全用軟件實現(xiàn)，每一條指令解釋執(zhí)行，后來優(yōu)化了設(shè)計，但最終還是要監(jiān)控和截獲+虛擬那些敏感和特權(quán)指令，每個進程還要虛擬出額外頁表從而虛擬內(nèi)存，IO需要經(jīng)歷重重內(nèi)存拷貝才能發(fā)出去一個包，要想商用的話，軟件各方面開銷實在是搞不定了，此時還得硬件出馬，在CPU層面提供硬件輔助， IO設(shè)備也開始有了SRIOV/MRIOV的方案，我總感覺這次硬件反而有點“過度”定義了，被軟件騙了一回。為什么呢？就因為硬件資源不能做到池化和細粒度切分，才會產(chǎn)生VMM這個尷尬的東西，而此時硬件仿佛走火入魔了，弄出一系列復(fù)雜的技術(shù)來支撐VMM。其實硬件還有另一條路可以走，同樣可以實現(xiàn)VMM類似的效果，那就是讓硬件變得可以切分，而不是用軟件去切分。這條路在小機系統(tǒng)上曾經(jīng)有人嘗試過，采用總線級別的隔離開關(guān)來切分不同的CPU和內(nèi)存以及IO槽位。要實現(xiàn)細粒度切分的前提是必須把硬件最小切分粒度降下來，單CPU使勁增加性能其實已經(jīng)不是一條比較明智的路線了。近幾年眾核CPU不斷冒出頭來，單CPU128個核心已經(jīng)不是什么驚訝之事了，但是由于生態(tài)尚未成熟，它們目前仍被局限在并行度高耦合度低的處理場景比如網(wǎng)絡(luò)包處理等。另一個跡象就是ARM生態(tài)的崛起，種種跡象表明這很有可能是一條光明大道。但是如何將傳統(tǒng)生態(tài)導(dǎo)向這個道路上就不那么簡單了。我們看到Intel正在搞SiPh硅光方案，其致力于硬件資源的靈活拼搭，如果粒度足夠細，VMM其實就可以退出舞臺了，這將又是一場硬件拆臺軟件的血腥戰(zhàn)斗。

虛擬機和云計算
虛擬機的發(fā)展催生硬件加速方案，也正是因為硬加速，又使得虛擬機可以大范圍應(yīng)用，也正是如此，才將云計算的概念帶了出來，也就是硬件又反過來加速了軟件的變革。而隨著量的上升，會影響質(zhì)變，人們會發(fā)現(xiàn)其實VM這種東西是非常低效的虛擬化，VMM個人理解其實是一股具有邪性的陽氣，他看似光鮮實則非常損耗陰實的，體現(xiàn)為過多不必要的操作系統(tǒng)實例。操作系統(tǒng)本來就是利用線程/進程來虛擬化多任務(wù)多用戶的運行，每一次系統(tǒng)調(diào)用的開銷是非常高的，讓一個CPU同時運行多個操作系統(tǒng)實例，無疑是極大的浪費，上文提到過這種模式是單機性能過剩，而整體資源又無法得到池化時代的產(chǎn)物。而云計算架構(gòu)的出現(xiàn)，會打破這個矛盾。云計算可能初生的時候就是一個全局虛擬機資源調(diào)度管理軟件框架，但是一個事物畢竟是不斷在成長進化的，云計算會最終找到它的使命，那就是大范圍全局資源的池化、分配調(diào)度管理監(jiān)控，也就是數(shù)據(jù)中心級的OS，做的事情與單機OS如出一轍。既然如此，那么AAAS（Application As a Service）應(yīng)該是云計算最終要實現(xiàn)的狀態(tài)，這就相當于打開屏幕，就出現(xiàn)一堆應(yīng)用圖標，點進去完成你要的功能，退出，結(jié)束。既然用戶不需要IAAS，不需要直接面對操作系統(tǒng)，那么搞那么多VM實例其實就是沒有必要的，空耗資源。云計算需要實現(xiàn)一個全局的應(yīng)用進程級別的調(diào)度中樞，而不是調(diào)度VM。再來思考一下大機為什么需要VM？因為大機那個時代并沒有現(xiàn)在這種云計算的概念，xAAS這個思維，你可以說那時候人腦殘，那時候軟件技術(shù)是很封閉而且不發(fā)達的，所以進行資源細粒度切分，用VM也算是快刀斬亂麻的方案。我們也看到進程級虛擬機（比如Linux Container）業(yè)逐漸在受到關(guān)注。這些都是云計算這個軟件框架、這個宏觀的OS的定義，那么這種定義會對硬件有什么影響？我想那一定會催生兩個硬件形態(tài)的變革，一個就是上面所說的單點的性能要足夠低，力度要足夠細，單點性能“足夠低”，這可能讓人大跌眼鏡，不過將來可真說不啊，眾核CPU就是個很好的胚子；另一個是局部多層高速Fabric核間通信，由于CPU/核心可以任意切分和組合，他們之間一定需要一個高速總線相互連接，目前存在多種Fabric方案和產(chǎn)品，這塊雖然比較低調(diào)冷門但是也還算成熟，加上硅光等技術(shù)會將Fabric隱身至機架外，這就為大范圍池化提供了支撐。而這次硬件的變革很可能又會影響軟件的架構(gòu)，使得大規(guī)模并行計算不再需要MPI等遠程消息傳遞機制，消息傳遞直接使用Fabric硬件加速的隊列FIFO，會大大簡化編程，有利于HPC的模式最終可以全面得到普及。

云計算，宏觀操作系統(tǒng)，數(shù)據(jù)中心級的NUMA機，一切皆有可能。

作者: beyondfly 時間: 2014-05-06 16:19
回復(fù) 15# 冬瓜頭

呵呵，瓜兄，你的兩本《大話存儲》我都看過了，而且最近又一直在關(guān)注云計算和大數(shù)據(jù)之類的“前沿”技術(shù)，所以發(fā)表了一些看法。硬件與軟件的關(guān)系，就如同肉體與靈魂的關(guān)系，沒有靈魂的肉體，就是僵局。沒有肉體的靈魂，就是孤魂野鬼，四處漂淡。

作者: send_linux 時間: 2014-05-06 16:20

冬瓜頭發(fā)表于 2014-05-06 15:52
關(guān)于這個話題，套用一句諺語就是三十年河?xùn)|三十年河西，風水輪流轉(zhuǎn)。軟件和硬件一定是相互促進、相互拆臺又 ...

請問瓜總，是拷貝過來的么?:wink:

作者: 冬瓜頭 時間: 2014-05-06 16:22

beyondfly 發(fā)表于 2014-05-06 16:19
回復(fù) 15# 冬瓜頭

謝謝。陰和陽真的可以描述很多事物，cpu和硬件屬于陰，是實質(zhì)；軟件邏輯屬于陽，是氣，是能量，兩者的作用關(guān)系很是為妙，這塊可以讓懂中醫(yī)的來論證一下。

作者: beyondfly 時間: 2014-05-06 16:30
回復(fù) 21# 冬瓜頭

兄臺對于中國傳統(tǒng)陰陽、虛實研究得比較深，而且都比較好的用在描述計算機上面，這一點我很佩服，中醫(yī)這一塊，我不懂

作者: miyahanni 時間: 2014-05-06 16:38
NETAPP證明有軟件沒創(chuàng)新也可以很滋潤，EMC證明沒軟件靠收購靠市場也可以做成第一。從EMC最近的各種方案包括VPLEX雙活、HADOOP大數(shù)據(jù)分析、isilon云計算以及自己家小弟vmware搞的vsan來看，硬件越來越偏向為軟件服務(wù)，同一套硬件裝載不同的軟件會提供不同的服務(wù)，即對硬件的考慮會越來越低。原因就在于inter飛一樣的發(fā)展速度，硬件更新?lián)Q代也是飛一樣，對行業(yè)沖擊太大，小型機漸漸沒有市場，IBM賣了自己的PC服務(wù)器，小型機硬件開始開源，軟件更傾向于開源的linux以應(yīng)對X86的挑戰(zhàn)。但是X86的產(chǎn)品同質(zhì)化嚴重，我嚴重懷疑以后所有的硬件都會從一家或者幾家代工廠出來，然后貼上不同的標簽，裝上不同的軟件，成為不同的產(chǎn)品！當然以后怎樣發(fā)展，還要看inter和IBM到底誰會占領(lǐng)服務(wù)器行業(yè)的頭把交椅。

作者: lanscape 時間: 2014-05-06 17:00
軟件與硬件在技術(shù)變革中誰為主導(dǎo)？我認為是相輔相成的，最終還是軟件主導(dǎo)，軟件定義！
軟件是否能以最有效的方式實現(xiàn)所有系統(tǒng)和終端用戶所需的功能？軟件不可能實現(xiàn)所有系統(tǒng)和終端用戶所需的功能。部分肯定還是硬件來實現(xiàn)。
是否是軟件應(yīng)用的不斷推陳出新在推動著硬件的更新?lián)Q代？應(yīng)該是最終用戶的需求推動整體硬件的更新?lián)Q代，但是像處理器好像要超前一些。
亦或是硬件的性能與發(fā)展決定并局限著軟件的發(fā)展，并最終引領(lǐng)著軟件行業(yè)的前行？硬件本身限制軟件發(fā)展的可能性很小。

聚焦到當今的大數(shù)據(jù)時代，潮水般涌現(xiàn)的數(shù)據(jù)該如何存儲才能最為有效地發(fā)掘其潛在價值？分布式存儲
互聯(lián)網(wǎng)催生的種種應(yīng)用怎樣才能以最優(yōu)的方式運作？Hadoop是我們的最終天堂嗎？只是針對互聯(lián)網(wǎng)應(yīng)用，大數(shù)據(jù)分析等場景，傳統(tǒng)應(yīng)用還是按照既定模式運行。
應(yīng)用驅(qū)導(dǎo)下，硬件的變革是否勢在必行？硬件的變革一直在進行，應(yīng)用的驅(qū)動是主因。
什么樣的架構(gòu)能從經(jīng)濟角度、使用效率的角度乃至于能源和環(huán)保的角度提供理想的解決方案？這是時代擺在我們面前的難題。虛擬化、大數(shù)據(jù)、互聯(lián)網(wǎng)應(yīng)用將很大程度影響整個解決方案的架構(gòu)。

作者: yueliusha 時間: 2014-05-06 17:08
這問題太見仁見智了。沒有好的硬件，軟件就無法發(fā)揮效能；沒有好的軟件，硬件堆砌多高的性能都是紙上談兵。這本就是互相扶持，互相競爭的局面。雖然說硬件是基礎(chǔ)，但是沒有優(yōu)秀的軟件設(shè)計也沒法發(fā)揮硬件優(yōu)秀的性能。唉。糾結(jié)的問題。

作者: qingduo04 時間: 2014-05-06 21:25
呵呵，嘉賓評論漲人見識啊.........

作者: awndy 時間: 2014-05-07 11:02
全新的8系列12G RAID產(chǎn)品中提供ZMCP功能是由Adaptec by PMC在業(yè)內(nèi)率先提供的，克服了鋰電池備份缺陷的革新性高級功能，為緩存數(shù)據(jù)提供了全方位的保護，無需安裝、監(jiān)控、維護或者更換的費用成本。并利用閃存和超級電容技術(shù)交付了一套出色的控制卡緩存保護解決方案。

作者: forgaoqiang 時間: 2014-05-07 11:27
占個坑吧

作者: Heng_Liao 時間: 2014-05-07 13:15
本帖最后由 Heng_Liao 于 2014-05-09 15:02 編輯

博文在此：
http://blog.csdn.net/u014602076/article/category/2213433

作者: inurl 時間: 2014-05-07 16:04
小白問一下，數(shù)據(jù)中心是什么？

作者: zhaopingzi 時間: 2014-05-07 17:25
國內(nèi)的技術(shù)都是舶來品。沒意思

作者: zhaopingzi 時間: 2014-05-07 17:36
軟件都是依附在硬件上才起作用的。沒有硬件軟件就不能生存，皮之不存毛將焉附的道理

如果沒有intel硬件的出現(xiàn)，估計也不會有MICROSOFT

作者: mqiezi 時間: 2014-05-07 20:50
不能說誰推動的誰，因為兩個都是需求在推動的。有的時候軟件開發(fā)受限制于硬件，所以推動硬件發(fā)展（比如80~90年代 cpu 內(nèi)存產(chǎn)業(yè)），有的時候硬件設(shè)備上沒有很好的系統(tǒng)（比如智能手機的出現(xiàn)）則推動軟件。非要把誰歸結(jié)于誰推動，毫無意義，現(xiàn)在硬件和軟件場景不再單一，在個別領(lǐng)域可能是軟件推動硬件，也可能是硬件推動軟件。

作者: fyyizu 時間: 2014-05-07 21:19
這個軟件是必須的主導(dǎo)，硬件無法整體的迅速發(fā)展，至少速度無法配合軟件的發(fā)展，而且也期待在有新的硬件發(fā)展會帶來新的軟件信息傳遞架構(gòu)，一堆零件是肯定無法使用的，但沒有好的硬件，軟件只是無法更好的發(fā)揮性能:wink:

作者: Heng_Liao 時間: 2014-05-08 12:51
回復(fù) 34# fyyizu

蘋果的產(chǎn)品和同時代的其它產(chǎn)品相比，硬件配置無論是CPU還是內(nèi)存上都不算高，但是整體用戶體驗是最佳的，是通過軟硬件結(jié)合來設(shè)計可充分發(fā)揮硬件特性的一個好例子。蘋果是憑借垂直整合了從芯片的硬件的眾多環(huán)節(jié)的自身研發(fā)帶來的優(yōu)勢。

我們再往前想一步，在互聯(lián)網(wǎng)公司占據(jù)技術(shù)主導(dǎo)權(quán)，而有向蘋果一樣垂直整合到芯片級時，就有上游芯片，硬件廠商和下游互聯(lián)網(wǎng)公司的跨行業(yè)的結(jié)合的問題。產(chǎn)業(yè)鏈條中的每一層公司都有你說到的利益，話語權(quán)的不同，因此配合的難度就不如同一個公司內(nèi)部來得便利。

因此我們PMC從芯片出發(fā)，努力的方向是不斷向互聯(lián)網(wǎng)數(shù)據(jù)中心的用戶加強聯(lián)系，試圖向軟件的構(gòu)架師們，當然也有本版的各位專家讀者展示硬件構(gòu)架革新的可能方向，需求指引，不斷改進。目的也是希望能拓展軟件構(gòu)架師們的想象空間，而不再被今天的硬件能力，構(gòu)架和模式所限定。這樣在軟件設(shè)計時就能考慮到把今后硬件的能力充分發(fā)揮出來，并且反過來驅(qū)動對硬件新技術(shù)的需求。這個反饋的鏈條無疑是很長的，效能也較低，希望專家能指引些更有效的軟硬配合共同發(fā)展的方式。

今天又發(fā)一篇博客：
http://blog.csdn.net/pmc/article/details/25290785
請大家捧場，并發(fā)表看法。

作者: Heng_Liao 時間: 2014-05-08 13:02
本帖最后由 Heng_Liao 于 2014-05-09 15:09 編輯

還有一系列的相關(guān)文章供參考：
http://blog.csdn.net/u014602076/article/category/2213433

作者: CUTianrui007 時間: 2014-05-08 13:03
我覺得軟件和硬件本來就是一體的，不能將其分開。我們傳統(tǒng)意義上的軟件和硬件，是按照其成本和效率的原則對其劃分的。
計算機從無到有，已經(jīng)多次驗證了軟件和硬件是想到促進想到提高的，二者就是弓與箭一樣，彼此是分不開的。所以，我的觀點是，在將來的技術(shù)發(fā)展中，軟件和硬件是會共同主導(dǎo)的，共同進步的，短期內(nèi)可能二者有強弱之分，但長期看來，是均衡的。

在當前大數(shù)據(jù)應(yīng)用的前提下，只有兩個結(jié)果，要么是軟件變，要么是硬件變。目的只有一個，適應(yīng)現(xiàn)在應(yīng)用的要求。

作者: minghuij 時間: 2014-05-08 14:20

國內(nèi)的技術(shù)都是舶來品。沒意思

恰好看到一篇相關(guān)文章：

中國互聯(lián)網(wǎng)創(chuàng)業(yè)者正在告別“硅谷崇拜”
http://www.pingwest.com/forget-about-silicon-valley/

歐美國家的經(jīng)濟近年來困境重重，相比之下，國內(nèi)IT領(lǐng)域經(jīng)過多年的技術(shù)儲備和經(jīng)濟儲備，已經(jīng)到了扭轉(zhuǎn)局勢的轉(zhuǎn)折點也未可知。不要長他人志氣，滅自己威風哦。

作者: 冬瓜頭 時間: 2014-05-08 16:07

Heng_Liao 發(fā)表于 2014-05-08 13:02
我把博文在此貼出，便于分享。
還有一系列的相關(guān)文章供參考：
http://blog.csdn.net/u014602076/article/ ...

看了廖恒博士的文字，蕩氣回腸。有土壤、種子和水，自然會發(fā)芽�？杀蓢@！

作者: forgaoqiang 時間: 2014-05-08 19:34
哇哦上大號獎品了~~ 很佩服“冬瓜頭”的在存儲方面真是大師級的人物~

作者: cdb81 時間: 2014-05-08 21:08
我有個想法，所謂軟件硬件，其實是對產(chǎn)業(yè)鏈生產(chǎn)環(huán)節(jié)的一個簡單劃分。那整個產(chǎn)業(yè)鏈式怎么運轉(zhuǎn)的呢？
芯片 <--> 設(shè)備/系統(tǒng) <--> 軟件/運營等服務(wù)提供商(這一環(huán)似乎很大) <--> 最終用戶
看每一環(huán)中參與的人，一環(huán)比一環(huán)多的多。那這個鏈條究竟是怎么轉(zhuǎn)的呢？正向？反向？每一環(huán)都有反饋？正反饋，副反饋？似乎很復(fù)雜。
誰更強勢？似乎有時代特點：
最開始的時候，感覺還是硬件的進步引導(dǎo)著軟件的進步，畢竟是先有硬件的，人們才思考能用這些硬件做些什么。也就是左邊的引導(dǎo)著右邊的。
現(xiàn)在，大家的思維模式更趨向于所謂的"客戶體驗為導(dǎo)向"，也就是說，先要思考用戶究竟需要什么？然后去做什么軟件滿足需要，然后才是需要什么硬件支撐軟件。反過來了。
這一思維方式的轉(zhuǎn)變也獲得了大大的成功，以前，我們自己組裝電腦，山寨手機等，都還是拼硬件拼核�？纯船F(xiàn)在市場上成功的，都是拼體驗，蘋果就是以用戶體驗為導(dǎo)向這種思維方式很好的一個例子。

作者: Heng_Liao 時間: 2014-05-08 21:32
回復(fù) 39# 冬瓜頭

對不起大家，執(zhí)著幻想會迷路。

作者: GB_juno 時間: 2014-05-08 21:42
我覺得最近的技術(shù)發(fā)展很大原因都來自于那么一個東西：互聯(lián)網(wǎng)
1.互聯(lián)網(wǎng)的知識擴充了人類的視野，獲取咨詢的途經(jīng)多了，而不再像傳統(tǒng)媒體來由媒體來主導(dǎo)用戶的需求�；ヂ�(lián)網(wǎng)挖掘了人的各種各樣需求，從而讓軟件得到了相當?shù)陌l(fā)展。
2.互聯(lián)網(wǎng)讓開源協(xié)助成為真正意義上可能：只要有網(wǎng)絡(luò)接入，就能夠貢獻，而同時開源促進了技術(shù)的發(fā)展，從而讓軟件與硬件都得到相應(yīng)發(fā)展，軟件硬件之間相互促進。
3.云計算是未來的趨勢，在節(jié)約環(huán)保的同時，提供的服務(wù)也偏向互聯(lián)網(wǎng)服務(wù)。
4.大數(shù)據(jù)進步的原因很大部分在于通過在互聯(lián)網(wǎng)中對用戶的行為進行監(jiān)控從而實現(xiàn)挖掘需求的目的。

說實話，真正意義上技術(shù)革命中很多都來自科學幻想或者科學基礎(chǔ)理論的進步.從幻想->實現(xiàn)：蒸汽機，電，計算機，感覺這些才會是真正的變革。
當然現(xiàn)在的技術(shù)發(fā)展中，很多老牌的公司都被逐漸淘汰了，不過感覺應(yīng)該是市場運營做不好吧，跟技術(shù)老套也許沒有關(guān)系，例如sun。

作者: 冬瓜頭 時間: 2014-05-09 08:29

forgaoqiang 發(fā)表于 2014-05-08 19:34
哇哦上大號獎品了~~ 很佩服“冬瓜頭”的在存儲方面真是大師級的人物~

我只是拿著別人設(shè)計好的東西吹吹牛罷了。真正的大師是廖博這樣能獨立設(shè)計芯片的人。

作者: 冬瓜頭 時間: 2014-05-09 08:32

Heng_Liao 發(fā)表于 2014-05-08 21:32
回復(fù) 39# 冬瓜頭

廖博謙虛了。如果迷路了證明當前區(qū)域是別人從未探索過的，披荊斬棘開出一條新路，或許也能成正果

作者: cierory 時間: 2014-05-09 09:38
硬件和軟件的關(guān)系讓我聯(lián)想到了廚師和食材的關(guān)系（不一定十分恰當），硬件宛如食材，軟件宛如廚師。在食材匱乏的年代，自然是食材決定了廚師的做法，多一種食材便會帶來整個廚師界的變動；而如果食材很豐富了，更多是廚師有了新的創(chuàng)意推動了整個產(chǎn)業(yè)的變化。至于現(xiàn)在的食材是否豐富應(yīng)該是仁者見仁、智者見智了。當然最終一切都要看客戶的需求，畢竟食材和廚師最終都是為了滿足客戶的需求。

作者: Heng_Liao 時間: 2014-05-09 11:45
接著對I/O構(gòu)架演講的討論，筆者又發(fā)第二篇博文。

新型I/O架構(gòu)引領(lǐng)存儲之變（二）

第一篇，我們提到，SSD的廣泛采用，必然影響到數(shù)據(jù)中心的的軟件構(gòu)架。同時把服務(wù)器的存儲Ｉ/O的主流連接方式從SAS/SATA推向演講的下一步：為SSD連接優(yōu)化的I/O連接和擴展方式。

第二篇，我們分析主流的網(wǎng)絡(luò)協(xié)議，看看哪種總線適合Storage I/O的解耦合。用數(shù)據(jù)論證為什么以太網(wǎng)是不合適成為主流的I/O連接的原因，以及下一代I/O連接技術(shù)要具有哪些特性. 結(jié)論是以PCIe交換為基礎(chǔ)，源生態(tài)融合SAS/SATA的混合模式的必要性。

詳細請看：

http://blog.csdn.net/pmc/article/details/25370131
博文系列在：
http://blog.csdn.net/u014602076/article/category/2213433

作者: Heng_Liao 時間: 2014-05-09 13:29
本帖最后由 Heng_Liao 于 2014-05-12 12:10 編輯

食材和廚師的類別有借鑒之處：

互聯(lián)網(wǎng)技術(shù)同樣受到文化的種種因素的影響。

cierory 發(fā)表于 2014-05-09 09:38
硬件和軟件的關(guān)系讓我聯(lián)想到了廚師和食材的關(guān)系（不一定十分恰當），硬件宛如食材，軟件宛如廚師。在食材匱 ...

作者: Heng_Liao 時間: 2014-05-09 13:54
標題: 這回的論題有兩個層面
本帖最后由 Heng_Liao 于 2014-05-09 15:07 編輯

這回的論題有兩個層面，似乎大伙的關(guān)注點還放在軟硬件之爭上。很高興各位英雄所見略同，原本期待的“劍氣之爭”居然消餌于無形。
在這個共同認知的基礎(chǔ)上，具體到大數(shù)據(jù)存儲/處理，不知各位又有何高論？期待中......

作者: 冬瓜頭 時間: 2014-05-09 14:46
問大家一個問題，Raid控制器、HBA控制器在處理IO方面為什么比普通x86 CPU速度快？有獎！

作者: Heng_Liao 時間: 2014-05-09 15:04
回復(fù) 30# inurl
簡單來講是大型的機房，用來安放運行業(yè)務(wù)（如大型網(wǎng)站）的硬件設(shè)備。

作者: 冬瓜頭 時間: 2014-05-09 16:00
有獎問答：NAND Flash里的“NAND”是怎么來的？

作者: 冬瓜頭 時間: 2014-05-09 16:04
閃存的發(fā)展，導(dǎo)致上層訪問協(xié)議變得不再給力。SCSI體系面臨崩盤，即便是機械盤，SCSI體系的龐大低效也讓人很是頭疼。目前Linux社區(qū)有人在倡導(dǎo)改造SCSI，有人則完全不以為然，希望破舊立新。NVMe協(xié)議是專門針對Flash等非易失性高速存儲介質(zhì)而生的訪問協(xié)議，其相對SCSI在多個方面有很大的性能提升和優(yōu)化。大家知道目前業(yè)界唯一一家能提供NVMe協(xié)議支持的Flash控制器出自誰家么？而某大廠最近也推出了NVMe的SSD。有獎。

作者: xingjiudong 時間: 2014-05-09 16:36
占座，學習

作者: 冬瓜頭 時間: 2014-05-09 16:46
本帖最后由冬瓜頭于 2014-05-09 17:55 編輯

說道硬件，不得不又走入了幻想里去。學生時代學習過一段分子生物學方面的知識，當時還想考中科院上海生化所研究生，但是苦于某些扯淡科目，最終還是沒報名，后來稀里糊涂從事了IT行業(yè)，至今半瓶水，雖身在PMC這么高端的公司，但是心里一直很慚愧。在學習分子生物的時候，對計算機其實一點都不了解的。當從事了幾年IT之后，越發(fā)覺得生物就是計算機，上帝的代碼令人嘆為觀止，迄今為止人類也僅僅探知了少許皮毛。我一直在思考一個問題，就是什么才是最高效最智能的計算機，那一定是仿生計算機，仿生怎么仿？那一定是從分子層面去仿。現(xiàn)在已經(jīng)出現(xiàn)了利用蛋白質(zhì)組成邏輯門的簡單器件，但是我個人不認為用生物器件搭建成邏輯門是多么高效的辦法。我們必須搞清楚生物體在分子層面是怎么完成生命邏輯的，說白了，目前發(fā)現(xiàn)的地球生物體，是使用大量的數(shù)不盡種類的蛋白質(zhì)之間的相互作用，通過化學力、物理力相互連接、釋放，各自產(chǎn)生形變，又導(dǎo)致其他一系列瀑布連鎖反應(yīng)。這些過程，就像函數(shù)調(diào)用一樣。整個生化過程，有輸入信號、輸出信號。比如從某病毒被T細胞表面蛋白質(zhì)感受并接觸，一直到最后B細胞大量生成對應(yīng)抗體和其他免疫分子釋放到血液，這期間就是在完成免疫的生命邏輯。這里有問題就是，對于計算機，多數(shù)邏輯都是需要CPU運行代碼來完成，那么這些生命邏輯的代碼在哪里？有人說在DNA里的堿基對，其實DNA更加類似計算機里的存儲設(shè)備，其堿基對其實是對文件存儲的編碼格式。真正的邏輯體現(xiàn)在哪？其實就是體現(xiàn)在蛋白質(zhì)的三維構(gòu)象當中，一個蛋白質(zhì)相當于一個線程，完成一定的邏輯，但是蛋白質(zhì)完成邏輯并不需要像計算機CPU一樣去讀入代碼執(zhí)行，而是有輸入，就有輸出，這更像數(shù)字電路里的組合邏輯的行為，所以把每個蛋白質(zhì)比喻成一個ASIC電路更加形象，蛋白質(zhì)無處不在，有的嵌入在細胞表面，有的游離于細胞內(nèi)，有的在血液內(nèi)，他們靠高速運動相互碰撞完成API（更確切的應(yīng)該是ABI）調(diào)用，也有主動引導(dǎo)方式，比如通過某些物質(zhì)的濃度梯度，將對應(yīng)的蛋白質(zhì)引入到對應(yīng)的地方，完成邏輯。也就是說，生物體是由大量ASIC電路組成的、組合邏輯+時序邏輯共同作用的，一臺計算機。試想一下，這和我們常用的計算機完全不一樣，后者是軟件定義，而生物體，則是硬件定義，而生物體軟件定義的部分，在于大腦的學習單元，也就是智能、感情等屬于軟件定義，其他生命過程，都是硬件定義的。最高效的計算機，就是要把線程做成ASIC，然后用一種特殊的總線連接所有ASIC，但是永遠趕不上生物體的是，這些相互連接的ASIC是不能隨便運動的，這就要求必須使用超高速的互聯(lián)通道。將來的計算機是否會是這種仿生的形態(tài)？有生之年可能得不到答案了。
還有一個問題，計算機靠電路震蕩來產(chǎn)生時鐘，驅(qū)動電路完成邏輯，那么生物是靠什么來驅(qū)動的？冥冥之中有個看不見摸不著的東西在驅(qū)動，這就是引力、斥力、原子力了。蛋白質(zhì)更像一臺永不磨損的精密機械，所以說仿生計算機，其實是一臺純機械計算機，這可不是早期的算盤或者手搖計算機亦或是繼電器計算機，而是分子級別的機械計算機。使用組合邏輯來完成邏輯，而不是一句一句的執(zhí)行代碼，這就是為什么生物體如此奇特而且如此潛力無限的原因。有些人能夠速算，有些人有特異功能，其實這些可能都是無意間生成了，或者不小心觸發(fā)了上帝埋伏好的代碼，生成了對應(yīng)的專用速算蛋白質(zhì)機器。

最后一個問題，也是哲學問題了。IT計算機的電路都有時鐘頻率，CPU比如1GHz，3GHz，那么生物體的震蕩頻率是多少？比如某蛋白質(zhì)需要發(fā)生形變，每次從A態(tài)變到B態(tài)，就會從細胞外面將一個鈉離子吸入細胞內(nèi)，同時從細胞內(nèi)把一個鉀離子排出細胞外，一秒鐘如果震動20萬次，那就是泵出20w個鈉離子同時泵入20w個鉀離子，如果是30w次行不行？30w次，想到了什么？光速，每秒近似30w公里，還想到了什么？光子震動頻率，普朗克常量，10的14次方。普朗克常量為什么是這個數(shù)？得去問上帝，他所運行我們看到的世界所使用的那臺“計算機”的CPU的運行頻率是否就是10的14次方赫茲？哈哈！繼續(xù)引申一下，數(shù)學、物理學里的很多“常量”，是否有人能夠解釋為什么？比如π為何是3.14xxx，普朗克常量為何是xx，這些等等，最好的解釋方式，就是我們的世界運行在上帝的計算機中，上帝設(shè)置好了這些常量，我們就照此運行了。但是上帝并不知道他的代碼運行之后的結(jié)果，可能也已經(jīng)無法控制了，自從宇宙大爆炸，上帝加電啟動這臺計算機的時候，上帝就已經(jīng)控制不了代碼的運行了，所以可能祈禱有時候是沒用的。也有可能上帝已經(jīng)冥冥中重啟過很多次機器了，我們的記憶都被回滾到某次歷史時刻的快照了，這也可以解釋一些第六感之類的靈異現(xiàn)象。

作者: cierory 時間: 2014-05-09 16:52
NAND gate（與非門）是數(shù)電的一種基本邏輯電路，若輸入均為高電平（1）或者也可以視MOS管導(dǎo)通時視為1，則輸出為低電平；否則則為高電平。具體到NAND flash則是Cell Array之間及Source line之間采用的是這種與非的連接方式。回復(fù) 52# 冬瓜頭

作者: 冬瓜頭 時間: 2014-05-09 16:57

cierory 發(fā)表于 2014-05-09 16:52
NAND gate（與非門）是數(shù)電的一種基本邏輯電路，若輸入均為高電平（1）或者也可以視MOS管導(dǎo)通時視為1，則輸 ...

能否細化一下，誰和誰之間是AND，誰和誰之間是N呢？

作者: cierory 時間: 2014-05-09 17:15
可以理解為先對所有Cell Array的輸入端（1或者0）先進行與運算（AND）得到一個結(jié)果，再對得出的結(jié)果進行非運算（N）。個人理解所有輸入端為1時，最終輸出端和地線接通，可以到0電位；否則無法到達0電位。（PS：瓜大的回復(fù)讓人有點小激動）回復(fù) 57# 冬瓜頭

作者: 冬瓜頭 時間: 2014-05-09 17:21

cierory 發(fā)表于 2014-05-09 17:15
可以理解為先對所有Cell Array的輸入端（1或者0）先進行與運算（AND）得到一個結(jié)果，再對得出的結(jié)果進行非運 ...

正確！一串cell之間是AND關(guān)系，bitline輸出取反，是N。有獎

作者: 冬瓜頭 時間: 2014-05-09 17:38

cdb81 發(fā)表于 2014-05-08 21:08
我有個想法，所謂軟件硬件，其實是對產(chǎn)業(yè)鏈生產(chǎn)環(huán)節(jié)的一個簡單劃分。那整個產(chǎn)業(yè)鏈式怎么運轉(zhuǎn)的呢？
芯片 ...

從市場和用戶體驗入手，這個我想發(fā)表點看法。產(chǎn)品經(jīng)理是聯(lián)系市場、用戶和公司產(chǎn)品團隊的紐帶，大到需要什么樣的產(chǎn)品、產(chǎn)品怎么做。功能幾何、用戶體驗如何設(shè)計、界面、GUI，小到命令行個語法，產(chǎn)品經(jīng)理都要定義清楚，產(chǎn)品經(jīng)理是產(chǎn)品他爸，負責生，研發(fā)團隊是產(chǎn)品他媽，負責產(chǎn)。然而，軟件有軟件產(chǎn)品經(jīng)理，硬件有硬件產(chǎn)品經(jīng)理。很少有一款被定義的產(chǎn)品無法用現(xiàn)有硬件滿足的，或者說99%的產(chǎn)品經(jīng)理都是基于現(xiàn)有的物質(zhì)基礎(chǔ)來設(shè)計產(chǎn)品。1%的產(chǎn)品經(jīng)理，會將新奇的想法付諸實踐，并且促成硬件的變革。

作者: cryboy2001 時間: 2014-05-09 21:54
本帖最后由 cryboy2001 于 2014-05-09 21:57 編輯

看過冬瓜的第一本大話存儲，像高人學習�。�

作者: cdb81 時間: 2014-05-11 21:44
回復(fù) 60# 冬瓜頭

贊同冬瓜頭說的，99%, 1%的看法。不過我突然想到一點，這種成功應(yīng)該說是一種特定時代/技術(shù)背景下的應(yīng)用成功，比如喬大師的蘋果。
但是，引領(lǐng)歷史長河持續(xù)發(fā)展的是什么呢？是不是基礎(chǔ)科學突破，工藝的持續(xù)進步？

作者: 貍翔-linux 時間: 2014-05-12 01:22
感覺硬件是基礎(chǔ)，是解決技術(shù)性瓶頸的東西，就像階梯一樣，在跨階梯的時候，硬件技術(shù)能否突破是關(guān)鍵，但是突破之后能走多遠，則是靠軟件技術(shù)無限的創(chuàng)造力了～總結(jié)一下就是硬件決定一階的高度，軟件決定一階的長度～我們最后得到的必然是高度和長度的乘積！我現(xiàn)在比較關(guān)注一些基礎(chǔ)硬件的發(fā)展，比如各種傳感器什么的，其實這些東西和軟件結(jié)合起來真的可以做很多有趣的事情，但是由于懂硬件的程序員似乎不多，也可能是硬件抽象得還不夠，缺少統(tǒng)一的規(guī)范，無形之中制約了發(fā)展～

作者: 冬瓜頭 時間: 2014-05-12 10:35

貍翔-linux 發(fā)表于 2014-05-12 01:22
感覺硬件是基礎(chǔ)，是解決技術(shù)性瓶頸的東西，就像階梯一樣，在跨階梯的時候，硬件技術(shù)能否突破是關(guān)鍵，但是突 ...

硬件決定了一階的高度，軟件決定了一階的長度，這種說法很贊！硬件搭臺軟件唱戲，舞臺要夠高，戲要夠吸引人。

作者: 冬瓜頭 時間: 2014-05-12 10:46

cdb81 發(fā)表于 2014-05-11 21:44
回復(fù) 60# 冬瓜頭

贊同冬瓜頭說的，99%, 1%的看法。不過我突然想到一點，這種成功應(yīng)該說是一種特定時代 ...

我感覺是思維上的突破，思想。

作者: Heng_Liao 時間: 2014-05-12 11:41

cynthiazhong827 發(fā)表于 2014-05-05 16:56
看起來似乎現(xiàn)在最熱的就是軟件定義，不過撥開現(xiàn)象看本質(zhì)似乎，硬件的發(fā)展已經(jīng)超越了軟件，只是絕大多數(shù)的軟 ...

太同意樓主的觀點。關(guān)鍵在軟件工程師要是關(guān)心硬件的新技術(shù)，就可能會發(fā)明新的軟件架構(gòu)來發(fā)揮硬件的能力。
就拿“軟件定義存儲”來說，看似通過軟件技術(shù)的革新，可以擺脫對硬件的依賴。但要長期高效地解決問題，十分還是要回到軟硬結(jié)合統(tǒng)一的道上來？
EMC最近發(fā)表的ScaleIO 和它旗下VMWare發(fā)表的VSAN技術(shù)都號稱軟件定義存儲，請問樓主和來賓，是否可發(fā)表對這種技術(shù)的看法。
看上去實現(xiàn)的功能和我們提的存儲解耦合(FDIO)，尤其是基于SAS交換的存儲解耦合實現(xiàn)的功能類似，只是一軟一硬。硬件就有速度很快的好處。兩者十分有結(jié)合的可能？

作者: Heng_Liao 時間: 2014-05-12 11:41

beyondfly 發(fā)表于 2014-05-05 17:38
沒有軟件，計算機只能稱為裸機，什么也干不了。沒有硬件，軟件只能靜靜地躺在光盤或是磁盤上，無處發(fā)揮 ...

樓主看法很廣泛，可否針對大數(shù)據(jù)存儲的發(fā)展動向作些分析？
我們前面提到了存儲解耦合(FDIO)的硬件構(gòu)架，還有軟件定義存儲等軟件技術(shù)。歡迎各位就這些方面批評指正。要是有相關(guān)的問題也歡迎提出來。有獎哦！

作者: Heng_Liao 時間: 2014-05-12 11:42

miyahanni 發(fā)表于 2014-05-06 16:38
NETAPP證明有軟件沒創(chuàng)新也可以很滋潤，EMC證明沒軟件靠收購靠市場也可以做成第一。從EMC最近的各種方案包括 ...

樓主很敏銳地用實例說明了硬件系統(tǒng)廠家面臨的同量化的困境，它們似乎都選擇了共同的方法來脫穎而出 --- 就是變得越來越偏向軟件，從而追求產(chǎn)品的差異化。此過程帶來的負作用就是—硬件基礎(chǔ)技術(shù)開發(fā)和提供的任務(wù)就落到了更上游的芯片廠家來承擔。
樓主可否對芯片行業(yè)做類似的分析？

作者: Heng_Liao 時間: 2014-05-12 11:43

lanscape 發(fā)表于 2014-05-06 17:00
軟件與硬件在技術(shù)變革中誰為主導(dǎo)？我認為是相輔相成的，最終還是軟件主導(dǎo)，軟件定義！
軟件是否能以最有效 ...

恭喜樓主中獎。你對我們提出的問題做出了全面答復(fù)。
聚焦到當今的大數(shù)據(jù)時代，潮水般涌現(xiàn)的數(shù)據(jù)該如何存儲才能最為有效地發(fā)掘其潛在價值？儲存和計算資源如何進行分配組合才能滿足大數(shù)據(jù)不同階段處理的需求？　
在此提出一個具體的問題：在大數(shù)據(jù)系統(tǒng)中，儲存和計算以固定的比例永久地綁定在一起的架構(gòu)是最合理的嗎？這個比例有如何來確定能？回復(fù)的有獎！

作者: Heng_Liao 時間: 2014-05-12 11:44

CUTianrui007 發(fā)表于 2014-05-08 13:03
我覺得軟件和硬件本來就是一體的，不能將其分開。我們傳統(tǒng)意義上的軟件和硬件，是按照其成本和效率的原則對 ...

同意樓主的應(yīng)用作為源驅(qū)動力的觀點。
請問目前階段，樓主認為是軟硬哪一個更需要變化呢？
前面提到，今天通用數(shù)據(jù)中心架構(gòu)中采用了scale-out的模型，每個節(jié)點有固定的CPU和存儲資源，這種節(jié)點構(gòu)成機群，在機群上跑分布式軟件。這種基礎(chǔ)架構(gòu)需要改變嗎？節(jié)點內(nèi)部的CPU和存儲資源的比例要如何選擇才能滿足各種豐富的應(yīng)用呢？

作者: 冬瓜頭 時間: 2014-05-12 12:02

seesea2517 發(fā)表于 2014-05-05 15:08
剛剛還看到一個磁帶的新聞：

沒錯，昨天車庫咖啡存儲討論沙龍里一個朋友還問了個問題說以目前磁盤的產(chǎn)能，根本無法應(yīng)對后續(xù)的數(shù)據(jù)增長，是否有必要囤一批硬盤然后價高之后賣出。個人感覺磁盤的價格不會因為無法滿足數(shù)據(jù)量的增長而價格被炒上去，那些數(shù)據(jù)量爆發(fā)增長的場景都在互聯(lián)網(wǎng)，磁盤漲價對他們是沒用的，反倒是磁帶或許會迎來一波炒作，那些過時了的技術(shù)，可能會輪回來繼續(xù)發(fā)揮作用。新的存儲介質(zhì)也會很快出現(xiàn)，相變內(nèi)存，3D Flash，或者納米時代的中介，進入原子時代。

作者: 冬瓜頭 時間: 2014-05-12 12:08
本帖最后由冬瓜頭于 2014-05-12 12:44 編輯

lanscape 發(fā)表于 2014-05-06 17:00
軟件與硬件在技術(shù)變革中誰為主導(dǎo)？我認為是相輔相成的，最終還是軟件主導(dǎo)，軟件定義！
軟件是否能以最有效 ...

確實。幾乎所有軟件開發(fā)者都局限在現(xiàn)有硬件基礎(chǔ)上來開發(fā)軟件，很少有因為硬件限制導(dǎo)致某軟件根本無法做出來的場景，虛擬機遷移催生的大二層網(wǎng)絡(luò)方案算是一個不得不由硬件出手解決的問題。但是我認為這并不代表軟件就可以高效的定義一切，這里面還有個效率的問題。沒有軟件解決不了的事情，但是如果硬件打個噴嚏，軟件就會地震，同樣，如果硬件向前走了一步，則可以深刻的改變軟件的架構(gòu)，讓整體效率變得更高，這時候，仿佛推進歷史進步的，還得是硬件人員，而非軟件。軟件由于過于靈活，必然導(dǎo)致不思進取，越做越低效，層次越來越多，越來越臃腫，越來越浪費能源。說到這，仿佛歷史的重任，又回到了硬件和底軟開發(fā)者身上了。

作者: CUTianrui007 時間: 2014-05-12 13:09

Heng_Liao 發(fā)表于 2014-05-12 11:44
同意樓主的應(yīng)用作為源驅(qū)動力的觀點。
請問目前階段，樓主認為是軟硬哪一個更需要變化呢？
前面提到， ...

我的觀點如下，交流一下，不一定正確：
1：軟硬哪個更要變化？我覺得很難回答，打個比方說吧，就像種地，軟件就像種子，天時，硬件就像土地和化肥，目的只有一個，那就是高產(chǎn)。顯然，你就選擇好種子，還要好好施肥，還要有好天時。哪個更需要變化，這個很難說，如果非得說出個答案，我覺得是硬件，硬件可以認為是變化中的暫時的領(lǐng)導(dǎo)者，它的變化引發(fā)軟件變化，軟件變化又引發(fā)硬件變化，二者看起來就像太極圖一樣。
另外重要的一點：軟件和硬件的變化，通�？隙ú皇怯梢粋€供應(yīng)商決定的，所以實際上哪個先變化，這個不一定。就像X86架構(gòu)，多少年來一直很穩(wěn)定，但是在上面運行的軟件早已今非昔比了。

2：中心架構(gòu)中采用了scale-out的模型
機群上跑分布式軟件，我覺得只要需求能滿足，那就不用變化，因為變化，也就意味著要變好，也就意味著你有更好的架構(gòu)選擇，更高的效率。我感覺現(xiàn)在這個架構(gòu)暫時還沒有出現(xiàn)。節(jié)點內(nèi)部的CPU和資源分配的比例，這是個技術(shù)細節(jié)問題，這個有點難了，我覺得可以從OS的設(shè)計角度去理解和設(shè)計它，包括Windows和Linux，這樣可能會得到意想不到的結(jié)果。

作者: Heng_Liao 時間: 2014-05-12 13:35

CUTianrui007 發(fā)表于 2014-05-12 13:09
我的觀點如下，交流一下，不一定正確：
1：軟硬哪個更要變化？我覺得很難回答，打個比方說吧，就像種地 ...
2: 機群上跑分布式軟件，我覺得只要需求能滿足，那就不用變化，因為變化，也就意味著要變好，也就意味著你有更好的架構(gòu)選擇，更高的效率 ...

樓主的第2點很有代表性，變化是不情愿的。不過對大型網(wǎng)站來說，數(shù)據(jù)中心要添置成千上萬的設(shè)備，要耗電，要付房租，高效率就很重要。達到高效的有一個出發(fā)點是節(jié)約--- 減少浪費。

樓主用的機器是否觀測過CPU，存儲I/O子系統(tǒng)，還有網(wǎng)絡(luò)的帶寬的占用比例，如果按一天的時間畫條曲線來看會是怎樣？我猜峰值的資源占用可能其中一項是滿高的，那平均的資源利用率十分很低。以我自己的桌面PC為例，一天的平均CPU/硬盤/網(wǎng)絡(luò)使用率恐怕都在5%以下，那就是說平均來看，95%的資源被浪費了。十分可以保著節(jié)約的原則，把這些沒用上的資源利用上。在同時運行很多節(jié)點的大型數(shù)據(jù)中心，是否可以統(tǒng)計復(fù)用，以達到削減浪費的目的，是否就引入了對改革變化的需要？

作者: 冬瓜頭 時間: 2014-05-12 15:22
AMD μUMA嚷嚷了好久沒動靜。Intel和NVIDIA又同床異夢。還是Power8給力了。Openpower，好戲有的看了。

作者: CUTianrui007 時間: 2014-05-12 17:57

Heng_Liao 發(fā)表于 2014-05-12 13:35
樓主的第2點很有代表性，變化是不情愿的。不過對大型網(wǎng)站來說，數(shù)據(jù)中心要添置成千上萬的設(shè)備，要耗電， ...

個人PC機，性能很強，但是我們使用的功能并不多，也就是上網(wǎng)，看電影，打游戲，最多也就寫代碼畫板子。但是在公司的機群那不一樣了，那是耗電大戶，所以一點點的節(jié)點和改進就很必要了。所以，均衡其資源，實現(xiàn)綜合利用，這個完全可以作為一個軟件需求來推進硬件變化。
總體來說，我覺得技術(shù)進步的公式就是：原來軟件做的技術(shù)，現(xiàn)在由硬件來做，換句話就，軟件是硬件的前世，硬件是軟件的當今。

作者: beyondfly 時間: 2014-05-12 21:50
回復(fù) 68# Heng_Liao

大數(shù)據(jù)時代，電子商務(wù)、互聯(lián)網(wǎng)、金融、零售等企業(yè)，他們會收集越來越多的數(shù)據(jù)，這個量是越多越好，如果數(shù)據(jù)量不夠大，不夠多，那么就不叫做大數(shù)據(jù)，分析起來也沒有意義，找到數(shù)據(jù)的價值所在。大數(shù)據(jù)的本質(zhì)是利用所有的數(shù)據(jù)，從中找出各種相關(guān)關(guān)系。
這些企業(yè)一是自身會產(chǎn)生大量的數(shù)據(jù)，二是接受用戶的大量數(shù)據(jù)，這么巨大量的數(shù)據(jù)寫入，對于存儲也會是一個挑戰(zhàn)，在這種情況下，就要求存儲有更好的數(shù)據(jù)寫入性能，同時，巨大的數(shù)據(jù)量，對存儲容易也是一個巨大的挑戰(zhàn)，各種云存儲，分布式存儲將會得一個很好的機會

作者: Heng_Liao 時間: 2014-05-13 14:09

CUTianrui007 發(fā)表于 2014-05-12 17:57
但是在公司的機群那不一樣了，那是耗電大戶，所以一點點的節(jié)點和改進就很必要了。所以，均衡其資源，實現(xiàn)綜合利用，這個完全可以作為一個軟件需求來推進硬件變化。
總體來說，我覺得技術(shù)進步的公式就是：原來軟件做的技術(shù)，現(xiàn)在由硬件來做，換句話就，軟件是硬件的前世，硬件是軟件的當今。 ...

樓主提出了一個有趣的觀點：軟件是硬件的前世。我們來看看是否能普遍適用。確實有很多這樣的例子 --- 原來用軟件操作顯卡的像素，后來圖形的性能要求高了就變成了硬件加速的GPU，原來用軟件實現(xiàn)的網(wǎng)絡(luò)協(xié)議，現(xiàn)在也由網(wǎng)卡的硬件加速來提升性能。是否可以說，對某個軟件性能要求很高時就推向硬件實現(xiàn)呢？反過來，也我們可以找到一些例子：原來的電話modem和fax是個專用芯片實現(xiàn)的硬件，當ＣＰＵ速度夠快來用軟件實現(xiàn)modem的算法，現(xiàn)在PC上的modem和fax功能都是純軟件實現(xiàn)的（消除了硬件芯片的成本）。所以當應(yīng)用的性能需求比起軟件處理性能足夠低時，軟件可以取代硬件�？煞裥拚愕墓綖椋寒斝枰奶幚硇阅茏銐蚋邥r，原來軟件做的技術(shù)，現(xiàn)在由硬件來做，　反之亦然。

把該公式應(yīng)用在機架內(nèi)的存儲架構(gòu)，隨著大數(shù)據(jù)處理的高效能要求不斷攀升，SSD I/O性能的突破，我們是否可得出硬件取代軟件實現(xiàn)分布式共享存儲(FDIO)的迫切性？　

作者: Heng_Liao 時間: 2014-05-13 15:08

冬瓜頭發(fā)表于 2014-05-12 15:22
AMD μUMA嚷嚷了好久沒動靜。Intel和NVIDIA又同床異夢。還是Power8給力了。Openpower，好戲有的看了。

外設(shè)直接采用虛擬地址做DMA真的很有用哦�？偩€的root complex上大概加了TLB做地址轉(zhuǎn)換，還要保證TLB和Cache的一致性。實在是復(fù)雜。
那TLB miss, 或該虛地址未鎖定在物理內(nèi)存時，該怎樣處理呢？

作者: 冬瓜頭 時間: 2014-05-13 15:32

Heng_Liao 發(fā)表于 2014-05-13 15:08
外設(shè)直接采用虛擬地址做DMA真的很有用哦�？偩€的root complex上大概加了TLB做地址轉(zhuǎn)換，還要保證TLB和C ...

想請廖博從技術(shù)角度指正一下我的理解是否正確：
拿PCIE顯卡來講，常規(guī)做法是由驅(qū)動程序在Host地址空間申請供DMA用的內(nèi)存，上層應(yīng)用的數(shù)據(jù)比如游戲引擎需要渲染的數(shù)據(jù)，先從應(yīng)用緩存拷貝到供DMA使用的緩存，然后顯卡直接讀取這塊DMA空間將數(shù)去取走。這期間需要2次內(nèi)存拷貝。而外設(shè)和CPU共享同一地址空間的好處是，無需內(nèi)存拷貝，顯卡直接在在主機內(nèi)存中處理數(shù)據(jù)，當必須要在顯卡內(nèi)部顯存內(nèi)處理時，則一次拷貝即可。提高了性能。

作者: hbsycw 時間: 2014-05-13 15:42
軟件硬件誰在引領(lǐng)IT技術(shù)革命？

這是一個有趣的話題，可能有人說，當然是硬件引領(lǐng)IT技術(shù)革命。因為，從機械計算機到電子計算機，從紙帶到磁帶、磁盤、光盤這些硬件的改變都極大的推動了IT的發(fā)展。然而，我們看到，傳統(tǒng)的電子硬件技術(shù)（頻率、集成度規(guī)模...）也似乎達到了一個增長的極限，而我們對于IT技術(shù)應(yīng)用的需求卻變大的更大，單純靠硬件增長來引領(lǐng)計算和存儲的IT時代似乎變的無法滿足這種需求（考慮經(jīng)濟成本~）。而一種更自然的方式是通過軟件來集成定義這一切，用規(guī)模硬件來解決規(guī)模問題。于是，在互聯(lián)網(wǎng)發(fā)達的今天，在云計算、大數(shù)據(jù)，這些時代IT技術(shù)需求面前，SDN（軟件定義網(wǎng)絡(luò)）、SDS（軟件定義存儲）正成為一種有效而靈活的解決方案思路在引領(lǐng)IT技術(shù)變革。

因此，總結(jié)一下，IT技術(shù)的變革過去主要是硬件的升級換代在主導(dǎo)，而今天，在我們已經(jīng)有了一定的基礎(chǔ)硬件設(shè)施時，軟件的靈活解決方案正在成為引領(lǐng)IT技術(shù)變革的主流！

作者: CUTianrui007 時間: 2014-05-13 16:04

Heng_Liao 發(fā)表于 2014-05-13 14:09
樓主提出了一個有趣的觀點：軟件是硬件的前世。我們來看看是否能普遍適用。確實有很多這樣的例子 --- 原 ...

硬件取代軟件實現(xiàn)分布式共享存儲(FDIO)的迫切性，這個完全有可能的，當然這個要硬件本身有著新的設(shè)計理念。

另外，我覺得硬件和軟件的發(fā)展關(guān)系可以修正為：成本和效率控制下的軟件和硬件身份相互轉(zhuǎn)換。

作者: 冬瓜頭 時間: 2014-05-13 16:23

CUTianrui007 發(fā)表于 2014-05-13 16:04
硬件取代軟件實現(xiàn)分布式共享存儲(FDIO)的迫切性，這個完全有可能的，當然這個要硬件本身有著新的設(shè)計理 ...

SAN其實是個好東西。目前傳統(tǒng)存儲面臨窘境，并不意味著SAN不給力，如果有一種廉價的SAN，很多問題就解決了�；ヂ�(lián)網(wǎng)搞了這么久的分布式，其實很多問題是讓人很頭疼的，這正與傳統(tǒng)領(lǐng)域的形態(tài)演進一樣�；ヂ�(lián)網(wǎng)其實是迫切需要SAN的。歡迎探討。

作者: niugb 時間: 2014-05-13 17:01
覺得這兩個是相互促進的關(guān)系，只是說在某個階段硬件或者軟件更占主導(dǎo)地位吧，
硬件更多的是基礎(chǔ)的架構(gòu)搭建，存儲互連方面，從原來的SATA，到SAS,再到目前的PCIE，都在不斷的進步，但從硬件的進步看，促進了軟件的進步，現(xiàn)在看更多的是軟件可以在高帶寬的互連上，做的事更多，軟件發(fā)揮的余地更大了，后續(xù)還會有更多提升，硬件提供的性能越好，軟件就越能發(fā)揮出來更好的性能。
   軟件的進步也促進了硬件進步，讓硬件的設(shè)計更加專一，
   從云的角度出發(fā)，原來的軟件更多的能夠做出符合要求的一些方案，但隨著云的發(fā)展，有更多的要求被提出來，比如：帶寬要求更大，訪問延時要求更低，IOPS的要求更高，數(shù)據(jù)不斷的增加，要求存儲與計算分享，也可能是處理器與內(nèi)存分享等，這些要求的提出，僅憑軟件的解決方案就不能完全解決，這時推動了硬件的一些解決方案，這些硬件的解決方案，推動了軟件解決方案重新審視我們現(xiàn)有的軟件解決方案是否能夠滿足要求，是否需要新的軟件架構(gòu)來與新的硬件方案重新匹配，等，所有的硬件與軟件架構(gòu)的新的推出，都是基于某些應(yīng)用或者需求來的。這些需求更多是新的模式的出現(xiàn)為推動因素。推動著軟件和硬件的向某個方向發(fā)展。
總的來說，是軟件與硬件共同的進步，螺旋式上升，相互的推進軟件與硬件的共同進步。

作者: beyondfly 時間: 2014-05-13 17:08
回復(fù) 79# Heng_Liao

廖博士，你說的這個FDIO，我沒有怎么接觸過，不敢隨便發(fā)表評論，呵呵。個人認為，如果使用FDIO，在大數(shù)據(jù)的處理系統(tǒng)中，將會發(fā)揮很大的作用

作者: niugb 時間: 2014-05-13 17:14
SAN解決了共享問題，用傳統(tǒng)的硬件可以保障數(shù)據(jù)安全通過RAID或者是多放幾份數(shù)據(jù)，但目前存儲的互連是PCIE的網(wǎng)絡(luò)，盤的單體也可能會是PCIE接口的盤，我們?nèi)绾伪Ｕ显趩误w盤壞時，能夠像SAS盤那樣，來快遞替換掉壞的單體盤而且能進快恢復(fù)數(shù)據(jù)呢？不損失性能時，通過兩份數(shù)據(jù)來保障？還是在PCIE上做個類似的RAID的功能？如果做成類似的RAID的功能，那么會損失PCIE的性能。這個部分不知道大家如何來考慮的。

作者: 冬瓜頭 時間: 2014-05-13 17:26

beyondfly 發(fā)表于 2014-05-13 17:08
回復(fù) 79# Heng_Liao

老兄，既然不了解FDIO，又怎么會 “個人認為FDIO會發(fā)揮巨大作用” 。。。

作者: 冬瓜頭 時間: 2014-05-13 17:28

niugb 發(fā)表于 2014-05-13 17:14
SAN解決了共享問題，用傳統(tǒng)的硬件可以保障數(shù)據(jù)安全通過RAID或者是多放幾份數(shù)據(jù)，但目前存儲的互連是PCIE的網(wǎng) ...

對于數(shù)據(jù)中心來講，SAN的作用將會更大，它將直接改變服務(wù)器的設(shè)計，使服務(wù)器不再需要設(shè)計存儲相關(guān)的部分（通道控制部分保留），大大簡化了設(shè)計成本，還提高了密度，還節(jié)省了能耗。我相信不久SAN一定會以整機柜形態(tài)落地數(shù)據(jù)中心。

作者: 冬瓜頭 時間: 2014-05-13 17:38

niugb 發(fā)表于 2014-05-13 17:14
SAN解決了共享問題，用傳統(tǒng)的硬件可以保障數(shù)據(jù)安全通過RAID或者是多放幾份數(shù)據(jù)，但目前存儲的互連是PCIE的網(wǎng) ...

老兄的這個問題提的非常好，其實也命中了PMC的甜點。針對PCIE接口的盤，PMC下一代芯片中集成的的PCIE交換器件支持3種模式，一種是翻譯模式，終止兩邊的協(xié)議，這個有一定的時延和開銷，但是最靈活；第二種是完全透傳模式，這種模式完全把PCIE EP透傳到主機系統(tǒng)PCIE總線中，性能無損，完全靠軟件來定義上層功能比如Raid；第三種是旁路模式，控制依然和翻譯模式類似，可以虛擬化，可以做Raid，但是實際數(shù)據(jù)路徑與透傳模式類似，PCIE EP可以直接DMA到主機內(nèi)存，在犧牲一小部分靈活性的同時保留大部分虛擬化功能同時還可以獲取夠用的性能。這方面可以和廖博深入探討。

作者: cdb81 時間: 2014-05-13 17:40

冬瓜頭發(fā)表于 2014-05-13 16:23
SAN其實是個好東西。目前傳統(tǒng)存儲面臨窘境，并不意味著SAN不給力，如果有一種廉價的SAN，很多問題就解決 ...

SAN這個理念很好，現(xiàn)在也有IP SAN, FC SAN, SAS SAN.
IP SAN我覺得最大的優(yōu)點應(yīng)該是整個拓撲規(guī)模的拓展性，但是也有很多不好的地方，比如，存儲節(jié)點接入SAN也需要引入?yún)f(xié)議轉(zhuǎn)換(SAS/SATA -> Ethernet).
FC SAN 也有協(xié)議轉(zhuǎn)換，成本較高，速度快。
SAS 在我看來其實是天生最適合做SAN的，因為現(xiàn)在的主流磁盤本來就是SAS/SATA的，沒有協(xié)議轉(zhuǎn)換，成本低。如果是SAS盤的話，天生就支持被多個主機訪問到，在軟件上有很多想象空間。缺點是拓撲可能做不到IP SAN那么大。
現(xiàn)在很多人在提PCIe 交換, 我假設(shè)是PCIe SAN吧，這個優(yōu)點是對PCIe 閃存的支持，延時小。但是缺點是拓撲大小可能比SAS SAN還要小。
總的來說，我也覺得SAN真的是個好東西(和FDIO的理念是一致的)。但是其推廣和進一步發(fā)展還是有待于硬件技術(shù)的進步。

作者: 冬瓜頭 時間: 2014-05-13 17:42

cdb81 發(fā)表于 2014-05-13 17:40
SAN這個理念很好，現(xiàn)在也有IP SAN, FC SAN, SAS SAN.
IP SAN我覺得最大的優(yōu)點應(yīng)該是整個拓撲規(guī)模的拓展 ...

嚴重同意！

作者: niugb 時間: 2014-05-13 18:04
這部分可能會以存儲分層的形式來進行，但我一直有些疑問：就是SAN中如果全用PCIE的SSD時，單體的SSD的盤壞掉，數(shù)據(jù)如何快遞即時的恢復(fù)出來？像傳統(tǒng)的RAID？還是另有更好的依法？

作者: 冬瓜頭 時間: 2014-05-13 18:06

niugb 發(fā)表于 2014-05-13 18:04
這部分可能會以存儲分層的形式來進行，但我一直有些疑問：就是SAN中如果全用PCIE的SSD時，單體的SSD的盤壞掉 ...

數(shù)據(jù)恢復(fù)目前除了傳統(tǒng)Raid和EC擦除碼，貌似沒別的好辦法了。

作者: niugb 時間: 2014-05-13 18:09

冬瓜頭發(fā)表于 2014-05-13 17:28
對于數(shù)據(jù)中心來講，SAN的作用將會更大，它將直接改變服務(wù)器的設(shè)計，使服務(wù)器不再需要設(shè)計存儲相關(guān)的部分 ...

SAN來說，延時與IOPS，帶寬這幾個性能的要求是比較高的時候，需要將軟件進一步的優(yōu)化，同時也需要使用PCIE 的SSD盤，這部分我一直想就SSD盤單體失效時有沒有什么更好的方法來恢復(fù)數(shù)據(jù)。

作者: 冬瓜頭 時間: 2014-05-13 18:13

niugb 發(fā)表于 2014-05-13 18:09
SAN來說，延時與IOPS，帶寬這幾個性能的要求是比較高的時候，需要將軟件進一步的優(yōu)化，同時也需要使用PCI ...

看需求，如果要求PCIE，那就上PCIE SAN，但是目前SAS SAN是個很不錯的選擇，相比DAS來講，無非就是多經(jīng)過一跳，時延有所增加，但是只要上層應(yīng)用不是很變態(tài)的每一筆都是同步IO，時延應(yīng)該不是問題。

作者: niugb 時間: 2014-05-13 18:14

冬瓜頭發(fā)表于 2014-05-13 17:38
老兄的這個問題提的非常好，其實也命中了PMC的甜點。針對PCIE接口的盤，PMC下一代芯片中集成的的PCIE交 ...

能否就PMC公司提出的PCIE，sas,一體的芯片做個介紹？從軟件的角度�；蛘呤钦f這個芯片對于后續(xù)虛擬化的一些應(yīng)用方面等。很期待對這個芯片的應(yīng)用，從軟件層面的剖析

作者: 冬瓜頭 時間: 2014-05-13 18:38

niugb 發(fā)表于 2014-05-13 18:14
能否就PMC公司提出的PCIE，sas,一體的芯片做個介紹？從軟件的角度�；蛘呤钦f這個芯片對于后續(xù)虛擬化的一些 ...

敬請廖博來回答

作者: beyondfly 時間: 2014-05-13 18:40
回復(fù) 89# 冬瓜頭

我相信你們公司首席科學家嘛，所以也相信fdio，哈哈

作者: 冬瓜頭 時間: 2014-05-13 19:00

beyondfly 發(fā)表于 2014-05-13 18:40
回復(fù) 89# 冬瓜頭

作者: Heng_Liao 時間: 2014-05-13 23:07
回復(fù) 82# 冬瓜頭

你說的這個，用物理地址(Physical Memory Address) DMA也可以做到。

虛擬地址(Virtual Memory Address DMA)是個新玩意，在早期的MIPS CPU構(gòu)架中為了降低流水線深度，才用了Vitual Memory Address Cache，但帶來一系列的不便，其中就有DMA address aliasing 的問題，你若google 這些關(guān)鍵字，會找到很多相關(guān)的資料探討這問題。

看看傳統(tǒng)Physical Address DMA的使用方法，就可以猜測Virtual Address DMA給軟件帶來的便利之處。以應(yīng)用程序想把一個指針指向的內(nèi)存區(qū)域（例如malloc得到的在Virtal Address 空間中連續(xù)的內(nèi)存）用Direct I/O的方式直接寫道SAS盤上，為了簡化討論，我們略過文件系統(tǒng)內(nèi)部的復(fù)雜性，簡單地認為DIRECT IO方式通過文件系統(tǒng)時不經(jīng)buffer的緩存，直接就傳達到SAS Driver層, 而沒有經(jīng)過memory copy (實際情況要復(fù)雜些）。SAS Driver 的任務(wù)是要把用戶空間的Virtual Address buffer 寫到硬盤的某個LBA開始的區(qū)域中去。SAS 控制器的硬件是以物理地址來進行DMA 操作，因為在PCIe總線上外設(shè)硬件是不了解Virtual Address的，只認識Physical address. 只有操作系統(tǒng)內(nèi)核具有整個Virtual Address 空間如何通過MMU頁表轉(zhuǎn)換成Physical address的全部知識，而CPU硬件上有TLB（用于地址轉(zhuǎn)換的高速緩存，存放了最近在使用的幾個轉(zhuǎn)換的結(jié)果）和MMU（負責整個空間的轉(zhuǎn)換）。SAS 控制器的DMA，采用SGL（即表示一系列物理地址中的緩沖區(qū)碎片的鏈表）數(shù)據(jù)結(jié)構(gòu)來代表剛才提到的數(shù)據(jù)緩沖區(qū)�！river負責
1) 通過系統(tǒng)調(diào)用把這個虛擬地址的buffer 影射并鎖定到物理地址空間，這個過程要walk page table，并把緩沖區(qū)逐頁面鎖定，（在此之前，有些頁面可能被對換到硬盤的虛存對換文件中去了，還要把它們對換回來才能鎖定）。這個過程不能保證每個頁面在地址連續(xù)的物理空間，因此產(chǎn)生了物理空間中的一系列的整頁，或頁面的一部分構(gòu)成的碎片。
2) 要把這個碎片序列轉(zhuǎn)換成DMA 所認識的SGL 格式來代表。
3) 把這個SGL 以及SCSI 命令的相關(guān)信息發(fā)給SAS 控制器硬件隊列。
4) 硬件執(zhí)行這個命令，完成后會中斷Driver，并通過隊列提供I/O的索引，和命令的結(jié)果。
5) Driver 受到寫完成能后，通過系統(tǒng)調(diào)用把這個buffer unlock, unmapped，即undo 步驟１中的操作。

另外，如果CPU不支持cache IO coherency的話，還要在步驟１，或５　（取決于讀或?qū)懀┲餭ache line來writeback_invalidate　寫buffer, 或invalidate 讀buffer.
另外，DMA 硬件為了支持高速地對SGL buffer 進行數(shù)據(jù)傳送，其復(fù)雜性和設(shè)計難度也是很大的。
這個過程，我們用SAS 控制器作了說明，其實對具有DMA的外設(shè)，無論是網(wǎng)卡，NVMe SSD, 還是其他種類設(shè)備，在對DMA方面的原理都是幾乎一樣的。　

如果DMA 可直接采用虛擬地址，這一系列麻煩都沒有了。直接的好處就是Driver的軟件延遲和CPU開銷可大大精簡，這個對高速的硬件是十分關(guān)鍵的（例如SSD, 40G/100G NIC).
如果網(wǎng)絡(luò)系統(tǒng)中可直接用虛擬地址作RDMA，這就更有意義，用戶態(tài)程序可直接訪問遠端進程的用戶態(tài)緩沖區(qū)，對應(yīng)用程序的開發(fā)帶來的性能提高和便利可想而知。

作者: Heng_Liao 時間: 2014-05-13 23:09

CUTianrui007 發(fā)表于 2014-05-13 16:04
硬件取代軟件實現(xiàn)分布式共享存儲(FDIO)的迫切性，這個完全有可能的，當然這個要硬件本身有著新的設(shè)計理 ...

這個總結(jié)很精辟。

歡迎光臨 Chinaunix (http://72891.cn/)