亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標(biāo)題: 中斷鏡像關(guān)系是否會(huì)導(dǎo)致宕機(jī)？——寧夏銀行宕機(jī)始末 [打印本頁(yè)]

---

作者: 冬瓜頭    時(shí)間: 2014-08-08 17:51
標(biāo)題: 中斷鏡像關(guān)系是否會(huì)導(dǎo)致宕機(jī)？——寧夏銀行宕機(jī)始末





最近寧夏銀行宕機(jī)事件，引發(fā)種種猜測(cè)，謠傳不斷。原文報(bào)道不再多說，其中一句話耐人尋味，意思是“在中斷數(shù)據(jù)錄像之后即發(fā)生宕機(jī)”，帶有明顯的暗示色彩，解讀這句話可以初步得出其所“暗示”的兩個(gè)結(jié)論，第一個(gè)就是本次宕機(jī)的導(dǎo)火索是中斷了數(shù)據(jù)錄像，第二個(gè)就是提供數(shù)據(jù)錄像的廠商很有可能就是飛康，當(dāng)然，第二個(gè)結(jié)論已經(jīng)是事實(shí)了。但是第一個(gè)結(jié)論，有待考證。如果一個(gè)系統(tǒng)已經(jīng)出現(xiàn)了問題，而不可逆轉(zhuǎn)的話，此時(shí)所做的任何動(dòng)作，都有可能成為該系統(tǒng)最終宕機(jī)的理由，而如果不做這些動(dòng)作，系統(tǒng)依然可能還會(huì)最終宕機(jī)，所以，報(bào)道里的這句話是模棱兩可的。

但是不同的人，不同的位置和角色，就會(huì)產(chǎn)生偏見了，最終偏向?qū)ψ约河欣�的那一�?cè)。這里有三個(gè)角度。首先對(duì)于用戶而言，這一災(zāi)難是巨大的，相關(guān)方面這時(shí)除了吸取教訓(xùn)，更重要的恐怕是對(duì)于責(zé)任的認(rèn)定。如果有一種解釋能淡化運(yùn)維和操作相關(guān)的責(zé)任，不失為一種好的危機(jī)應(yīng)對(duì)；對(duì)于飛康的競(jìng)爭(zhēng)者們，當(dāng)然是“希望”問題出在飛康身上，飛康一定是希望問題不出在自己身上。
根據(jù)有關(guān)寧夏銀行之前的相關(guān)報(bào)道，寧夏銀行的核心系統(tǒng)包括CDP在內(nèi)，已穩(wěn)定運(yùn)行數(shù)年。在這其間，還曾經(jīng)于2010年進(jìn)行過成功的復(fù)雜條件災(zāi)備真實(shí)切換的演練并取得成功，這一事件當(dāng)時(shí)被眾多媒體和同行現(xiàn)場(chǎng)報(bào)道和觀摩。那么，在數(shù)據(jù)庫(kù)崩潰之前，到底系統(tǒng)已經(jīng)出現(xiàn)了什么征兆和問題，在那天，除了關(guān)閉“錄像”，用戶對(duì)于數(shù)據(jù)庫(kù)和主機(jī)還進(jìn)行了哪些操作，在報(bào)告里卻不得而知。

這里拋開這些人的因素，只談技術(shù)。

中斷數(shù)據(jù)錄像這個(gè)動(dòng)作到底是否會(huì)導(dǎo)致系統(tǒng)宕機(jī)，有多大幾率？要回答這個(gè)問題，就得先搞清楚這些CDP方案是怎么執(zhí)行數(shù)據(jù)錄像，詳細(xì)機(jī)制在《大話存儲(chǔ)2》16章有詳細(xì)描述，這里只是簡(jiǎn)單總結(jié)一下。首先生產(chǎn)數(shù)據(jù)先被鏡像一份到一個(gè)獨(dú)立的存儲(chǔ)系統(tǒng)里，當(dāng)達(dá)到同步收斂之后，生產(chǎn)卷和鏡像卷的IO實(shí)時(shí)同步�；�于這份鏡像卷，CDP系統(tǒng)在其上實(shí)現(xiàn)數(shù)據(jù)持續(xù)捕獲劑元數(shù)據(jù)記錄，最后采用基準(zhǔn)鏡像+增量的方式實(shí)現(xiàn)任意時(shí)間點(diǎn)回滾。

這里所使用的IO同步鏡像工具一般為L(zhǎng)VM，也就是Linux和UNIX普遍使用的存儲(chǔ)空間批發(fā)+零售的卷管理系統(tǒng)，Logical Volume Manager。其前提是應(yīng)用的數(shù)據(jù)是部署在LV塊設(shè)備上的，如果是部署在/dev/sda這種底層塊設(shè)備上，就不能使用LVM作鏡像了。正因如此，飛康在Windows下提供單獨(dú)的Disksafe鏡像和快照管理工具，因?yàn)閃Indows下幾乎沒有應(yīng)用使用系統(tǒng)自帶的動(dòng)態(tài)磁盤方案（Windows下的“LVM”）。

不管是LVM，還是Disksafe，其底層都需要在IO路徑上插入filter driver，當(dāng)然這是個(gè)Windows下的名詞，Linux下更直白，不叫filter，叫hook，Windows不能隨便讓你hook來hook去，它的驅(qū)動(dòng)框架都是定死的，你只要填空就行了，Linux則非常靈活，但是風(fēng)險(xiǎn)自負(fù)。Windows下不少時(shí)候的IO性能比發(fā)行版Linux是要強(qiáng)很多的，當(dāng)然如果自己定制化了內(nèi)核IO路徑就另當(dāng)別論了。在Linux下，LVM底層使用的是device mapper這個(gè)名正言順的鉤子驅(qū)動(dòng)，當(dāng)然這個(gè)鉤子是經(jīng)過千錘百煉的，穩(wěn)定性應(yīng)該不成問題，但是不排除其依然有bug，只是幾率微乎其微。你也可以插入你自己的鉤子驅(qū)動(dòng)，但是你自己的鉤子就得風(fēng)險(xiǎn)自負(fù)，內(nèi)核態(tài)里出了問題系統(tǒng)多半宕機(jī)，所以一般商用產(chǎn)品，能用內(nèi)核自帶的就用，這樣一來節(jié)省開發(fā)，二來名正言順，三來出了問題也可以撇清關(guān)系。

LVM鏡像一般都是同步模式的，也沒有地方可供更改為異步，這就要求鏡像卷縮在的系統(tǒng)性能足夠強(qiáng)以至于不會(huì)拖慢生產(chǎn)系統(tǒng)，此外采用同步復(fù)制也可以保證不丟失數(shù)據(jù)，只要數(shù)據(jù)是一致的。
而且，根據(jù)飛康CDP的實(shí)施手冊(cè)要求，LVM CDP 只建議配置成寫入目標(biāo)模式（ write target ）, 主機(jī)只向CDP寫入I/O, 但平時(shí)并不讀取。只有在需要恢復(fù)或驗(yàn)證某時(shí)間點(diǎn)數(shù)據(jù)時(shí)，才會(huì)將錄像點(diǎn)磁盤mount 到驗(yàn)證機(jī)上。所以CDP 的故障或錯(cuò)誤是不會(huì)反向影響到主機(jī)的數(shù)據(jù)的�，F(xiàn)在，我們?cè)賮砜聪乱徊�，如果要中斷�?shù)據(jù)錄像，就得在主機(jī)上進(jìn)行針對(duì)LVM鏡像卷的配置，將鏡像切開，這一步必然需要通知底層驅(qū)動(dòng)，驅(qū)動(dòng)此時(shí)會(huì)斷開對(duì)鏡像卷的數(shù)據(jù)IO。這一步在低IO壓力下，正常來講沒有問題，但是在高IO壓力下，對(duì)IO路徑任意一處做影響IO路徑的更改，就很有可能導(dǎo)致系統(tǒng)卡死，因?yàn)闋砍兜铰窂阶兏�，�?shì)必導(dǎo)致對(duì)資源的鎖操作，以及瞬間暫停IO，此時(shí)上層的IO仍然會(huì)不斷壓入隊(duì)列，最終會(huì)導(dǎo)致queue full，內(nèi)核遲遲不返回結(jié)果給應(yīng)用，響應(yīng)時(shí)間的增加，又會(huì)導(dǎo)致前端操作員不斷刷新重試，又會(huì)導(dǎo)致大量新IO請(qǐng)求，最后系統(tǒng)越來越慢，內(nèi)存耗費(fèi)暴增，不得不借助swap暫存，最后swap如果要滿了的話，那就真的沒有可用內(nèi)存了，最后就是僵死態(tài)，這屬于連鎖反應(yīng)。這種現(xiàn)象在Linux x86 服務(wù)器上是有所耳聞的，但是后來的內(nèi)核版本會(huì)自動(dòng)殺進(jìn)程來保證新資源被分配來確保系統(tǒng)尚在運(yùn)行，此時(shí)已經(jīng)算是抽風(fēng)了。AIX則不會(huì)，swap滿則卡死。

再說回來，為何要中斷數(shù)據(jù)錄像？恐怕那時(shí)候系統(tǒng)已經(jīng)非常慢了，導(dǎo)致必須人為介入處理。但為什么慢？

7月初，很多業(yè)務(wù)都處于半年結(jié)算期，業(yè)務(wù)壓力暴增，從另外一些報(bào)道，系統(tǒng)在徹底中斷之前，有一些業(yè)務(wù)已經(jīng)中斷了。網(wǎng)上還有一些數(shù)據(jù)庫(kù)專家的猜測(cè)，這個(gè)多年沒有維保的Informix 系統(tǒng)踩到了那幾個(gè)老版本Informix 上已知的“地雷”，中招的現(xiàn)象就是系統(tǒng)很慢，類似假死。但可怕的是數(shù)據(jù)庫(kù)一旦重啟，將系統(tǒng)崩潰。可能也正是由于此，才會(huì)人為介入，此時(shí)該系統(tǒng)已經(jīng)是茍延殘喘，動(dòng)底層驅(qū)動(dòng)，很有可能是壓垮駱駝的最后一根稻草。但是這點(diǎn)必須根據(jù)現(xiàn)場(chǎng)經(jīng)驗(yàn)和系統(tǒng)log日志才能夠具體判斷，如果中斷錄像之后沒多久立即宕機(jī)，那么這個(gè)動(dòng)作可以被判斷為是最終那根稻草，如果沒有立即宕機(jī)，那么這個(gè)動(dòng)作或許本來對(duì)系統(tǒng)是沒產(chǎn)生決定性影響的。另外，宕機(jī)類型也得搞清楚，是立即重啟了，還是僵死態(tài)比如尚能ping通，這兩個(gè)是很不一樣的，如果是立即重啟，則該動(dòng)作導(dǎo)致的可能性就非常大了，如果是僵死，也不足以判斷是否該動(dòng)作產(chǎn)生決定性影響。

所以綜上來看，該系統(tǒng)過于老舊，而新業(yè)務(wù)猛增的IO壓力，是根因，中斷錄像可能是導(dǎo)火索，也可能根本沒起決定性作用。這次事件至少給人一個(gè)教訓(xùn)，洪水是很快的，等到噴涌直下的時(shí)候再去筑堤壩是來不及的。技術(shù)上可以有些改善，當(dāng)然，也要付出更多成本，比如可以利用交換機(jī)上的端口鏡像功能或者封裝之后的接口比如SANtap Service，這樣就可以與主機(jī)徹底撇清關(guān)系了。

最后，利用此事件打擊對(duì)手其實(shí)并不是明智之舉，大家都是做容災(zāi)的，難道用了其他家的就不會(huì)出這種問題？如果能拿出針對(duì)IO方面的更好設(shè)計(jì)和技術(shù)，倒是值得討論，如果只是煽風(fēng)點(diǎn)火，其實(shí)最后都是砸自己的腳。

---

作者: muslin529    時(shí)間: 2014-08-08 20:36
冬瓜兄威武

---

作者: 鍋鐵做    時(shí)間: 2014-08-08 21:39
回復(fù) 1# 冬瓜頭

大家好，

我的觀點(diǎn)是這樣的：
首先要弄清飛康用的是哪個(gè)產(chǎn)品，這個(gè)很重要，如果NSS，而CDP僅僅作為輔助，這個(gè)故障出現(xiàn)的幾率很��；
（但如果甲方說了:既然問題出了，必須站出來個(gè)背鍋的，否則第二年預(yù)算下來你就可以滾了，我想作為廠商則沒什么脾氣，對(duì)嗎？所以這里面事情也許能寫出一本書出來）

而此時(shí)，我僅僅想在技術(shù)發(fā)表下看法：

其次，如果飛康用的是IPstor+CDP就難說了，因?yàn)樵趹?yīng)用主機(jī)安裝一個(gè)Agent拆分IO給CDP有很大的隱患，隨之主機(jī)業(yè)務(wù)并非越高，Agent越是要向主機(jī)請(qǐng)求更多的性能來拆分IO至CDP設(shè)備，所以，這是一個(gè)潛在的放大效應(yīng)，當(dāng)某些組件出現(xiàn)瓶頸（如：CDP存儲(chǔ)響應(yīng)，應(yīng)用主機(jī)CPU負(fù)載,鏈路等等），那會(huì)導(dǎo)致很多問題出來，即使停機(jī)也在所難免。

最后我想說，這句話我個(gè)人非常認(rèn)同
“最后，利用此事件打擊對(duì)手其實(shí)并不是明智之舉，大家都是做容災(zāi)的，難道用了其他家的就不會(huì)出這種問題？如果能拿出針對(duì)IO方面的更好設(shè)計(jì)和技術(shù)，倒是值得討論，如果只是煽風(fēng)點(diǎn)火，其實(shí)最后都是砸自己的腳。”    

很早之前，很多網(wǎng)友就因?yàn)镃DP引發(fā)了無數(shù)的口水戰(zhàn)與不理解，我想說的是，CDP的技術(shù)原理也許大同小異，但是每個(gè)廠商CDP所運(yùn)用的場(chǎng)景是不同的，因?yàn)槟炒问鹿识鴺寯浪�有的CDP廠商，產(chǎn)品，方案，這并不是一個(gè)技術(shù)人員的職業(yè)操守，請(qǐng)往下看我的詮釋：

對(duì)CDP有諸多分歧，我想很多時(shí)候是因?yàn)椴煌�技術(shù)領(lǐng)域的代溝，很多人還停留在利用CDP做容災(zāi)的階段，沒錯(cuò)，還有很多廠商致力于CDP容災(zāi)，尤其是國(guó)內(nèi)廠商。
但是：類似EMC Recoverpoint，上海愛數(shù)的CDP等等，并不是寄托于CDP容災(zāi)的，我自己認(rèn)為。
他們?nèi)轂?zāi)的手段是存儲(chǔ)陣列之間的實(shí)時(shí)鏡像-Synchronous Mirroring；也就說，在同城的兩個(gè)中心，各放置若干套EMC VPLEX引擎，或者愛數(shù)的什么虛擬化網(wǎng)關(guān)，讓兩個(gè)數(shù)據(jù)中心存儲(chǔ)陣列之間永遠(yuǎn)保持兩份相同的數(shù)據(jù)副本，待其中一個(gè)數(shù)據(jù)中心陣列或者整個(gè)數(shù)據(jù)中心毀掉，那第二個(gè)數(shù)據(jù)中心會(huì)即時(shí)接管業(yè)務(wù)。這已然成為了一套最高級(jí)別的高可用解決方案。
那回到之前，那EMC和上海愛數(shù)還要擴(kuò)展CDP方案做什么？替用戶多消化下預(yù)算？
坦白的說Synchronous Mirroring，也有一個(gè)很小的弊端，那就是為了履行即時(shí)接管的職責(zé)，兩個(gè)數(shù)據(jù)中心的數(shù)據(jù)副本永遠(yuǎn)會(huì)保持一致，包括運(yùn)維人員不小心刪掉了一些數(shù)據(jù)在HOST上面，包括病毒蠕蟲**，網(wǎng)絡(luò)入侵或者軟件bug，這時(shí)候CDP就能夠非常精細(xì)的回滾數(shù)據(jù)之上一個(gè)時(shí)間點(diǎn)，上一天，上一個(gè)小時(shí)，甚至“秒”，CDP能夠提供一個(gè)較短的RTO，并且縮小RPO，尤其是TRUE CDP技術(shù)。

在上面例子能夠看出，不是每個(gè)廠商都是依靠CDP做容災(zāi)的，也許僅僅是輔助，對(duì)于邏輯錯(cuò)誤的輔助；因?yàn)閷?duì)于單個(gè)NODE或單個(gè)數(shù)據(jù)中心已然有Sync Mirroring，如果還不放心區(qū)域故障，還可以擴(kuò)展為遠(yuǎn)程容災(zāi)至另一個(gè)城市/國(guó)家，利用EMC Geo或者上海愛數(shù)的遠(yuǎn)程復(fù)制（這就是兩地三中心），而CDP僅僅是對(duì)用戶的一種高度負(fù)責(zé)及節(jié)省備份產(chǎn)品的投入。

如果，因?yàn)橐粋�(gè)技術(shù)人員自身學(xué)藝不精，就草草的對(duì)某些事情下定論，到頭來可悲的卻是自己。

再次重申，以上是我個(gè)人的看法，根據(jù)我的經(jīng)驗(yàn)，閱歷，不為任何廠商漂白或粉飾什么，我只為我自己代言。


基于人道主義，我倒是期盼這件事情不會(huì)對(duì)飛康帶來多大影響，因?yàn)檫@幾個(gè)Q飛康的業(yè)績(jī)已經(jīng)令人堪憂了。

---

作者: hxsaj    時(shí)間: 2014-08-08 21:48
都是存儲(chǔ)大拿，牛逼。

---

作者: mike1979    時(shí)間: 2014-08-08 21:49
AIX里swap滿了也會(huì)殺進(jìn)程，errpt里有時(shí)會(huì)有記錄。但這些其實(shí)都沒啥用，你殺死一些進(jìn)程釋放的資源根本無濟(jì)于事。

飛康CDP功能強(qiáng)大，但是缺陷也很明顯。LVM鏡像要求兩個(gè)分支存儲(chǔ)的性能相當(dāng)。而飛康CDP上還要周期性做快照，那么飛康CDP的存儲(chǔ)性能應(yīng)該比另一個(gè)分支存儲(chǔ)更強(qiáng)些才是�？蓪�(shí)際中大都是1臺(tái)高端存儲(chǔ)+1臺(tái)飛康CDP，完全顛倒了。

回過去說為什么系統(tǒng)慢？有可能是informix bug，但也可能是飛康CDP拖累了。寧夏銀行用的是DMX800+飛康CDP，這就是我說的性能顛倒。LVM鏡像是同步寫，寫性能取決于性能差的分支存儲(chǔ)。

飛康CDP號(hào)稱能做備份和容災(zāi)，同時(shí)生產(chǎn)系統(tǒng)中它也要插一腳�？蓡栴}是備份和容災(zāi)是IT系統(tǒng)的最后防線，要是都用飛康CDP，就是把雞蛋放在同一個(gè)籃子里了。最壞情況下就是都不能用。

比較奇怪的是，就算把飛康CDP關(guān)掉，那么在DMX800上還有一份完整數(shù)據(jù)，這份數(shù)據(jù)應(yīng)該是可用的。哪怕系統(tǒng)宕掉重起，也應(yīng)該能把數(shù)據(jù)庫(kù)拉起來。出現(xiàn)公告中說的“數(shù)據(jù)庫(kù)損壞”很奇怪。

---

作者: 冬瓜頭    時(shí)間: 2014-08-08 22:03
3樓黑的太明顯了。

---

作者: 鍋鐵做    時(shí)間: 2014-08-08 22:31


回復(fù) 6# 冬瓜頭

首先，黑與不黑取決您的心態(tài)，心態(tài)不正做什么都是變質(zhì)的對(duì)嗎？可我只能保證自己的心態(tài)在寫這些時(shí)候是正常的。

其次，看東西不能只看喜歡的部分，正如我所擔(dān)心的，我在倒數(shù)第二句寫了：
"再次重申，以上是我個(gè)人的看法，根據(jù)我的經(jīng)驗(yàn)，閱歷，不為任何廠商漂白或粉飾什么，我只為我自己代言"
--------而--之所以追加這個(gè)沒有意義的回復(fù)，完全是因?yàn)橹�前拜讀過某個(gè)網(wǎng)友送的一本書，正是閣下的 -存儲(chǔ)2.

最后，不是每個(gè)廠商的CDP技術(shù)都是鏡像數(shù)據(jù)至另一個(gè)存儲(chǔ)的，也許僅僅是捕捉變化的IO，到頭來僅僅需要個(gè)日志空間，最終需要依賴源數(shù)據(jù)才能恢復(fù)，所以，即使寫書里了，這段話并非通用在所有廠商：

“首先生產(chǎn)數(shù)據(jù)先被鏡像一份到一個(gè)獨(dú)立的存儲(chǔ)系統(tǒng)里，當(dāng)達(dá)到同步收斂之后，生產(chǎn)卷和鏡像卷的IO實(shí)時(shí)同步”

勿回，
晚安！

   

---

作者: mike1979    時(shí)間: 2014-08-08 22:37

鍋鐵做 發(fā)表于 2014-08-08 22:31
最后，不是每個(gè)廠商的CDP技術(shù)都是鏡像數(shù)據(jù)至另一個(gè)存儲(chǔ)的，也許僅僅是捕捉變化的IO，到頭來僅僅需要個(gè)日志空間，最終需要依賴源數(shù)據(jù)才能恢復(fù)，所以，即使寫書里了，這段話并非通用在所有廠商：

“首先生產(chǎn)數(shù)據(jù)先被鏡像一份到一個(gè)獨(dú)立的存儲(chǔ)系統(tǒng)里，當(dāng)達(dá)到同步收斂之后，生產(chǎn)卷和鏡像卷的IO實(shí)時(shí)同步”

你跟他說的根本不是一回事。你自己也說依賴源數(shù)據(jù)才能恢復(fù)，你這個(gè)源數(shù)據(jù)只能在CDP上吧？他說的就是CDP上的源數(shù)據(jù)是怎么來的。之于你說的日志空間，那是同步后在CDP上做快照。

---

作者: 冬瓜頭    時(shí)間: 2014-08-08 23:33
越來越有意思了，我還是少說話，以免又被版主給封號(hào)一年。

---

作者: pingfan2    時(shí)間: 2014-08-08 23:54

mike1979 發(fā)表于 2014-08-08 22:37
你跟他說的根本不是一回事。你自己也說依賴源數(shù)據(jù)才能恢復(fù)，你這個(gè)源數(shù)據(jù)只能在CDP上吧？他說的就是CDP上 ...

同意！

---

作者: InfoCore-Great    時(shí)間: 2014-08-09 11:18

冬瓜頭 發(fā)表于 2014-08-08 23:33
越來越有意思了，我還是少說話，以免又被版主給封號(hào)一年。

說說吧，說說吧，不會(huì)封你啊，順便讓我學(xué)習(xí)下，那個(gè)寧夏發(fā)生這個(gè)時(shí)候是什么時(shí)間��？業(yè)務(wù)停了嗎？我都沒怎么聽說。。

還有，7樓-鍋貼做，在最后一句說，“不是每個(gè)廠商的CDP都是鏡像到至另一個(gè)存儲(chǔ)”，也就說每個(gè)廠商有自己的方式對(duì)嗎？

換句話說，大話2我也看了，這句話我當(dāng)時(shí)也有疑問：
“就得先搞清楚這些CDP方案是怎么執(zhí)行數(shù)據(jù)錄像，詳細(xì)機(jī)制在《大話存儲(chǔ)2》16章有詳細(xì)描述，這里只是簡(jiǎn)單總結(jié)一下。首先生產(chǎn)數(shù)據(jù)先被鏡像一份到一個(gè)獨(dú)立的存儲(chǔ)系統(tǒng)里，當(dāng)達(dá)到同步收斂之后，生產(chǎn)卷和鏡像卷的IO實(shí)時(shí)同步�；�于這份鏡像卷，CDP系統(tǒng)在其上實(shí)現(xiàn)數(shù)據(jù)持續(xù)捕獲劑元數(shù)據(jù)記錄，最后采用基準(zhǔn)鏡像+增量的方式實(shí)現(xiàn)任意時(shí)間點(diǎn)回滾�！�

請(qǐng)問瓜兄，上述這種方式指的是所有廠商True CDP都是這么做的嗎？還說是就是飛康才這么做的？

唉，我都沒有機(jī)會(huì)測(cè)試飛康的產(chǎn)品。

---

作者: InfoCore-Great    時(shí)間: 2014-08-09 11:34


回復(fù) 3# 鍋鐵做

老大，好久不見

你之前測(cè)試過飛康的產(chǎn)品嗎？我周圍朋友沒有人賣過飛康的產(chǎn)品，我沒有機(jī)會(huì)跟著做過POC，8樓-mike1979，說飛康在鏡像CDP卷上做快照，而且還配了圖，你怎么看?

我覺得飛康在CDP領(lǐng)域這么 老字號(hào)，不會(huì)這么做吧。。。。。

還是8樓根本就是亂蓋，自己還沒弄清什么是True CDP,什么是Near CDP.


幸虧今天來看看哦，沒想到還挺活躍。。哇哈哈哈哈哈

差點(diǎn)忘了，這是那個(gè)圖：

---

作者: mike1979    時(shí)間: 2014-08-09 12:38
回復(fù) 12# InfoCore-Great
這是飛康CDP訓(xùn)練營(yíng)，http://www.watchstor.com/cdp/，可以看看基礎(chǔ)教程高級(jí)部分的第一節(jié)“針對(duì)UNIX平臺(tái)的飛康訓(xùn)練營(yíng)的基礎(chǔ)原理”。
在主機(jī)層面就是飛康CDP+主存儲(chǔ)做LVM鏡像。然后在飛康CDP上把存儲(chǔ)層的技術(shù)，快照和復(fù)制阿之類的，包裝成產(chǎn)品。原理和架構(gòu)沒什么改進(jìn)，至于Truc CDP阿，Near CDP阿之類的名稱都是噱頭，售前忽悠客戶而已。
這個(gè)東西，正常的時(shí)候是很美好，但是異常的時(shí)候哭都來不及。IT架構(gòu)的核心應(yīng)該盡量精簡(jiǎn)，東西越多越容易出錯(cuò)。

   

---

作者: 冬瓜頭    時(shí)間: 2014-08-09 22:07
讓你在生產(chǎn)卷上做快照做錄像，試問誰有這膽量去在生產(chǎn)卷上折騰？如果某第三方廠商（我是指生產(chǎn)存儲(chǔ)不是他家的）直接在生產(chǎn)卷上折騰，我倒是喜聞樂見一下誰是這么實(shí)現(xiàn)的，得好好想他們討教討教他們是哪來的這個(gè)膽的。怎么樣版主，我這么說沒有得罪你們小圈子里某些人吧？ 至于true和near，不懂算法就是忽悠，說這塊，得從算法講起。3個(gè)月后大話存儲(chǔ)書會(huì)有個(gè)修訂版出來，里面更新了TRUE cdp算法，之前版本是near cdp。哎呦，不小心又說出那個(gè)書名了，估計(jì)某些人又熱血沸騰想要噴一噴了，您輕便，我不說話。

---

作者: InfoCore-Great    時(shí)間: 2014-08-10 00:10


回復(fù) 14# 冬瓜頭

瓜兄，別上火，我確實(shí)很想知道，以至于我每次都盡可能詳細(xì)的說明我要請(qǐng)教的問題，那在重申下：

大話2里面的那個(gè)CDP運(yùn)作機(jī)制，所有廠商True CDP都是這么做的嗎？還說是只有飛康家才這么做的？
YES or NO嗎？

我指的是這個(gè)運(yùn)作機(jī)制：
“首先生產(chǎn)數(shù)據(jù)先被鏡像一份到一個(gè)獨(dú)立的存儲(chǔ)系統(tǒng)里，當(dāng)達(dá)到同步收斂之后，生產(chǎn)卷和鏡像卷的IO實(shí)時(shí)同步�；�于這份鏡像卷，CDP系統(tǒng)在其上實(shí)現(xiàn)數(shù)據(jù)持續(xù)捕獲劑元數(shù)據(jù)記錄，最后采用基準(zhǔn)鏡像+增量的方式實(shí)現(xiàn)任意時(shí)間點(diǎn)回滾。”

希望這次能得到一個(gè)直接的答案，謝謝奧。


另一個(gè)簡(jiǎn)單問題，我查到了：停機(jī)了好像37個(gè)小時(shí)，銀行。   

---

作者: InfoCore-Great    時(shí)間: 2014-08-10 01:19


回復(fù) 13# mike1979

唉，如果讓你直接面對(duì)一個(gè)問題：飛康的CDP類型是TRUE 還是 NEAR肯定是非常難為你。所以之前都沒用問你，就想問問鍋兄看看，因?yàn)槲倚睦锎蟾庞写鸢浮?br /> 為什么說難為你呢：你若告訴我是NEAR，凡是真正了解過飛康技術(shù)人就笑了。。。
如果說是TRUE，那張圖錯(cuò)的，非常錯(cuò)的。包括所有的，你把快照和CDP聯(lián)系在一起的發(fā)言，都是錯(cuò)的，比如：在CDP做快照。。。。 。
了解一個(gè)產(chǎn)品的技術(shù)類型對(duì)分析銀行這次故障很有幫助，所以我才非常關(guān)心他的類型，因?yàn)槲覜]有測(cè)試過，公司也沒有出過飛康的單子，總之是不了解。

我對(duì)飛康CDP運(yùn)作機(jī)制確實(shí)不了解，但是我了解過其他幾個(gè)公司的兩種類型CDP：所以你說：
”原理和架構(gòu)沒什么改進(jìn)，至于Truc CDP阿，Near CDP阿之類的名稱都是噱頭，售前忽悠客戶而已“

完全能夠證明你在技術(shù)層面不嚴(yán)謹(jǐn)，非常不嚴(yán)謹(jǐn)。這怎么是”噱頭“呢？大哥。從技術(shù)上講：這能反映出一個(gè)CDP廠商的技術(shù)實(shí)力，這也是TRUE CDP廠商的自豪點(diǎn)。
能夠做持續(xù)數(shù)據(jù)保護(hù)的產(chǎn)品，在市場(chǎng)20家都能找到，然后告訴他們，我要求數(shù)據(jù)回滾的顆粒度能夠到達(dá)”秒級(jí)“或更低，你看還剩下幾個(gè)產(chǎn)品，還能剩下5家嗎？

我在從營(yíng)銷方面告訴你這不是”噱頭“哥們，如果大家和客戶的關(guān)系都差不多，如果我把這句話寫在指標(biāo)里：要求數(shù)據(jù)回滾的顆粒度能夠到達(dá)”秒級(jí)“或更低，順便打上”星號(hào)“。而你用自己畫在圖上的那個(gè)產(chǎn)品來投標(biāo)，你一點(diǎn)戲都沒有。你單子都丟了，你還覺得是個(gè)噱頭嗎？失敗的結(jié)果在于你對(duì)技術(shù)的不敬畏。

唉，在說句偏激的話，如果你看的暈暈乎乎，證明，TRUE CDP和NEAR CDP在實(shí)際數(shù)據(jù)恢復(fù)中所呈現(xiàn)的哪兩種效果，你都不清晰！因?yàn)槊烤湓捨叶际潜M可能寫通俗，簡(jiǎn)單。
哥們你是搞學(xué)術(shù)，或者是IT媒體的吧？應(yīng)該不是設(shè)計(jì)項(xiàng)目，實(shí)施安裝什么的吧？我也是亂猜的，我在公司什么都做，是代理nec expresscluster的。。嘿嘿！   

---

作者: maxh666_cn    時(shí)間: 2014-08-10 09:18


出問題是必然，大家都是做IT的，還不了解自己嘛，很多項(xiàng)目都是湊合出來的，沒有驗(yàn)證，沒有嚴(yán)密的測(cè)試，只是走過場(chǎng)，甚至有些連過場(chǎng)都沒有。 現(xiàn)在的項(xiàng)目是只出錢不行，不出錢也不行。
去年工--行不是也有6.23事件嘛。當(dāng)然，有人可能說誰也無法預(yù)測(cè)這些未知的東東，所以想嘗鮮就有當(dāng)小白鼠的風(fēng)險(xiǎn)。

從我個(gè)人感覺來看，一是產(chǎn)品爛，至少是不易操作，軟件各部分聯(lián)動(dòng)協(xié)調(diào)機(jī)制差（當(dāng)然爛并不是說不能用）；二是對(duì)技術(shù)細(xì)節(jié)可能也不太了解，臨機(jī)專斷欠缺，缺乏對(duì)故障后果的正確預(yù)判，三是上項(xiàng)目的時(shí)候不夠慎--重，沒有考慮好容災(zāi)的定期測(cè)試、熟練操作、原理和對(duì)容災(zāi)技術(shù)團(tuán)隊(duì)的培養(yǎng)。

搞技術(shù)的都知道，即使一個(gè)極微小的細(xì)節(jié)沒有考慮到，即使是丟幾個(gè)字母，都會(huì)導(dǎo)致后期某些情況下的維護(hù)或恢復(fù)難度呈幾何級(jí)數(shù)爆炸放大。

---

作者: 冬瓜頭    時(shí)間: 2014-08-10 10:24

InfoCore-Great 發(fā)表于 2014-08-10 00:10
回復(fù) 14# 冬瓜頭

瓜兄，別上火，我確實(shí)很想知道，以至于我每次都盡可能詳細(xì)的說明我要請(qǐng)教的問題，那在 ...

大話2里的是變相的高頻快照，不算true cdp。3個(gè)月后出版的修訂版里會(huì)加入true cdp算法，具體就不在這里多說了，以免觸犯版主的脆弱神經(jīng)。

---

作者: mike1979    時(shí)間: 2014-08-10 10:25

InfoCore-Great 發(fā)表于 2014-08-10 01:19
回復(fù) 13# mike1979

唉，如果讓你直接面對(duì)一個(gè)問題：飛康的CDP類型是TRUE 還是 NEAR肯定是非常難為你。所 ...

呵呵，還在糾纏true cdp和near cdp？既然如此注重細(xì)節(jié)，那你知道那張圖中的錄像卷是什么作用嗎？
你光盯著CDP本身看，當(dāng)然覺得true cdp很了不起，和near cdp有很大區(qū)別。但是在更大范圍內(nèi)看，不論哪種，在AIX環(huán)境中都要在系統(tǒng)層面做LVM鏡像，然后在CDP上各種搗騰。這個(gè)基本架構(gòu)一直沒變過。存放核心業(yè)務(wù)的存儲(chǔ)上經(jīng)常有這種搗騰，那系統(tǒng)管理員的心臟要很強(qiáng)壯才行。
AIX鏡像要求各個(gè)分支存儲(chǔ)的寫性能相當(dāng)。你在CDP上倒騰，如果是near cdp，那就是依靠頻繁的快照。如果是所謂true cdp，那通常就是快照+IO日志。true cdp還要求異地容災(zāi)。CDP性能本來就一般，還有這些額外開銷，結(jié)果在這個(gè)case中搭配的存儲(chǔ)是DMX800，這個(gè)明顯一腳高一腳低。
生產(chǎn)環(huán)境CDP插了一腳，備份系統(tǒng)還要求到秒級(jí)，也用CDP，容災(zāi)還要用CDP。就沒想過一旦CDP出問題了，會(huì)有什么后果？把雞蛋放在一個(gè)籃子里很方便，那么籃子就很要緊。所以籃子最重要的不是漂亮，而是結(jié)實(shí)。

---

作者: 冬瓜頭    時(shí)間: 2014-08-10 10:30
具體要看產(chǎn)品，如果是cdp網(wǎng)關(guān)后掛另一臺(tái)相當(dāng)?shù)拇鎯?chǔ)，還是可以的。具體配置就得看了。

---

作者: mike1979    時(shí)間: 2014-08-10 10:38
回復(fù) 20# 冬瓜頭
在寧夏銀行這個(gè)case中，災(zāi)備CDP網(wǎng)關(guān)后面掛了DMX800。CDP能直接操作后端存儲(chǔ)做快照？還是說只支持特定的存儲(chǔ)？比如那些開放了命令行操作界面的存儲(chǔ)。
另外一個(gè)沒想明白的是既然災(zāi)備也用了DMX800，為什么不和生產(chǎn)DMX800做SRDF？距離遠(yuǎn)的話用異步也行啊。非得都?jí)涸谝粋�(gè)產(chǎn)品上。


   

---

作者: bbjmmj    時(shí)間: 2014-08-10 10:54

InfoCore-Great 發(fā)表于 2014-08-09 11:34
回復(fù) 3# 鍋鐵做

老大，好久不見  

打個(gè)岔，圖看著有點(diǎn)亂，鏡像和快照在一個(gè)盤陣上？好像有點(diǎn)不太科學(xué)。感覺鏡像和快照至少應(yīng)該在兩個(gè)RAID組上，災(zāi)備中心也應(yīng)該這樣做，不然的話會(huì)很影響速度。
飛康應(yīng)該公開一下實(shí)施細(xì)節(jié)，我覺得它產(chǎn)品沒什么問題，但是實(shí)施可就不敢保證沒問題了，公開一下，大家?guī)兔�參謀參謀不是壞事。

---

作者: 冬瓜頭    時(shí)間: 2014-08-10 11:25
對(duì)cdp網(wǎng)關(guān)原理不了解的，百度谷歌補(bǔ)課。這里就不多說了。別說我裝b哈，說多了得罪人，所以少說為妙。

---

作者: tangye    時(shí)間: 2014-08-10 12:23
看看熱鬧！

---

作者: InfoCore-Great    時(shí)間: 2014-08-10 14:14


回復(fù) 18# 冬瓜頭

多謝，我終于看到了我想要的答案。
   

---

作者: InfoCore-Great    時(shí)間: 2014-08-10 14:21
回復(fù) 22# bbjmmj

這個(gè)只有學(xué)習(xí)下飛康的產(chǎn)品安裝資料和受過廠商的實(shí)施培訓(xùn)才能搞清楚，我覺得。
有些東西是人家的專利，其實(shí)公開與否看廠商的心情，這個(gè)也沒辦法。

---

作者: bbjmmj    時(shí)間: 2014-08-10 14:28

InfoCore-Great 發(fā)表于 2014-08-10 14:21
回復(fù) 22# bbjmmj

這個(gè)只有學(xué)習(xí)下飛康的產(chǎn)品安裝資料和受過廠商的實(shí)施培訓(xùn)才能搞清楚，我覺得。

公開了大家可以只買軟件不買服務(wù)，小用戶可以因此受益，市場(chǎng)可以做得更大，飛康并不吃虧，另外我覺得它的技術(shù)有點(diǎn)過時(shí)了，公開了才能更好改進(jìn)，適應(yīng)現(xiàn)在的應(yīng)用環(huán)境。

---

作者: 鍋鐵做    時(shí)間: 2014-08-10 14:38
回復(fù) 14# 冬瓜頭

Hi,
這是我個(gè)人觀點(diǎn)：

    大話存儲(chǔ)1，和大話存儲(chǔ)2不像其他工具書，只是某些出版社為了商業(yè)利益堆字?jǐn)?shù)，那些寫書的往往連數(shù)據(jù)中心都沒有進(jìn)去過，只是一味的過時(shí)理論，而大話1和大話2能夠比較務(wù)實(shí)的告訴入門者存儲(chǔ)的形態(tài)以及高級(jí)功能的原理，這對(duì)很多人非常重要。
有些人比較幸運(yùn)，能夠進(jìn)入比較大的集成商，比如神碼，可以接觸中，高端存儲(chǔ),如emc symmetrix vmax,IBM XIV等等，類似的，他們有幸得到這些廠商的培訓(xùn)，而更多的人工作很多年連見都沒見過，但是他們卻有更高的求知欲，大話存儲(chǔ)能夠圖文并茂的引導(dǎo)這些從業(yè)者，告訴他們形態(tài)，運(yùn)作機(jī)制和底層的一些控制器的結(jié)構(gòu)，等等。
有太多的內(nèi)容可以說明大話存儲(chǔ)對(duì)于很多人是一盞明燈，尤其是針對(duì)那些業(yè)余更喜歡看網(wǎng)絡(luò)小說的存儲(chǔ)愛好者 。

因此，讓我們單純的看待每一個(gè)回復(fù)。

---

作者: 鍋鐵做    時(shí)間: 2014-08-10 14:48


回復(fù) 22# bbjmmj

Hello,

不用感覺。。
你說的很對(duì)，CDP本身對(duì)存儲(chǔ)IO開銷確實(shí)非常大的，他要求存儲(chǔ)更快速的響應(yīng)速度，并且對(duì)執(zhí)行這一操作的設(shè)備，需要更快速度CUP的損耗。

你之所以感覺那張圖有點(diǎn)亂，是那張圖的結(jié)構(gòu)問題，跟你的知識(shí)沒有關(guān)系。

有個(gè)經(jīng)驗(yàn)我想分享給您：如果飛康的CDP機(jī)制是基于時(shí)間點(diǎn)的快照，或者叫做周期性質(zhì)的快照，對(duì)于上述的性能損耗沒有這么大，因?yàn)檫@Near CDP.因?yàn)檫@是周期性的。
但是，飛康卻不屬于這一類型，他需要持續(xù)的捕捉每一個(gè)IO寫入點(diǎn)，所以才有更大性能開銷，不過這也證明了飛康在CDP領(lǐng)域是前輩級(jí)的地位。


   

---

作者: bbjmmj    時(shí)間: 2014-08-10 14:54
回復(fù) 29# 鍋鐵做


    “持續(xù)的捕捉每一個(gè)IO寫入點(diǎn)”，也就是說，每次寫入至少要先讀一次（拷貝），然后再寫入，最后還要寫日志，最少需要一次讀和兩次寫，性能已經(jīng)打了三折了，機(jī)械盤性能打折會(huì)更多，因?yàn)檫�得加上尋道時(shí)間，看來想不影響業(yè)務(wù)只能用固態(tài)盤了。

---

作者: 鍋鐵做    時(shí)間: 2014-08-10 15:06

InfoCore-Great 發(fā)表于 2014-08-09 11:34
回復(fù) 3# 鍋鐵做

老大，好久不見  

Hello,

最近幾個(gè)季度有點(diǎn)忙，所以很少跑上來。

嗯，至于答案，你只需要跟著自己感覺走就對(duì)了:wink: ，別的我也不想討論了。之前，我好像跟你講過一次，SNIA僅僅標(biāo)準(zhǔn)了兩個(gè)類型的概念，至于各個(gè)廠商的True CDP如何寫代碼，如何運(yùn)作，那取決于各個(gè)廠商。在商業(yè)上，那是每個(gè)廠商的專利，總之你的執(zhí)行結(jié)果不要違背這個(gè)兩個(gè)概念就好了，所以之前我才提出了自己觀點(diǎn)：某個(gè)機(jī)制不可能適用于每一個(gè)產(chǎn)品，不排除某些廠商不愿公開，只是告訴客戶，我滿足你的苛刻標(biāo)準(zhǔn)。

我之前確實(shí)測(cè)試過這個(gè)產(chǎn)品，因?yàn)榍岸螘r(shí)間我得到了這枚軟件，我知道你很感興趣稍后我會(huì)掛網(wǎng)盤給你，請(qǐng)你前期需要準(zhǔn)備一個(gè)Linux環(huán)境，然后留意email.
如果有相關(guān)的疑問，包括感激我之類的話 ，僅僅在MSN回復(fù)就好了。

---

作者: 鍋鐵做    時(shí)間: 2014-08-10 15:34
回復(fù) 30# bbjmmj

I am not sure,

我僅僅是通過測(cè)試看到了結(jié)果，針對(duì)于運(yùn)作機(jī)制，這個(gè)是無法目測(cè)的，但是有朋友告訴我，與您說的原理應(yīng)該是一致的，這個(gè)原理被定義為:copy -on -write;

我更熟知另一個(gè)機(jī)制，您可參考下：捕捉每一次的IO寫入，不一定要拷貝它們，僅僅是在旁邊用時(shí)間戳去記錄，也就說CDP日志卷里面存放的不是拷貝來的數(shù)據(jù)IO，而是連續(xù)的指針，指向源卷，當(dāng)有個(gè)管理員跑過來say sorry,他刪掉了一筆不該刪除的數(shù)據(jù)，那可以根據(jù)時(shí)間點(diǎn)指針創(chuàng)建一個(gè)虛擬副本，讓應(yīng)用主機(jī)去驗(yàn)證，這段時(shí)間點(diǎn)的數(shù)據(jù)是否是您要的？如果是，這畢竟是一個(gè)虛擬副本，您就要做最后一個(gè)操作，把這段時(shí)間點(diǎn)的數(shù)據(jù)從源卷克隆出來，原來的故障卷保留，或者，把這個(gè)時(shí)間點(diǎn)以外的數(shù)據(jù)從源卷刪除，也就說源卷的實(shí)體數(shù)據(jù)——被回滾到了前面的一個(gè)時(shí)間點(diǎn)。

您覺得有趣嗎？

但無論如何，也無法避免之前我們討論的，對(duì)各個(gè)組件的性能開銷。

---

作者: bbjmmj    時(shí)間: 2014-08-10 15:39

鍋鐵做 發(fā)表于 2014-08-10 15:34
回復(fù) 30# bbjmmj

I am not sure,

即使只是記錄，也會(huì)增加寫入次數(shù)，性能還是會(huì)下降，而且算法會(huì)比較復(fù)雜，恢復(fù)的時(shí)候也會(huì)很麻煩，再碰上個(gè)比較2的管理員，把快照也放同一個(gè)物理卷上去，會(huì)很慘的~~~

---

作者: qingduo04    時(shí)間: 2014-08-11 15:16
寧夏銀行宕機(jī)事件 真是一個(gè)大案例啊!!!

---

作者: 冬瓜頭    時(shí)間: 2014-08-11 17:02
寫緩存、寫日志，都比隨機(jī)寫磁盤要快得多。至于元數(shù)據(jù)生成，可以很負(fù)責(zé)任很明確的告訴你，單純?nèi)罩纠锏脑獢?shù)據(jù)不是很多，這個(gè)耗費(fèi)不了多少IO性能，cpu嘛，現(xiàn)在intel性能幾乎都是過剩的，在內(nèi)存里生成元數(shù)據(jù)耗費(fèi)不了多少cpu資源。唯一對(duì)性能損失很大是，生成的時(shí)間點(diǎn)快照卷掛起之后，每生成一個(gè)，系統(tǒng)就要預(yù)制作一份獨(dú)立元數(shù)據(jù)，大概1或者xGB級(jí)別。平時(shí)不動(dòng)的話，是不會(huì)有性能損失的，當(dāng)然，你用10塊本地盤充當(dāng)鏡像卷和日志卷，那不死也得死。如果是用了網(wǎng)關(guān)形態(tài)產(chǎn)品，那完全取決于后端掛接的系統(tǒng)與生產(chǎn)系統(tǒng)之間性能差異了。
所以說，不了解底層，說出來的話頗具誤導(dǎo)性和盲目性。以訛傳訛，最終反而會(huì)把真理扼殺掉，所以真理是寶貴的，只掌握在少數(shù)人手中。

---

作者: 冬瓜頭    時(shí)間: 2014-08-11 17:04
至于28樓的話啥意思，沒看懂，不過無所謂，鄙人現(xiàn)在沒那多時(shí)間弄這些云里霧里的，正事一堆。

---

作者: beyondfly    時(shí)間: 2014-08-11 20:40
這個(gè)帖子又沒有獎(jiǎng)品，怎么放到有獎(jiǎng)區(qū)來了

---

作者: 睿智2012    時(shí)間: 2014-08-12 11:28
這是個(gè)很好的話題，緊扣時(shí)事，學(xué)習(xí)了。

---

作者: lgatuk    時(shí)間: 2014-08-13 16:27
回復(fù) 37# beyondfly


    噗~

---

作者: lgatuk    時(shí)間: 2014-08-13 16:28

鍋鐵做 發(fā)表于 2014-08-10 14:38
回復(fù) 14# 冬瓜頭

Hi,

有幸進(jìn)入神碼怎么了，天天換硬盤電池，也沒接觸過啥cdp啊 對(duì)我來說太高級(jí)了 怎么辦

---

作者: beyondfly    時(shí)間: 2014-08-13 19:14
回復(fù) 39# lgatuk


    哥們，你這個(gè)是什么意思？

---

作者: ylky_2000    時(shí)間: 2014-08-14 08:54
看到第一個(gè)圖我震驚了。有可能禁ping的哦。

---

作者: mordorwww    時(shí)間: 2014-08-17 12:06

muslin529 發(fā)表于 2014-08-08 20:36
冬瓜兄威武

存儲(chǔ)專家張冬?

---

作者: zhaopingzi    時(shí)間: 2014-08-19 17:36
沒有絕對(duì)安全的~~~。

---

作者: lanwei86e    時(shí)間: 2014-08-21 16:35
我路過，大家都有才

---

作者: 睿智2012    時(shí)間: 2014-08-25 09:54
學(xué)習(xí)一下，，，，，，，，，

---

歡迎光臨 Chinaunix (http://72891.cn/)

Powered by Discuz! X3.2

感谢您访问我们的网站，您可能还对以下资源感兴趣：

亚洲av成人无遮挡网站在线观看

<var id="tfi2f"></var>

<nobr id="tfi2f"><strong id="tfi2f"></strong></nobr>

<dfn id="tfi2f"><strong id="tfi2f"></strong></dfn>