亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標(biāo)題: 【名人堂訪談】樂天派的架構(gòu)師：大話云存儲（獲獎名單已公布-2014-9-12） [打印本頁]

作者: pipihappy8888 時間: 2014-07-17 11:59
標(biāo)題: 【名人堂訪談】樂天派的架構(gòu)師：大話云存儲（獲獎名單已公布-2014-9-12）

獲獎名單已公布，詳情請看：http://72891.cn/thread-4153933-1-1.html

當(dāng)我們使用網(wǎng)易網(wǎng)盤存儲照片的時候，當(dāng)我們使用蘋果的iCloud同步音樂的時候，當(dāng)我們使用小米的云服務(wù)在線管理和存儲聯(lián)系人、短信、照片、便簽等各種數(shù)據(jù)的時候，云存儲已經(jīng)在不知不覺中完全走進(jìn)了我們的生活里。只是我們在享受這光鮮流暢的服務(wù)背后，是否了解這背后到底需要怎樣的技術(shù)支撐呢？存儲系統(tǒng)，尤其是對象存儲系統(tǒng)，在處理大量圖片和視頻的時候，都不可避免的會面臨著大流量和高并發(fā)帶來的壓力。網(wǎng)易對象云存儲NOS這個新生兒，從無到有歷經(jīng)兩年時間里，在易信、云音樂、云閱讀、公開課、有道云筆記等30多個重量級產(chǎn)品中大展拳腳。到底它有哪些魅力呢？本期名人堂我們邀請到了2014中國系統(tǒng)架構(gòu)師大會嘉賓來東敏老師坐鎮(zhèn)，聊聊云存儲那些事兒。

PS：2014中國系統(tǒng)架構(gòu)師大會即將于9月17-19日在北京盛大開幕，本屆大會以“發(fā)現(xiàn)架構(gòu)之美”為主題，匯聚了國內(nèi)最牛的IT架構(gòu)師，為大家分享IT行業(yè)前瞻與架構(gòu)最佳實(shí)踐。屆時，來東敏老師將為大家分享主題為“NOS(網(wǎng)易對象云存儲)關(guān)鍵技術(shù)解析”的精彩演講，歡迎大家報名，官網(wǎng)地址：http://sacc.it168.com/ 本期活動誠邀云存儲專家坐鎮(zhèn)，與各位網(wǎng)友傾心交談，請大家抓緊時間提問吧，說出自己心中的疑惑！截止8月15日，我們將在ITPUB社區(qū)和ChinaUnix社區(qū)評選5名活躍會員，贈送圖書1本，并贈送大會徽章一枚，歡迎大家積極探討！

皮皮（Q1）：很高興有機(jī)會采訪到您，能否介紹下自己，分享下您的職場經(jīng)歷？作為一名系統(tǒng)架構(gòu)師，您覺得日常工作中會遇到哪些挑戰(zhàn)？

來東敏（A1）：大家好，我的職場經(jīng)歷比較簡單，2010年中科院計算所畢業(yè)后，一直在網(wǎng)易杭州研究院從事研發(fā)工作，重點(diǎn)負(fù)責(zé)分布式文件系統(tǒng)、對象存儲系統(tǒng)、高性能服務(wù)器等技術(shù)領(lǐng)域。這份工作天時地利人和，公司離我家不到10公里，我覺得非常理想。架構(gòu)師行業(yè)高深莫測，正所謂師傅領(lǐng)進(jìn)門修行在個人，或多或少在工作中總會遇到這樣或那樣的挑戰(zhàn)，前車之師后車之鑒，我希望通過自己的總結(jié)給大家傳遞一點(diǎn)正能量：

1.要想設(shè)計出一個優(yōu)秀的架構(gòu)，無論是在技術(shù)的廣度上還是在領(lǐng)域經(jīng)驗的深度上，都需要日積月累，不斷學(xué)習(xí)沉淀；

2.構(gòu)架師一定要**細(xì)節(jié)，站在開發(fā)、測試、運(yùn)維等角度來審視設(shè)計，忽略細(xì)節(jié)的后果很嚴(yán)重，有時候可能會為了一個小小的技術(shù)點(diǎn)對方案做全盤調(diào)整；

3.架構(gòu)設(shè)計要有全局發(fā)展性的眼光，高瞻遠(yuǎn)矚，通過審視過去預(yù)測未來，尋求一種折衷平衡之道，制定最優(yōu)方案；

4.架構(gòu)師需要理性冷靜的分析思維，定性和定量分析要有機(jī)結(jié)合，開源或者自建系統(tǒng)都要掌控到位；

5.架構(gòu)師要負(fù)擔(dān)起一種強(qiáng)烈的責(zé)任感，作為最熟悉系統(tǒng)的那個人，需要耳聽八方，選擇性地吸收外部建議（尤其是領(lǐng)導(dǎo)的建議）；

6.架構(gòu)師還要對自己所處的環(huán)境有個清晰的認(rèn)識，合理利用基礎(chǔ)設(shè)施，不要做超出團(tuán)隊駕馭能力的設(shè)計

目前來講，我的大部分時間都花在了程序設(shè)計代碼這塊，希望能在通往成熟的架構(gòu)師之路上,有機(jī)會與大家一起探討架構(gòu)的藝術(shù)。

皮皮（Q2）：談到存儲，規(guī)模稍大的企業(yè)通常都會用到3種存儲，對象存儲、文件存儲、塊設(shè)備存儲，到底是選擇采用3個軟件來實(shí)現(xiàn)3種存儲，還是用一個軟件來實(shí)現(xiàn)3個功能？

來東敏（A2）：在云計算領(lǐng)域，這三種存儲類型有各自的特點(diǎn)和應(yīng)用場景：文件存儲是大家使用最廣泛的，但存在海量存儲擴(kuò)展性以及存取性能方面的問題；對象存儲弱化了POSIX文件系統(tǒng)接口，通過對象這一基本概念進(jìn)行數(shù)據(jù)存取，特別適合存儲海量非結(jié)構(gòu)化數(shù)據(jù)；塊設(shè)備存儲則主要體現(xiàn)在彈性上，就像是一塊可擴(kuò)展的虛擬硬盤，可以插拔、掛載到任意云主機(jī)上。目前國內(nèi)公有云對象存儲做得比較火熱，而彈性塊設(shè)備存儲發(fā)展相對不是特別快，但是隨著云計算深入，彈性塊設(shè)備存儲的優(yōu)勢會逐漸體現(xiàn)出來。網(wǎng)易云實(shí)現(xiàn)的彈性塊設(shè)備存儲（NBS）具有高可用、高可靠、高性能、簡單易用等特點(diǎn)，已經(jīng)在內(nèi)部廣泛使用，取得了良好的應(yīng)用效果。

在同一套系統(tǒng)中統(tǒng)一實(shí)現(xiàn)三種存儲類型的最大優(yōu)點(diǎn)是存儲資源的整合，但是為了降低系統(tǒng)構(gòu)建的復(fù)雜性，通常會采用分層實(shí)現(xiàn)。其實(shí)Ceph就實(shí)現(xiàn)了統(tǒng)一存儲，其底層是RADOS對象存儲，作為整個集群存儲服務(wù)的基礎(chǔ)。上層實(shí)現(xiàn)RADOSGW、CephFS、RBD提供對象存儲、文件存儲、塊設(shè)備存儲等服務(wù)接口，只不過目前Ceph官方提示CephFS尚未達(dá)到應(yīng)用到生成環(huán)境的要求。

但是像Ceph那樣在同一套系統(tǒng)中實(shí)現(xiàn)三種存儲也存在一定的問題，例如上述三種存儲有各自的特性，這就導(dǎo)致很難抽象出適用于所有存儲的公共底層，造成特性上的優(yōu)化很難進(jìn)行，例如：我們曾經(jīng)調(diào)研過Ceph的RADOSGW如何實(shí)現(xiàn)S3的GetBucket接口，結(jié)果發(fā)現(xiàn)在帶有prefix前綴參數(shù)的情況下，RADOSGW將遍歷桶下的所有對象，這肯定是無法接受的。如果是單一的存儲系統(tǒng)，系統(tǒng)優(yōu)化的目標(biāo)就會很明確，系統(tǒng)設(shè)計上也會有針對特性的專門考量。

皮皮（Q3）：業(yè)界公有對象存儲項目有很多，亞馬遜S3、阿里OSS、騰訊COS、七牛云存儲，相對而言網(wǎng)易的對象云存儲系統(tǒng)有亮點(diǎn)？

來東敏（A3）：亞馬遜S3是業(yè)界公認(rèn)的公有云對象存儲系統(tǒng)的鼻祖，國內(nèi)同類系統(tǒng)都或多或少借鑒了S3的接口，并在此基礎(chǔ)上提供了上傳下載加速、富媒體處理等功能。目前來看，有關(guān)對象存儲系統(tǒng)架構(gòu)和實(shí)現(xiàn)的技術(shù)分享并不多，可能由于大家相對比較封閉吧。真心希望大家有更多的交流，共同促進(jìn)這一領(lǐng)域的蓬勃發(fā)展，七牛云存儲在這方面做得不錯，我們團(tuán)隊從七牛和S3身上獲益良多。

網(wǎng)易云對象存儲系統(tǒng)（NOS）提供了互聯(lián)網(wǎng)上的存儲服務(wù)，致力于提供高度可伸縮、高可靠的廉價數(shù)據(jù)存儲基礎(chǔ)設(shè)施，并給開發(fā)者提供最大程度的便利。對象存儲把用戶數(shù)據(jù)存儲為桶里面的對象。對象由文件、描述文件的元數(shù)據(jù)信息組成。桶是對象的容器，一個用戶可以創(chuàng)建多個桶，桶名稱全局唯一。用戶可以通過簡單的REST接口，在任何時間、任何地點(diǎn)、任何互聯(lián)網(wǎng)設(shè)備上進(jìn)行數(shù)據(jù)的上傳和下載，也可以使用WEB頁面對數(shù)據(jù)進(jìn)行管理。同時，NOS還提供了Java SDK，簡化用戶的編程。用戶可以基于NOS搭建出各種多媒體分享網(wǎng)站、網(wǎng)盤、個人企業(yè)數(shù)據(jù)備份等基于大規(guī)模數(shù)據(jù)的服務(wù)。

NOS從無到有經(jīng)歷了兩年時間，當(dāng)前網(wǎng)易內(nèi)部使用NOS的產(chǎn)品有30個左右，其中包括：易信、云音樂、云閱讀、公開課、有道云筆記等重量級產(chǎn)品。我們的團(tuán)隊成員包括4位開發(fā)，2位測試，1位運(yùn)維，0.5位項目管理。與公有云對象存儲系統(tǒng)的項目團(tuán)隊相比，我們應(yīng)該算是小團(tuán)隊作戰(zhàn)。但是NOS在功能接口方面，與市面上的幾家公有對象存儲系統(tǒng)基本差不多，甚至為了兼容POSIX文件系統(tǒng)接口，我們還提供了“根據(jù)prefix和delimiter列出桶內(nèi)對象”這樣的高級接口。要說亮點(diǎn)的話，這里還可以提兩點(diǎn)：1.在富媒體處理速度方面有較明顯的優(yōu)勢，在主要得益于我們的富媒體系統(tǒng)構(gòu)架和實(shí)現(xiàn)方式；2.桶隔離機(jī)制，運(yùn)維人員可以根據(jù)實(shí)際情況實(shí)現(xiàn)桶粒度隔離，包括：流量隔離、連接數(shù)隔離、QPS隔離等。更多精彩內(nèi)容將在大會上做分享。

皮皮（Q4）：作為本屆大會的演講嘉賓，能否透露下您的演講主題？分享下網(wǎng)易對象存儲系統(tǒng)的架構(gòu)實(shí)踐？

來東敏（A4）：本次大會，我的演講主題將圍繞NOS構(gòu)建過程中碰到的問題展開，并重點(diǎn)分享我們?nèi)绾谓鉀Q這些問題的過程。實(shí)際上，在NOS快速發(fā)展的兩年多時間里，系統(tǒng)構(gòu)架也在不斷演進(jìn)，項目組成員也是隨著NOS一起成長，這是個非常美妙的過程。系統(tǒng)搭建初期，整個NOS只有兩臺應(yīng)用服務(wù)器，加上一個非常小的存儲集群，只能實(shí)現(xiàn)基本的對象存取功能，在系統(tǒng)可用性、可擴(kuò)展性等方面存在一定局限性。后期通過持續(xù)迭代改進(jìn)，我們逐步加入“圖片處理、視頻處理、音頻處理、高速緩存”等功能。在非功能特性上也對架構(gòu)做了大量的調(diào)整和改進(jìn)，確保系統(tǒng)無單點(diǎn)，能夠?qū)崿F(xiàn)平滑升級和水平擴(kuò)容。最終成就了一個穩(wěn)定易用、安全有彈性、成本低廉的對象存儲系統(tǒng)。未來我們將在確保系統(tǒng)穩(wěn)定運(yùn)行的情況下，進(jìn)一步優(yōu)化系統(tǒng)性能，提高系統(tǒng)抗壓能力，并著重提高移動端體驗。

目前，整個網(wǎng)易云對象存儲系統(tǒng)（NOS）主要分為“接入、緩存、邏輯、存儲”四個層次。1.接入層：使用Openresty（類似Tengine），其強(qiáng)大的Nginx Lua模塊實(shí)現(xiàn)了桶粒度實(shí)時流量統(tǒng)計、流量隔離等功能；另外，使用Nginx Lua寫了部分適合在接入層實(shí)現(xiàn)的邏輯；2.緩存層：使用TrafficServer，這是一款專業(yè)的緩存服務(wù)器，我們測試發(fā)現(xiàn)其無論在穩(wěn)定性還是功能和性能上，都比Squid靠譜；我們用它實(shí)現(xiàn)熱點(diǎn)數(shù)據(jù)以及富媒體處理后的臨時數(shù)據(jù)緩存；3.邏輯層：使用Tomcat實(shí)現(xiàn)對象存儲主要的業(yè)務(wù)邏輯，由于Tomcat眾所周知的在高并發(fā)上的短板，我們正在積極探索，計劃使用Netty來替換Tomcat；4.存儲層：是對象存儲系統(tǒng)的基石，NOS構(gòu)建在網(wǎng)易分布式文件系統(tǒng)（DFS）和網(wǎng)易分布式數(shù)據(jù)庫（DDB）之上，DFS做數(shù)據(jù)存儲，而DDB則存儲元數(shù)據(jù)；目前，有一個三人團(tuán)隊正在進(jìn)行DFS2.0的開發(fā)，以實(shí)現(xiàn)更優(yōu)的存儲構(gòu)架；

皮皮（Q5）：古人云，三十而立，四十不惑，五十知天命。您三十成家立業(yè)，家庭幸福美滿，這一路上對人生有哪些感悟？

來東敏（A5）：人生感悟?qū)嵲谡劜簧希沂莻€樂天派，無論順境逆境，都能保持良好心態(tài)，所以大家都喊我微笑哥。我們組的項目管理做得非常好，一般情況下，都會有一個良好的開發(fā)節(jié)奏，這對于我來說非常重要，因為那就意味著，每天下午六點(diǎn)就能準(zhǔn)時回家，十分鐘后，奶奶爸爸媽媽老婆兒子和我，就能圍坐在一起吃晚飯。當(dāng)然啦，晚上免不了要寫寫代碼，看看技術(shù)文章。對于工作，我覺得進(jìn)入狀態(tài)很重要，沒狀態(tài)的時候不妨到處溜達(dá)溜達(dá)，喝杯咖啡。當(dāng)碰到煩心事的時候，也別堵得慌，非常喜歡科比的一句話，與大家共勉：Falling is a part of life, but walking is the way of life.

活動時間：7月17-8月15日

活動獎勵：歡迎大家積極提問或者分享自己的感悟，活動結(jié)束將有專家評選最佳活躍會員5名贈送技術(shù)圖書1本，并且贈送大會徽章1枚！

[attach]925309[/attach]

作者: pitonas 時間: 2014-07-17 12:57
皮皮~ {:2_172:}
東東敏是誰?

作者: dtrees 時間: 2014-07-17 17:31

pitonas 發(fā)表于 2014-07-17 12:57
皮皮~
東東敏是誰?

哈哈，我姓來，這個姓氏比較少見，目前在網(wǎng)易杭州研究院工作

作者: seesea2517 時間: 2014-07-17 17:46
作為我們小小的個人用戶而言，我比較關(guān)心我們的數(shù)據(jù)在云上的安全性，防止隱私泄露方面的事情。比如各種聯(lián)系人信息、照片以及短信或其它的信息記錄，在云上的存儲加密情況如何，云服務(wù)器的穩(wěn)定性，備份分布容災(zāi)情況等是否可以簡要介紹一點(diǎn)。

另外最后一段是大家都向往的生活，希望大家都能有快樂的工作和幸福的生活~

作者: 2009532140 時間: 2014-07-17 19:04
回復(fù) 3# dtrees

【來護(hù)兒】這個人知道...

作者: dtrees 時間: 2014-07-17 21:44

2009532140 發(fā)表于 2014-07-17 19:04
回復(fù) 3# dtrees

很喜歡聽單田芳老師講隋唐演義，隋唐四猛之一，來護(hù)兒。。。話說杭州濱江長河鎮(zhèn)，來是大姓，保守估計占當(dāng)?shù)乜側(cè)丝谝话阋陨习?hr noshade size="2" width="100%" color="#808080"> 作者: dtrees 時間: 2014-07-17 22:21
本帖最后由 dtrees 于 2014-07-18 13:41 編輯

seesea2517 發(fā)表于 2014-07-17 17:46
作為我們小小的個人用戶而言，我比較關(guān)心我們的數(shù)據(jù)在云上的安全性，防止隱私泄露方面的事情。比如各種聯(lián)系 ...

云存儲分兩個緯度，一類面向個人用戶，另一類則面向企業(yè)級用戶。一般地，前者可以搭建在后者之上，例如：夠快云存儲搭建在阿里云OSS對象存儲之上。所以，個人隱私方面，也要從兩個方面分別進(jìn)行保障。用戶層隱私保護(hù)我沒有什么經(jīng)驗。在存儲層，數(shù)據(jù)其實(shí)是打散的，很多時候多個用戶文件其實(shí)是合并存儲的，雖然不一定會對數(shù)據(jù)加密（加密可以在用戶層做），但是要獲取數(shù)據(jù)的門檻還是比較高的，退一步說，即使獲取到了數(shù)據(jù)，也無法還原出其他的用戶相關(guān)數(shù)據(jù)。從這個角度來說，用戶層隱私保護(hù)顯得更重要。另外，對存儲集群做物理或者vlan隔壁是非常有必要的。

穩(wěn)定性也包含兩個方面，1.服務(wù)可用性：動不動就掛的服務(wù)是沒人敢用的，良好的服務(wù)設(shè)計都需要確保服務(wù)高可用，不存在單點(diǎn)，任何節(jié)點(diǎn)宕機(jī)都不應(yīng)該影響服務(wù)的正常運(yùn)行；2.服務(wù)質(zhì)量：動不動下載龜速的服務(wù)也是沒人喜歡用的，質(zhì)量方面除了做好系統(tǒng)本身的優(yōu)化之外，還需要容量規(guī)劃，要有機(jī)制能夠獲取到系統(tǒng)當(dāng)前的容量，以及系統(tǒng)能夠支撐的容量，容量不夠及時擴(kuò)容【容量包括帶寬、計算、存儲等資源】

至于災(zāi)備嘛，呵呵，得看老板的態(tài)度，存儲服務(wù)災(zāi)備的投入比較大，可以考慮降級的災(zāi)備方式，例如：發(fā)生災(zāi)難時，允許數(shù)據(jù)上傳，但是老數(shù)據(jù)暫時讀不到，這種災(zāi)備方式對于類似易信這樣的社交類產(chǎn)品，性價比是非常高的，^_^

作者: seesea2517 時間: 2014-07-18 09:48
本帖最后由 seesea2517 于 2014-07-18 09:50 編輯

回復(fù) 7# dtrees

謝謝來老師的解答：）
從你說的存儲層來看，感覺類似于 mysql 的 innodb 引擎的非獨(dú)立表空間存儲方式。也就是從這一方面來說一大塊的數(shù)據(jù)即使獲取到，如果沒有用戶層的還原辦法的話也還是暫時安全的。

說到服務(wù)質(zhì)量的速度這一點(diǎn)，之前沒有意識到劃歸到網(wǎng)絡(luò)方面的因素。實(shí)際上綜合上來說它就是得算為云服務(wù)的一個部分。
“還需要容量規(guī)劃，要有機(jī)制能夠獲取到系統(tǒng)當(dāng)年的容量”，這句話把“當(dāng)年”換成“當(dāng)前”讀起來比較容易理解一些　

“容量不夠即使擴(kuò)容”，這句話理解為“容量不夠（立）即擴(kuò)容”和“容量不夠及時擴(kuò)容”看起來都可以~

災(zāi)備，看起來確實(shí)也是和服務(wù)以及服務(wù)對象掛鉤了，類似易信一般來說讀取歷史的情況比較少，所以用這種方式看起來真算是性價比高；服務(wù)對象是個人還是企業(yè)，是收費(fèi)還是免費(fèi)，這都會影響到老板的決策啊~

作者: cryboy2001 時間: 2014-07-18 10:44
現(xiàn)在支持linux客戶端的云存儲很少，你們有沒有考慮過開發(fā)linux的客戶端。

作者: wenhq 時間: 2014-07-18 12:04
想問下高手，你們的DFS是自己寫的么？還是利用開源的，方便說下不？另外對大文件的存儲，比如視頻，電影上會有什么樣的優(yōu)化呢？
因為我們現(xiàn)在用HADOOP的dfs存在一些存儲大文件并發(fā)響應(yīng)比較慢的問題。

作者: dtrees 時間: 2014-07-18 13:39

seesea2517 發(fā)表于 2014-07-18 09:48
回復(fù) 7# dtrees

^_^，多謝多謝，最近大MAC換成了百度輸入法，錯別字特別多。。

作者: dtrees 時間: 2014-07-18 13:53

cryboy2001 發(fā)表于 2014-07-18 10:44
現(xiàn)在支持linux客戶端的云存儲很少，你們有沒有考慮過開發(fā)linux的客戶端。

我們一般說云存儲，都是指“百度網(wǎng)盤、360云盤”等面向個人的產(chǎn)品，而對象存儲者是面向企業(yè)用戶的。沒有足夠的用戶量，我想個人云存儲產(chǎn)品都不太會花大量精力去做Linux客戶端。

而面向企業(yè)級的對象存儲，則是提供給開發(fā)者用的，大型對象存儲系統(tǒng)除了提供HTTP訪問接口外，還會在此基礎(chǔ)上封裝JAVA、C++、Python等主流程序語言SDK

網(wǎng)易對象存儲系統(tǒng)在內(nèi)部還基于FUSE開發(fā)了用戶態(tài)文件系統(tǒng)（部分功能受限），將用戶的對象存儲數(shù)據(jù)掛載到Linux本地，用戶掛載之后，讀寫對象存儲數(shù)據(jù)就好像讀寫本地文件一樣

作者: dtrees 時間: 2014-07-18 14:22

wenhq 發(fā)表于 2014-07-18 12:04
想問下高手，你們的DFS是自己寫的么？還是利用開源的，方便說下不？另外對大文件的存儲，比如視頻，電影上會 ...

非高手，

只是對存儲系統(tǒng)稍微熟悉一點(diǎn)。網(wǎng)易杭研的DFS系統(tǒng)是自己寫的，未開源，我們的DFS讀寫都比較輕量級，全部讀都不經(jīng)過Master節(jié)點(diǎn)，寫操作則是Client批量申請寫ID，因此大部分寫也是無須經(jīng)過Master的。

網(wǎng)易視頻中心之前用的也是HADOOP存儲視頻文件，聽說發(fā)現(xiàn)HADOOP FUSE有些問題，老出內(nèi)存泄露，且響應(yīng)也比較忙，后來改用我們的方案：Nginx(with mp4/flv module) + Nosfs(我們的對象存儲系統(tǒng)的FUSE工具) + NOS（我們的對象存儲系統(tǒng)），應(yīng)用效果還不錯。

對象存儲系統(tǒng)一般都支持分塊上傳，最后合并成一個邏輯上的大對象，我們的系統(tǒng)最大支持 10000 block * 100M = 1T 的大對象，分塊的好處是上傳和下載都可以并發(fā)，且不同分塊落在不同物理磁盤上，能更好的利用磁盤IO。

作者: wenhq 時間: 2014-07-18 14:27
回復(fù) 13# dtrees

那你們是如何保證寫的成功率呢？還有數(shù)據(jù)的完整性以及像數(shù)據(jù)的備份。能大體說下里面的處理邏輯么？

作者: chenzhiquan2000 時間: 2014-07-18 14:33
提示: 作者被禁止或刪除內(nèi)容自動屏蔽

作者: dtrees 時間: 2014-07-18 15:53

chenzhiquan2000 發(fā)表于 2014-07-18 14:33
現(xiàn)在個人用的云盤是不是都是用市面上sata的普通硬盤作成的？我的百度云盤都2T多了、我電腦才500G呢

是的，要不然成本扛不住呀，即使用sata，每月的成本怎么著也要每GB幾毛錢吧，不過一般用戶存不了2T那么多數(shù)據(jù)，普通家庭的上行流量也就100來K

作者: seesea2517 時間: 2014-07-18 16:34
回復(fù) 11# dtrees

哈哈，不用緊，都看得懂。

作者: dj_ukyo 時間: 2014-07-18 17:24
回復(fù) 3# dtrees

陜西永壽當(dāng)?shù)赜泻芏鄟硇?

作者: enmingqing 時間: 2014-07-18 18:32
前年參與過類似產(chǎn)品的開發(fā)，因此忍不住想問幾個細(xì)節(jié)性的問題？
1 網(wǎng)易對象存儲系統(tǒng)在內(nèi)部還基于FUSE開發(fā)了用戶態(tài)文件系統(tǒng)（部分功能受限）--------這個性能是如何保證的�。课耶�(dāng)時參與設(shè)計了一個一模一樣的文件系統(tǒng)，由于s3接口的單一性，本來預(yù)期性能會比較差，結(jié)果做出來之后發(fā)現(xiàn)比預(yù)期的還要差，尤其是重命名之類的操作速度簡直慘不忍睹，由此導(dǎo)致的可靠性問題也成為一個潛在的大風(fēng)險，不知道你們有沒有什么好思路解決了這個問題。
2 數(shù)據(jù)可靠性問題不知道采取了哪些措施，個人感覺數(shù)據(jù)可靠性實(shí)際上很大程度上決定了這個產(chǎn)品是高端還是低端。我們當(dāng)時采用了raid、EC、和多副本等技術(shù)，但即使這樣經(jīng)過大壓力之后還是存在極小概率的丟數(shù)據(jù)、數(shù)據(jù)不一致的情況，這導(dǎo)致銀行等對這方面要求嚴(yán)格的企業(yè)根本不敢采用。

此外不知道你們是否用了重刪等存儲行業(yè)比較新的技術(shù)，希望多多分享啊~~~

作者: shenlanyouyu 時間: 2014-07-19 21:28
Sata硬盤啊。我以為是刀片服務(wù)器來實(shí)現(xiàn)的。

作者: dtrees 時間: 2014-07-21 09:51

shenlanyouyu 發(fā)表于 2014-07-19 21:28
Sata硬盤啊。我以為是刀片服務(wù)器來實(shí)現(xiàn)的。

大部分?jǐn)?shù)據(jù)存了之后很少讀，互聯(lián)網(wǎng)的存儲必須是廉價的，會考慮熱點(diǎn)加速之類的技術(shù)手段，但是面對海量數(shù)據(jù)，存儲花不起錢呀

作者: dtrees 時間: 2014-07-21 10:26
回復(fù) 14# wenhq

寫失敗發(fā)生時，會丟掉失敗的那批ID，重新向Master申請一批，重試寫操作。為了確保寫速度，目前采用的是并發(fā)寫，最終寫入時間取決于最慢備份的寫入。

完整性確實(shí)是個問題，但是我們可以確保不完整的數(shù)據(jù)，都是垃圾數(shù)據(jù)，例如：數(shù)據(jù)寫入失敗時，換ID重寫，最終對象對應(yīng)的存儲，是寫入成功的ID號（失敗的ID將被垃圾回收）

雖然有點(diǎn)圡，但運(yùn)作良好，工程上，有時候不得不用圡法煉鋼

作者: wenhq 時間: 2014-07-21 10:35
回復(fù) 23# dtrees
這個寫的策略效率不是很高呀，HDFS寫的機(jī)制不知有所了解不？應(yīng)該跟你這個策略不太一樣。我是有點(diǎn)不太明白。方便的話可以細(xì)細(xì)溝通下。

作者: dtrees 時間: 2014-07-21 10:50

wenhq 發(fā)表于 2014-07-21 10:35
回復(fù) 23# dtrees
這個寫的策略效率不是很高呀，HDFS寫的機(jī)制不知有所了解不？應(yīng)該跟你這個策略不太一樣。 ...

可以啊，^_^，這是我QQ：418014573，多交流才能進(jìn)步哈，我們采用Client并發(fā)寫，得到的收益有兩點(diǎn)：1.寫入速度快，當(dāng)然代價是有多份流量；2.DataNode沒有主從關(guān)系，所有DataNdoe都是平行關(guān)系，比HDFS的pipeline寫入方式維護(hù)起來更加方便。

作者: shang2010 時間: 2014-07-21 11:29
無論順境逆境，都能保持良好心態(tài)，所以大家都喊我微笑哥。

作者: lgatuk 時間: 2014-07-22 10:09

seesea2517 發(fā)表于 2014-07-17 17:46
作為我們小小的個人用戶而言，我比較關(guān)心我們的數(shù)據(jù)在云上的安全性，防止隱私泄露方面的事情。比如各種聯(lián)系 ...

你沒看新聞嗎斯諾登說他的同事經(jīng)常傳閱別人的裸照

作者: lgatuk 時間: 2014-07-22 10:16

dtrees 發(fā)表于 2014-07-18 15:53
是的，要不然成本扛不住呀，即使用sata，每月的成本怎么著也要每GB幾毛錢吧，不過一般用戶存不了2T那么 ...

那陣列是什么品牌一般都怎么做冗余及加密呢

作者: seesea2517 時間: 2014-07-22 10:29
回復(fù) 27# lgatuk

這世上還真是有不少好工作哈

作者: lgatuk 時間: 2014-07-22 10:39
回復(fù) 29# seesea2517

可以考慮下鑒黃師鑒到吐

作者: seesea2517 時間: 2014-07-22 11:34
回復(fù) 30# lgatuk

被你說到了，好多好工作

作者: beyondfly 時間: 2014-07-22 12:39
個人覺得，架構(gòu)師屬于比較高大上的一種職業(yè)，首先是要寫代碼寫到一定的程度，經(jīng)歷了各種各樣的項目，對于各種應(yīng)用系統(tǒng)有比較深的認(rèn)識，再來做架構(gòu)師。
網(wǎng)易的這個存儲架構(gòu)，看起來還是挺不錯的

作者: dtrees 時間: 2014-07-22 14:07

lgatuk 發(fā)表于 2014-07-22 10:16
那陣列是什么品牌一般都怎么做冗余及加密呢

呵呵，品牌不聊哈，，寫多份保證可靠性，底層不做raid，也不加密（加解密要耗CPU，還會引入其他風(fēng)險）

不過小文件合并存儲、大文件分塊存儲后，一般人是看不到文件內(nèi)容的。。。

作者: dtrees 時間: 2014-07-22 14:09

beyondfly 發(fā)表于 2014-07-22 12:39
個人覺得，架構(gòu)師屬于比較高大上的一種職業(yè)，首先是要寫代碼寫到一定的程度，經(jīng)歷了各種各樣的項目，對于各 ...

^_^，感謝這位兄臺，網(wǎng)易對象存儲服務(wù)一直在努力改進(jìn)中，以滿足更多的產(chǎn)品需求和更好的用戶體驗。。

作者: lgatuk 時間: 2014-07-22 14:37

dtrees 發(fā)表于 2014-07-22 14:07
不過小文件合并存儲、大文件分塊存儲后，一般人是看不到文件內(nèi)容的。。。
...

撇開網(wǎng)易云存儲國內(nèi)其他云存儲都是這么干的嗎好像也不安全啊

作者: beyondfly 時間: 2014-07-22 16:49
回復(fù) 34# dtrees

大神出現(xiàn)了，呵呵

作者: dtrees 時間: 2014-07-25 09:47
本帖最后由 dtrees 于 2014-07-27 20:53 編輯

lgatuk 發(fā)表于 2014-07-22 14:37
撇開網(wǎng)易云存儲國內(nèi)其他云存儲都是這么干的嗎好像也不安全啊

其他企業(yè)狀態(tài)不了解額，呵呵，確實(shí)談不上絕對的安全，要絕對的安全就得為此付出成本，況且很多時候社會工程學(xué)更管用，安全做再好，架不住被搗亂

作者: lgatuk 時間: 2014-07-25 16:14

dtrees 發(fā)表于 2014-07-25 09:47
其他企業(yè)狀態(tài)不了解額，呵呵，確實(shí)談不上安全，要安全就得為此付出成本，況且很多時候社會工程學(xué)更管用 ...

那你們站在用戶的角度怎么考慮的呢？大容量？友好的界面？存取速度快？就沒考慮過安全嗎？
你們的存儲壞盤是怎么處理的？

作者: dtrees 時間: 2014-07-27 20:52

lgatuk 發(fā)表于 2014-07-25 16:14
那你們站在用戶的角度怎么考慮的呢？大容量？友好的界面？存取速度快？就沒考慮過安全嗎？
你們的存儲 ...

安全當(dāng)然是重要的，是存儲系統(tǒng)設(shè)計中非常關(guān)鍵的一環(huán)，之前的回復(fù)中其實(shí)是想說，在工程上絕對的安全很難保障，比如說“斯諾登看裸照”那個段子

可靠性保障要靠冗余，我們現(xiàn)在是多備份，高級一點(diǎn)的做法是Erasure Code，我們也正在往這個方向做

作者: lgatuk 時間: 2014-07-28 09:11

dtrees 發(fā)表于 2014-07-27 20:52
安全當(dāng)然是重要的，是存儲系統(tǒng)設(shè)計中非常關(guān)鍵的一環(huán)，之前的回復(fù)中其實(shí)是想說，在工程上絕對的安全很難 ...

當(dāng)然絕對的安全很難
以前在政府故障盤絕對禁止維保廠商外帶但是辦公室隨便放也沒人管稍微大點(diǎn)的企業(yè)的故障盤是隨時返回給維保廠商的公司也沒規(guī)定銷毀之類的當(dāng)然我也做過維保我們替換下來的故障盤就堆放在庫房沒人清點(diǎn) 沒人銷毀
我想表達(dá)的就是高科技（尤其針對大眾的）這玩意其實(shí)就跟黑心棉被一樣，看起來光鮮亮麗，其實(shí)背后...

作者: seposal 時間: 2014-07-30 10:07
來先生應(yīng)該研究過ceph，能否就一個ceph的問題咨詢一下？能否簡單介紹一下RadosGW相對于OSS的優(yōu)劣？

很想了解ceph的monitor與client之間連接機(jī)制，特別是client選擇monitor的機(jī)制。沒有看到相關(guān)文檔說明這個問題

不知道是否基于DNS的輪詢訪問具有最新cluster map中的某一個monitor以獲取cluster map？如果不是輪詢，那是否在某一刻存在海量client連接同一個monitor進(jìn)而導(dǎo)致其在這個時刻段成為熱點(diǎn)存在？

還是說client連接monitor時，monitor間仲裁出一個隨機(jī)master提供cluster map？

作者: dtrees 時間: 2014-08-14 22:14

seposal 發(fā)表于 2014-07-30 10:07
來先生應(yīng)該研究過ceph，能否就一個ceph的問題咨詢一下？能否簡單介紹一下RadosGW相對于OSS的優(yōu)劣？

很想 ...

不好意思，這位同學(xué)，我們當(dāng)時去翻RadosGW的實(shí)現(xiàn)，只是想去了解一下Ceph的list object功能是如何實(shí)現(xiàn)的，并沒有做深入的研究。

個人感覺使用開源產(chǎn)品要慎重，很可能看上去很好，接口齊全，功能強(qiáng)大，但實(shí)際上在底層實(shí)現(xiàn)上非�？械．�(dāng)然了，如果開源產(chǎn)品的某些功能是經(jīng)過線上大數(shù)據(jù)大請求量考驗的，那還是值得信賴的

OSS作為阿里云對象存儲，也算是云計算的拳頭產(chǎn)品，我認(rèn)為更值得信賴，OSS提供的接口雖然沒有S3多，但也夠用

另外阿里云已經(jīng)形成了公有云體系，萬網(wǎng)域名服務(wù)，CDN加速服務(wù)等，都為OSS增色不少

用云計算產(chǎn)品也是具有黏性的，越是大廠，優(yōu)勢越明顯，，小廠只能突出某些方面，來吸引一部分用戶

作者: 滄桑有我 時間: 2014-08-26 15:47
擠擠，來學(xué)習(xí)學(xué)習(xí):wink:

歡迎光臨 Chinaunix (http://72891.cn/)