【好書推薦】我走過最長的路：就是大數(shù)據(jù)的套路

yejia80550708

獲獎公布：

1.最佳優(yōu)勝獎 （SACC 2017大會門票一張）：cokeboL

2.獲得技術圖書《大數(shù)據(jù)之路 阿里巴巴大數(shù)據(jù)實踐》：

heguangwu

Fl_wolf

sjf0115   

東風玖哥  

tree_fox

請以上6位獲獎人員在9月30日前將姓名、電話、郵箱、公司、職務、快遞地址站短給  yejia80550708 ，以便盡快給大家發(fā)放禮品。

話題背景：

大數(shù)據(jù)是什么？在過去的 5年里，恐怕沒有另外一個詞比大數(shù)據(jù)更高頻；也沒有另外一個概念如大數(shù)據(jù)一樣，被紛繁解讀，著書立說。

如果說互聯(lián)網(wǎng)實現(xiàn)了人人互聯(lián)和通信，并沒有深度地協(xié)同計算，那么這樣的一個大數(shù)據(jù)平臺和架構(gòu)就是一張升級的、智能的互聯(lián)網(wǎng)。這是人類自己設計出來的復雜的信息處理系統(tǒng)，同時也將是真正意義上人類智力大聯(lián)合的基礎設施。這是一個偉大的藍圖，我們敬畏其復雜度和潛能。

在阿里巴巴集團內(nèi)，數(shù)據(jù)人員面臨的現(xiàn)實情況是：集團數(shù)據(jù)存儲已經(jīng)達到EB級別，部分單張表每天的數(shù)據(jù)記錄數(shù)高達幾千億條；在2016年“雙11購物狂歡節(jié)”的24小時中，支付金額達到了1207億元人民幣，支付峰值高達12萬筆/秒，下單峰值達17.5萬筆/秒，媒體直播大屏處理的總數(shù)據(jù)量高達百億級別且所有數(shù)據(jù)都需要做到實時、準確地對外披露……巨大的信息量給數(shù)據(jù)采集、存儲和計算都帶來了極大的挑戰(zhàn)…

話題討論：

1、  大數(shù)據(jù)及其應用價值有哪些？你所了解的領域有哪些大數(shù)據(jù)的應用？

2、  為什么很多公司的大數(shù)據(jù)相關業(yè)務都基于 Hadoop 方案？

3、  你對大數(shù)據(jù)平臺架構(gòu)技術選型與場景運用有什么見解？

4、  大數(shù)據(jù)思維有十大原理分別為：

數(shù)據(jù)核心原理（從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心）、

數(shù)據(jù)價值原理（由功能是價值轉(zhuǎn)變?yōu)閿?shù)據(jù)是價值）、

全樣本原理（從抽樣轉(zhuǎn)變?yōu)樾枰�全部�?shù)據(jù)樣本）、

關注效率原理（由關注精確度轉(zhuǎn)變?yōu)殛P注效率）、

關注相關性原理（由因果關系轉(zhuǎn)變?yōu)殛P注相關性）、

預測原理（從不能預測轉(zhuǎn)變?yōu)榭梢灶A測）、

信息找人原理（從人找信息，轉(zhuǎn)變?yōu)樾畔⒄胰耍��?/div>

機器找人原理（由人懂機器轉(zhuǎn)變?yōu)闄C器更懂人）、

電子商務智能原理（大數(shù)據(jù)改變了電子商務模式，讓電子商務更智能）、

定制產(chǎn)品原理（由企業(yè)生產(chǎn)產(chǎn)品轉(zhuǎn)變?yōu)橛煽蛻舳ㄖ飘a(chǎn)品）、

對于這十大原理中的某一點或者某幾點你有什么看法？談談你的理解和感受

本次話題討論為開放式題目，不需要大家全部回答，挑自己喜歡的題目回答即可，談一點自己對于大數(shù)據(jù)的其他見解亦可，在廣度上不做要求，但希望所談之點更有深度。

活動時間：

2017年8月7日—8月31日

活動獎勵：

本期活動，我們將特設1個最佳優(yōu)勝獎，送SACC2017大會門票一張;

同時，我們將會選取5個精彩回復，各送技術圖書《大數(shù)據(jù)之路 阿里巴巴大數(shù)據(jù)實踐》一本；

作者: 阿里巴巴數(shù)據(jù)技術及產(chǎn)品部

出版社名稱: 電子工業(yè)出版社

ISBN編號: 9787121314384

開本:16開

版次：1

分類：數(shù)據(jù)庫 > 數(shù)據(jù)挖掘分析、架構(gòu)構(gòu)建> 阿里巴巴

購書入口：

樣章試讀：file:///C:/Users/aaa/Documents/tencent%20files/2504593583/filerecv/大數(shù)據(jù)之路：阿里巴巴大數(shù)據(jù)實踐.pdf

SACC 2017 來啦~

2017中國系統(tǒng)架構(gòu)師大會（SACC2017）將于10月19-21日在北京新云南皇冠假日酒店震撼來襲！

今年，大會以“云智未來”為主題，云集國內(nèi)外頂級專家，圍繞云計算、人工智能、大數(shù)據(jù)、移動互聯(lián)網(wǎng)、產(chǎn)業(yè)應用等熱點領域展開技術探討與交流。本屆大會共設置2大主會場，18個技術專場；邀請來自互聯(lián)網(wǎng)、金融、制造業(yè)、電商等多個領域，100余位技術專家及行業(yè)領袖來分享他們的經(jīng)驗；并將吸引4000+人次的系統(tǒng)運維、架構(gòu)師及IT決策人士參會，為他們提供最具價值的交流平臺。

官網(wǎng)鏈接：http://sacc.it168.com/index.html#top

購票鏈接：http://sacc.it168.com/goupiao.html



歡迎掃碼 關注SACC官方微信 ，獲取最新信息！





-------------------------------------------------------------------------------


歡迎大家發(fā)帖討論，分享是美德，也希望CU這個平臺帶給大家進步和成長，有任何問題，請站短聯(lián)系！

技術討論，請加QQ群：203848540

ChinaUnix公眾微信：

nail78

2、  為什么很多公司的大數(shù)據(jù)相關業(yè)務都基于 Hadoop 方案？Hadoop相較于MapReduce和IBM的大型機有什么優(yōu)勢？
         
    這個話題說法是有問題的，Hadoop的框架最核心設計就是：HDFS和MapReduce。HDFS為海量數(shù)據(jù)提供了存儲，MapReduce提供了計算的方法。Hadoop的框架中包含了MapReduce。


  
  

cjfeii

占坑
試讀的鏈接放錯了吧

cokeboL

1、大數(shù)據(jù)及其應用價值有哪些？你所了解的領域有哪些大數(shù)據(jù)的應用？
   數(shù)據(jù)本身的應用價值是歷史記載用以日后使用
   現(xiàn)在的大數(shù)據(jù)的價值主要是兩方面：一是大大擴展了數(shù)據(jù)量，二是擴展了數(shù)據(jù)用途
   最常見的就屬電商了吧，挖掘、推薦，還有游戲行業(yè)里行為分析等等
2、為什么很多公司的大數(shù)據(jù)相關業(yè)務都基于 Hadoop 方案？Hadoop相較于MapReduce和IBM的大型機有什么優(yōu)勢？
   選擇hadoop：
     一是大數(shù)據(jù)相關技術門檻較高，絕大多數(shù)公司不具備自研整套的實力
     二是Hadoop技術成熟，有商業(yè)項目和歷史積淀背書，生態(tài)鏈完善
   優(yōu)勢：
     首先同意前面樓層說的，hadoop本身就有MapReduce，這一點不具備可比性
     相對于IBM大型機的優(yōu)勢：
     一是hadoop集群擴展更強
     二是hadoop對硬件要求不高，普通機器就可以，門檻低成本劃算
3、你對大數(shù)據(jù)平臺架構(gòu)技術選型與場景運用有什么見解？
    hadoop生態(tài)鏈里根據(jù)自身需要選擇就可以了
    比如只需要靜態(tài)分析的，就hadoop就夠了
    有挖掘需求的，加上spark
    有的做日志系統(tǒng)的、推送的，用kafka之類的
    看具體需求吧
4、  大數(shù)據(jù)思維有十大原理分別為：
    數(shù)據(jù)核心原理（從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心）
      ——以前是產(chǎn)品經(jīng)理定義產(chǎn)品行為，以市場為出發(fā)點設計產(chǎn)品，大數(shù)據(jù)關聯(lián)起來，都要先收集數(shù)據(jù)
    數(shù)據(jù)價值原理（由功能是價值轉(zhuǎn)變?yōu)閿?shù)據(jù)是價值）
      ——我不是很贊同所有產(chǎn)品都這樣，很多跟風的公司開始搞大數(shù)據(jù)，根本不看看自己產(chǎn)品的實際情
        況，收集來的數(shù)據(jù)也沒價值或者用不到，有的老板可能覺得先收集著，萬一以后有用呢？可是
        絕大多數(shù)都沒用，而且增加了研發(fā)成本
    全樣本原理（從抽樣轉(zhuǎn)變?yōu)樾枰�全部�?shù)據(jù)樣本）
      ——技術決定吧，以前的存儲方式和數(shù)據(jù)量級可能會導致全樣本采集的難度太大，而現(xiàn)在的大數(shù)據(jù)
        相關技術已經(jīng)突破了這個瓶頸
    關注效率原理（由關注精確度轉(zhuǎn)變?yōu)殛P注效率）
      ——當量級小的時候，精確度計算也簡單高效，量大了（數(shù)據(jù)量和業(yè)務量都大了），要先保證服務
        可用，而且由于數(shù)據(jù)量級大了，小誤差是可以忽略的，所以效率優(yōu)先
    關注相關性原理（由因果關系轉(zhuǎn)變?yōu)殛P注相關性）
      ——電商為例，行為分析、推薦系統(tǒng)，都是要進行數(shù)據(jù)挖掘，從而轉(zhuǎn)化為價值，挖掘本身都是基于
        相關性
    預測原理（從不能預測轉(zhuǎn)變?yōu)榭梢灶A測）
      ——樣本統(tǒng)計了行為分析了知道別人干了啥可能還想干啥，當然就可以預測了，統(tǒng)計學的出發(fā)點就
        是為了分析、預測吧
    信息找人原理（從人找信息，轉(zhuǎn)變?yōu)樾畔⒄胰耍?br />         機器找人原理（由人懂機器轉(zhuǎn)變?yōu)闄C器更懂人）
        電子商務智能原理（大數(shù)據(jù)改變了電子商務模式，讓電子商務更智能）
        定制產(chǎn)品原理（由企業(yè)生產(chǎn)產(chǎn)品轉(zhuǎn)變?yōu)橛煽蛻舳ㄖ飘a(chǎn)品）
      ——這些都和前面想說的差不多，都是關聯(lián)性，關聯(lián)性分析的基礎就是數(shù)據(jù)

fenyun689

現(xiàn)在大數(shù)據(jù)應用越來越火了。從大量的數(shù)據(jù)中抽取有價值的信息。
我們公司應用是處理試驗數(shù)據(jù)，剛開始使用。
通過從現(xiàn)場運行時，產(chǎn)生大量的試驗數(shù)據(jù)中找出提高產(chǎn)品性能，質(zhì)量的信息。以及產(chǎn)品在不同環(huán)境下性能，壽命變化。
大數(shù)據(jù)分析客戶信息可以從大批量的潛在客戶中找出高價值的客戶，分析用戶習慣，制定資費標準。增加用戶粘性，忠誠度。
大數(shù)據(jù)應用與人工智能本身就是一體的。只有這樣才能發(fā)揮大數(shù)據(jù)應用的作用。

也就知道這么多。

Fl_wolf

1、  大數(shù)據(jù)及其應用價值有哪些？你所了解的領域有哪些大數(shù)據(jù)的應用？

大數(shù)據(jù)的應用價值就在于發(fā)現(xiàn)與實踐，好比馬云說過，你知道中國平均胸圍最大的省是哪里嗎？你知道最小的是哪里嗎？我告訴你是浙江。。（原話）

這樣可以把平均發(fā)貨量的多少 大小成本都能計算在內(nèi)。

互聯(lián)網(wǎng)領域的大數(shù)據(jù)當然是用戶的習性，這個是所有互聯(lián)網(wǎng)數(shù)據(jù)分析師最喜歡研究，也是最難研究的一個標簽了。

我了解到的阿里淘寶的大數(shù)據(jù)，網(wǎng)易新聞的大數(shù)據(jù)都還是做的不錯的。

2、  為什么很多公司的大數(shù)據(jù)相關業(yè)務都基于 Hadoop 方案？

Hadoop是一個大數(shù)據(jù)分析的裝備吧。但是現(xiàn)在已經(jīng)開始有人覺得ha不行了。

3、  你對大數(shù)據(jù)平臺架構(gòu)技術選型與場景運用有什么見解？

架構(gòu)選型了解不太多，但是重點就是分析的思路，不同用戶群要整理出來，必須了解用戶習性。

sjf0115

1 大數(shù)據(jù)及其應用價值有哪些？你所了解的領域有哪些大數(shù)據(jù)的應用？

(1) 大數(shù)據(jù)能夠幫助企業(yè)分析大量數(shù)據(jù)而進一步挖掘市場潛在的機會以及細分市場，然后對每個群體采取個性化的行動。目前，我們部門會充分利用各個業(yè)務線行為日志進行個性化推薦，給用戶推薦可能感興趣的旅游產(chǎn)品，進而提高訂單轉(zhuǎn)換率．
(2) 當前，很多公司還是更多依賴個人經(jīng)驗和直覺做決策，而不是基于數(shù)據(jù)。在信息有限、獲取成本代價比較高的時代，這樣做決策還是情有可原的，但是目前處在大數(shù)據(jù)時代，就必須利用數(shù)據(jù)來做決策。目前我們部門收集公司各個業(yè)務線的行為日志，經(jīng)過篩洗之后，做一些細粒度的分析統(tǒng)計供高層進行下一步的決策．

2 為什么很多公司的大數(shù)據(jù)相關業(yè)務都基于 Hadoop 方案？

目前而言，對于中小型公司來說，都會使用Hadoop解決方案，也有可能會使用Spark，但是使用Hadoop的公司還是占多數(shù)的．
(1) 成本問題
Hadoop是架構(gòu)在廉價的硬件服務器上，不需要非常昂貴的硬件做支撐．
(2) 生態(tài)圈
Hadoop有成熟并活躍的生態(tài)圈，資料很多，如果出現(xiàn)問題，我們可以很容易根據(jù)前人的足跡來解決，而不是摸著石頭過河。

3 你對大數(shù)據(jù)平臺架構(gòu)技術選型與場景運用有什么見解？

(1) 數(shù)據(jù)采集
負責從各節(jié)點上實時采集數(shù)據(jù)，選用Flume來實現(xiàn)．或者使用Sqoop可以將一個關系型數(shù)據(jù)庫(例如mysql等)中的數(shù)據(jù)導進到Hadoop的HDFS中．
(2) 數(shù)據(jù)接入
由于采集數(shù)據(jù)的速度和數(shù)據(jù)處理的速度不一定同步，因此添加一個消息中間件來作為緩沖，選用Kafka
(3) 實時計算
對采集到的數(shù)據(jù)進行實時分析，選用Spark或者Storm
(4) 離線計算
對采集到的數(shù)據(jù)可以進行持久化存儲在HDFS中，進行離線分析統(tǒng)計，選用MapReduce/Hive

＜大數(shù)據(jù)之路 阿里巴巴大數(shù)據(jù)實踐＞　書不錯　拜讀

東風玖哥

1、大數(shù)據(jù)及其應用價值有哪些？你所了解的領域有哪些大數(shù)據(jù)的應用？
大數(shù)據(jù)的價值在于客戶群體細分和發(fā)現(xiàn)隱藏線索。

關于客戶群體細分我可以舉一個缺德的例子：電商根據(jù)大數(shù)據(jù)判斷哪些買家退貨較少，然后殘次品都發(fā)給這些買家。

2、為什么很多公司的大數(shù)據(jù)相關業(yè)務都基于 Hadoop 方案？
（一）高可靠性。Hadoop按位存儲和處理數(shù)據(jù)的能力值得信賴;
（二）高擴展性。Hadoop是在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務的，這些集簇可以方便地擴展到數(shù)以千計的節(jié)點中
（三）高效性。Hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非�？�
（四）高容錯性。Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務重新分配

3、你對大數(shù)據(jù)平臺架構(gòu)技術選型與場景運用有什么見解？
Hadoop和Spark都是Apache推出的大數(shù)據(jù)框架，兩者的區(qū)別在于解決問題的層面不同。Hadoop實質(zhì)上更多是一個分布式數(shù)據(jù)基礎設施: 它將巨大的數(shù)據(jù)集分派到一個由普通計算機組成的集群中的多個節(jié)點進行存儲，意味著您不需要購買和維護昂貴的服務器硬件。而Spark則是那么一個專門用來對那些分布式存儲的大數(shù)據(jù)進行處理的工具，它并不會進行分布式數(shù)據(jù)的存儲。

因此兩者通常可以配合使用，在Hadoop的HDFS上運行Spark是最好的大數(shù)據(jù)平臺架構(gòu)技術選型。

heguangwu

為什么很多公司的大數(shù)據(jù)相關業(yè)務都基于 Hadoop 方案？
很多人都會回答對硬件要求不高，普通機器就可以，事實上很少有企業(yè)會在普通PC上運行Hadoop集群，大多也是在服務器上運行，所以硬件的要求個人覺得并不是決定的關鍵因素
首先hadoop方案并不說是MapReduce，而是整個hadoop生態(tài)圈，對照可以看hortonworks的HDP整個協(xié)議棧就知道了，包括實時流計算storm、內(nèi)存計算spark、結(jié)構(gòu)化查詢Hive/sparkSQL，安全組件ranger，數(shù)據(jù)工作流flume/sqoop/kafka等，所以hadoop已經(jīng)是一個龐大的生態(tài)圈，豐富的社區(qū)支持，你想要的功能都有，而且還比較成熟，所以選擇hadoop肯定比選擇專有軟件更好

你對大數(shù)據(jù)平臺架構(gòu)技術選型與場景運用有什么見解？
如果你仔細觀察了，大多數(shù)的公司的大數(shù)據(jù)平臺架構(gòu)幾乎類似或相差不大，這個其實也是行業(yè)成熟的經(jīng)驗了，雖然大的方向一樣，但針對應用的特點我們還是要做不同的配置優(yōu)化，同時做相應的測試來看平臺是否能滿足需求，最主要的是團隊人員能否把控整個平臺，團隊里要有合適的運維人員，要時刻監(jiān)控平臺的metrix，不要等出大問題無法解決或解決時間過長