大數(shù)據(jù)分析：如何做到點數(shù)成金？（獲獎名單已公布-10-24）

send_linux

獲獎名單已公布，詳情請看：http://72891.cn/thread-4102940-1-1.html

“大數(shù)據(jù)”到底是什么？這個概念乍看上去相當(dāng)模糊，它似乎指的是數(shù)量龐大信息量巨大的數(shù)據(jù)。盡管這樣的描述確實符合“大數(shù)據(jù)”的字面含義，但它并沒有解釋清楚大數(shù)據(jù)到底是什么。大數(shù)據(jù)常常被描述成已經(jīng)大到無法用傳統(tǒng)的數(shù)據(jù)處理工具進行管理和分析的極大的數(shù)據(jù)集。從網(wǎng)上我們可以得到一個被大多數(shù)人所認同的觀點：當(dāng)數(shù)據(jù)集已經(jīng)發(fā)展到相當(dāng)大的規(guī)模，常規(guī)的信息技術(shù)已無法有效地處理、適應(yīng)數(shù)據(jù)集合的增長和演化時，大數(shù)據(jù)就應(yīng)運而生了。換言之，數(shù)據(jù)集規(guī)模已大到難以用傳統(tǒng)信息技術(shù)進行有效的管理，更不用說從中挖掘價值了。具體來說，難題主要在于數(shù)據(jù)的采集、存儲、檢索、共享、分析和數(shù)據(jù)可視化。

雖然概念上難以理解，但是大數(shù)據(jù)越來越多的滲入到了我們?nèi)粘５纳�活，每天全球膨大的物流網(wǎng)絡(luò)，如何管理和配送這些貨物，離不開大數(shù)據(jù)下的最優(yōu)化算法分析；越來越多的應(yīng)用涉及到大數(shù)據(jù)，不幸的是所有大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是描述了數(shù)據(jù)庫不斷增長的復(fù)雜性。
如何收集和整理和存儲這些大數(shù)據(jù)呢？
如何分析這些大數(shù)據(jù)？
從這些大數(shù)據(jù)的分析中我們能夠得到什么？

歡迎大家加入本話題的討論，這次的話題是：
1、您目前所在的企業(yè)是否面對大數(shù)據(jù)的難題？
2、目前的大數(shù)據(jù)形式下，技術(shù)和規(guī)范哪個更重要？
3、談?wù)勀�目前所在行業(yè)的大數(shù)據(jù)形式和業(yè)內(nèi)解決方案

本期嘉賓：
ChinaUnix社區(qū)專家博主：五岳之巔（http://blog.chinaunix.net/uid/22414998.html）

活動時間：
2013.9.22-10.12

活動要求：
1、 要言之有物，不能低于20個字
2、 本次話題主要關(guān)注大數(shù)據(jù)技術(shù)和實踐方面的心得體會和使用技巧，其他問題可能不做重點
         
討論有獎：
活動結(jié)束后，我們會評選出5位積極參與話題討論的網(wǎng)友獎勵《大數(shù)據(jù)分析：點“數(shù)”成金》圖書1本，對其他積極參與討論的網(wǎng)友（回帖有參考價值）我們將獎勵積分20分。

獎品信息：
大數(shù)據(jù)分析：點“數(shù)”成金

原書名：Big Data Analytics: Turning Big Data into Big Money
原出版社： Wiley
作者： (美)Frank J. Ohlhorst   
譯者： 王偉軍 劉凱 楊光
出版社：人民郵電出版社
ISBN：9787115324528
上架時間：2013-9-16
出版日期：2013 年9月

chszs

1、您目前所在的企業(yè)是否面對大數(shù)據(jù)的難題？
是的。其實很多公司，只要上了一定規(guī)模，大多數(shù)都會面臨大數(shù)據(jù)的難題。
區(qū)別在于面臨的大數(shù)據(jù)難題是否緊迫，是否是亟待解決的，又或者是是否能立即帶來效益的。

2、目前的大數(shù)據(jù)形式下，技術(shù)和規(guī)范哪個更重要？
顯然是規(guī)范更為重要。原因有幾點：
1）大數(shù)據(jù)技術(shù)已經(jīng)在趨向于同一標(biāo)準(zhǔn)技術(shù)。
Hadoop是大數(shù)據(jù)事實上的標(biāo)準(zhǔn)解決方案。雖然它并非唯一的解決方案，但卻是業(yè)界公認的解決方案，其它技術(shù)的影響力遠遠比不上Hadoop。
2）研發(fā)大數(shù)據(jù)技術(shù)的公司僅是少數(shù)，使用大數(shù)據(jù)技術(shù)的公司才是市場主體。
對于使用大數(shù)據(jù)技術(shù)的公司來說，顯然對規(guī)范更為關(guān)心。
3）大數(shù)據(jù)技術(shù)已經(jīng)很先進。
大數(shù)據(jù)技術(shù)在不斷地演進，Hadoop也進入到了2.0時代，Hadoop生態(tài)圈的各種技術(shù)越來越成熟，使得我們無需再去擔(dān)心大數(shù)據(jù)的技術(shù)問題。

3、談?wù)勀�目前所在行業(yè)的大數(shù)據(jù)形勢和業(yè)內(nèi)解決方案
目前我公司在使用Cloudera發(fā)布的大數(shù)據(jù)方案（基于Hadoop）構(gòu)建自己的大數(shù)據(jù)平臺，該方案也是業(yè)內(nèi)廣為使用的方案。目前商業(yè)模式還在探索中，技術(shù)上先行一步。

xike2002

好話題，支持！

laputa73

hadoop雖然已經(jīng)是業(yè)界標(biāo)準(zhǔn),但是并非唯一
大數(shù)據(jù)的傳統(tǒng)模式還有基于搜索引擎的.
象splunk,greenplum,Elasticsearch這些非hadoop的技術(shù)一樣淘金.
從長遠來看,有一個統(tǒng)一的接口規(guī)范最好.至少大數(shù)據(jù)的存儲應(yīng)該是個統(tǒng)一規(guī)范.

qingduo04

歡迎大家加入本話題的討論，這次的話題是：
1、您目前所在的企業(yè)是否面對大數(shù)據(jù)的難題？
   作為電信行業(yè)的經(jīng)分系統(tǒng)，目前在省內(nèi)需求和集團要求的前提下，引入了信令數(shù)據(jù)、爬蟲數(shù)據(jù)，數(shù)據(jù)量過大，數(shù)據(jù)雜亂，給傳統(tǒng)的數(shù)據(jù)庫DB2等使用帶來不便
由于引起怎么對大數(shù)據(jù)做分析的問題。
2、目前的大數(shù)據(jù)形式下，技術(shù)和規(guī)范哪個更重要？
   個人感覺先前應(yīng)該是技術(shù)為主，畢竟大數(shù)據(jù)剛剛發(fā)展，對于大數(shù)據(jù)怎么玩，怎么使用，現(xiàn)在都不是很清楚，不如先摸摸看看是什么東西，然后再進行制定相關(guān)的規(guī)范。
3、談?wù)勀�目前所在行業(yè)的大數(shù)據(jù)形式和業(yè)內(nèi)解決方案
  本期引入HADOOP和GP數(shù)據(jù)庫，一個用來處理大數(shù)據(jù)，一個用來進行數(shù)據(jù)關(guān)聯(lián)匯總。主要是針對流量方面的數(shù)據(jù)分析。
傳統(tǒng)的電信行業(yè)（比如語音、短息等）趨于飽和，只能進行戰(zhàn)略性的調(diào)整，對于互聯(lián)網(wǎng)數(shù)據(jù)進行分析。

tomac_cu

1、您目前所在的企業(yè)是否面對大數(shù)據(jù)的難題？
還沒有

2、目前的大數(shù)據(jù)形式下，技術(shù)和規(guī)范哪個更重要？
技術(shù)更重要，現(xiàn)在還是百家爭鳴，沒有規(guī)范的時代�，F(xiàn)在還沒有強者，所以還是技術(shù)先進

3、談?wù)勀�目前所在行業(yè)的大數(shù)據(jù)形式和業(yè)內(nèi)解決方案
沒有成熟方案


現(xiàn)有的大數(shù)據(jù)還只適合在實驗室和非關(guān)鍵應(yīng)用。所以還只是兒戲罷了。
什么淘寶呀，百度呀，google呀，都不是關(guān)鍵應(yīng)用，離行業(yè)數(shù)據(jù)解決還差得很遠。
目前還只能以傳統(tǒng)數(shù)據(jù)庫方式提供高可靠性的數(shù)據(jù)應(yīng)用。

forgaoqiang

YES 不錯的話題~

1、您目前所在的企業(yè)是否面對大數(shù)據(jù)的難題？
大數(shù)據(jù)這個概念的確比較含糊的樣子，其實我們遇到的大數(shù)據(jù)并不是體積大，而是數(shù)據(jù)內(nèi)容量很大，比如用戶行為審計記錄一個終端設(shè)備每秒鐘可能產(chǎn)生200條左右的記錄，1000個終端就非常要命了。使用MySQL存儲還要分區(qū)，這些真的沒有很好地辦法。查詢速度很慢，但是加起來體積真不是很大。
2、目前的大數(shù)據(jù)形式下，技術(shù)和規(guī)范哪個更重要？
當(dāng)前還是發(fā)展階段吧，前期不用太注意規(guī)范吧，百家爭鳴還是最好的，最后“自然選擇”競爭出“適者生存”的作為標(biāo)準(zhǔn)就好了。當(dāng)前來看采用Map-Reduce這樣的大數(shù)據(jù)處理方式已經(jīng)成為標(biāo)準(zhǔn)，基本上來說現(xiàn)在hadoop就是標(biāo)準(zhǔn)了。
3、談?wù)勀�目前所在行業(yè)的大數(shù)據(jù)形式和業(yè)內(nèi)解決方案
沒有使用到大數(shù)據(jù)解決方案，服務(wù)器集群數(shù)量規(guī)模也比較少，但是估計以后可能會使用到。

hbsycw

關(guān)注大數(shù)據(jù)，關(guān)注IT發(fā)展新趨勢！

1、您目前所在的企業(yè)是否面對大數(shù)據(jù)的難題？
答：自己公司是電商，因此，面臨著大數(shù)據(jù)難題。

2、目前的大數(shù)據(jù)形式下，技術(shù)和規(guī)范哪個更重要？
答：從個人經(jīng)驗來說，規(guī)范比技術(shù)重要，因為技術(shù)本身就是一種規(guī)范。但對大數(shù)據(jù)來說，目前主要還是體現(xiàn)在一種架構(gòu)技術(shù)。

3、談?wù)勀�目前所在行業(yè)的大數(shù)據(jù)形式和業(yè)內(nèi)解決方案
答：有人說BIG DATA其實是個偽命題，因為，HOW SIZE IS THE BIG DATA? 顯然，這很難回答。其實，IT是一種節(jié)約時間的技術(shù)。而，大數(shù)據(jù)就體現(xiàn)了時間的無限性與時間點的價值有效性的矛盾。面對隨著時間不斷增長的業(yè)務(wù)數(shù)據(jù)量，如何有效利用來改進業(yè)務(wù)，這就是大數(shù)據(jù)。對于電商來說，每天的訂單數(shù)據(jù)、用戶的訪問數(shù)據(jù)、系統(tǒng)運行日志......，這些量都是很大的。對于傳統(tǒng)的數(shù)據(jù)存儲和分析處理來說，的確是很有挑戰(zhàn)，但，解決方案，其實也很簡單，“以空間換時間，分而治之即可”，HADOOP即是業(yè)內(nèi)比較成熟的解決方案之一。

fengzhanhai

大數(shù)據(jù)，數(shù)據(jù)量多大才算是大？這個對于不同的企業(yè)是沒有統(tǒng)一的標(biāo)準(zhǔn)，也沒有唯一的答案~ 數(shù)據(jù)量大就有價值嗎，也未必~
如果一個企業(yè)擁有龐大的歷史數(shù)據(jù)，但是沒有貼合企業(yè)自身的數(shù)據(jù)業(yè)務(wù)分析模型，對這個企業(yè)來說不是一筆財富而是一堆廢物，甚至?xí)�起到副作用，害人匪淺~
個人認為：如果想使大數(shù)據(jù)產(chǎn)生價值必須滿足一下幾個方面：
1、設(shè)定正確的數(shù)據(jù)分析模型；
2、有效的數(shù)據(jù)清洗規(guī)則以及存儲規(guī)范；
3、合適的技術(shù)手段；
4、足夠多的歷史數(shù)據(jù)。
只有這樣才能保證大數(shù)據(jù)能夠給管理人員提供正確的決策、商業(yè)預(yù)警、經(jīng)營策略以及公司戰(zhàn)略規(guī)劃，最終使得大數(shù)據(jù)成為一座名副其實的金礦~點石成金

wuchou55

1、您目前所在的企業(yè)是否面對大數(shù)據(jù)的難題？
答：每個公司的發(fā)展都需要用到大數(shù)據(jù)，對于新開發(fā)的公司來說遇到的問題有好些，比如如何管理文件系統(tǒng)層累積的元數(shù)據(jù)？處理不當(dāng)?shù)脑挄�影響到系統(tǒng)的擴展能力和性能等。
2、目前的大數(shù)據(jù)形式下，技術(shù)和規(guī)范哪個更重要？
答：技術(shù)和規(guī)范兩者都很重要，肯定是先把把技術(shù)搞好，再去搞規(guī)范。