【好書推薦】Don’t use deep learning your data isn’t that big?正反雙方撕起來了

yejia80550708

獲獎公布：

本次獲得獎勵的童鞋有：tree_fox   william_djj   lbseraph  nail78  fenyun689

請以上5位的童鞋在11月30日前將姓名、電話、郵箱、公司、職務(wù)、快遞地址站短給  yejia80550708

會盡快寄技術(shù)圖書《深度學(xué)習(xí)優(yōu)化與識別》(焦李成) 給大家







爭論，隨時可能爆發(fā)。

比方當你看到一篇名為（Don’t use deep learning your data isn’t that big）的博客時。

作者Jeff Leek在這篇博客中指出，深度學(xué)習(xí)已經(jīng)進入一定程度的狂熱狀態(tài)，人們正試圖用這個技術(shù)解決每一個問題。但真正的挑戰(zhàn)在于：“只有極少數(shù)情況下有足夠的數(shù)據(jù)進行深度學(xué)習(xí)”，不是每家都有科技巨頭的數(shù)據(jù)。

深度學(xué)習(xí)與更簡單的模型相比，優(yōu)點在于有足夠的數(shù)據(jù)來調(diào)整大量的參數(shù)，博主建議當數(shù)據(jù)集不是那么大的時候，應(yīng)該采用一些更簡單、更可解釋的辦法，而且不用擔(dān)心過擬合等問題。

Leek這篇文章火了不到一周，哈佛大學(xué)藥學(xué)院的生物醫(yī)藥信息學(xué)專業(yè)博士后Andrew Beam寫了篇文章來反駁：《就算數(shù)據(jù)不夠大，也能玩深度學(xué)習(xí)》。

Beam開篇就說，之前Jeff Leek那篇文章看得他有點不爽。核心論點他大致同意，他也不覺得深度學(xué)習(xí)是萬能良藥。但是，你確定深度學(xué)習(xí)在數(shù)據(jù)量不足100的時候效果不好是因為過擬合？怎么看都是因為模型沒調(diào)好啊……

有人舉例說明，有人現(xiàn)身說法。討論甚至從數(shù)據(jù)大小，一直延伸到各種深度學(xué)習(xí)方法的比較，乃至應(yīng)用領(lǐng)域等。

傳送門：Jeff Leak的文章：

https://simplystatistics.org/2017/05/31/deeplearning-vs-leekasso/

Andrew Beam的文章：

http://beamandrew.github.io/deeplearning/2017/06/04/deep_learning_works.html

Andrew Beam的代碼：

https://github.com/beamandrew/deep_learning_works

     

    話題背景：

     隨著研究的不斷深入，后深度學(xué)習(xí)時代已經(jīng)超越了目前機器學(xué)習(xí)模型的神經(jīng)科學(xué)觀點，學(xué)習(xí)多層次、多通道組合的這一設(shè)計原則更加具有吸引力。深度學(xué)習(xí)是人工智能領(lǐng)域最能體現(xiàn)智能的一個分支，在未來，它將會不斷出現(xiàn)激動人心的理論進展和應(yīng)用實踐，深刻影響我們生活的方方面面。

    話題討論：

1．數(shù)據(jù)不夠大，別玩深度學(xué)習(xí)？還是就算數(shù)據(jù)不夠大，也能玩深度學(xué)習(xí)。

2．深度學(xué)習(xí)中，訓(xùn)練模型需要多少數(shù)據(jù)？應(yīng)該如何發(fā)掘這些數(shù)據(jù)？

3．深度學(xué)習(xí)對無監(jiān)督數(shù)據(jù)的學(xué)習(xí)能力嚴重不足，那么要解決的是有監(jiān)督學(xué)習(xí)問題，還是無監(jiān)督學(xué)習(xí)問題？如果是無監(jiān)督學(xué)習(xí)問題，如何獲取無監(jiān)督學(xué)習(xí)能力？

4． 腦神經(jīng)科學(xué)的進步為深度模型的發(fā)展提供更多的可能性，深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化問題的困難性是阻礙它們成為主流的一個重要因素，優(yōu)化神經(jīng)網(wǎng)絡(luò)的“困難性”在哪里？

   活動時間：9月13日—10月13日

   活動獎勵：我們將會選取5個精彩回復(fù)，各送技術(shù)圖書《深度學(xué)習(xí)優(yōu)化與識別》(焦李成) 一本

作者：焦李成

出版社： 清華大學(xué)出版社

ISBN：9787302473671

出版時間：2017-07-01

開本：16開

版次：1

分類：計算機與互聯(lián)網(wǎng) > 人工智能 > 深度學(xué)習(xí)

購書入口：https://item.jd.com/12088783.htm ... 33_.0&ADPUBNO=26719

樣章試讀：file:///C:/Users/aaa/Documents/tencent%20files/2504593583/filerecv/第3章.pdf

                file:///C:/Users/aaa/Documents/tencent%20files/2504593583/filerecv/樣章-第十五章.pdf

SACC 2017 來啦~

2017中國系統(tǒng)架構(gòu)師大會（SACC2017）將于10月19-21日在北京新云南皇冠假日酒店震撼來襲！

今年，大會以“云智未來”為主題，云集國內(nèi)外頂級專家，圍繞云計算、人工智能、大數(shù)據(jù)、移動互聯(lián)網(wǎng)、產(chǎn)業(yè)應(yīng)用等熱點領(lǐng)域展開技術(shù)探討與交流。本屆大會共設(shè)置2大主會場，18個技術(shù)專場；邀請來自互聯(lián)網(wǎng)、金融、制造業(yè)、電商等多個領(lǐng)域，100余位技術(shù)專家及行業(yè)領(lǐng)袖來分享他們的經(jīng)驗；并將吸引4000+人次的系統(tǒng)運維、架構(gòu)師及IT決策人士參會，為他們提供最具價值的交流平臺。

官網(wǎng)鏈接：http://sacc.it168.com/index.html#top

購票鏈接：http://sacc.it168.com/goupiao.html

歡迎掃碼 關(guān)注SACC官方微信 ，獲取最新信息

-------------------------------------------------------------------------------

歡迎大家發(fā)帖討論，分享是美德，也希望CU這個平臺帶給大家進步和成長，有任何問題，請站短聯(lián)系！

技術(shù)討論，請加QQ群：203848540

ChinaUnix公眾微信：

tree_fox

深度學(xué)習(xí)對無監(jiān)督數(shù)據(jù)的學(xué)習(xí)能力嚴重不足，那么要解決的是有監(jiān)督學(xué)習(xí)問題，還是無監(jiān)督學(xué)習(xí)問題？如果是無監(jiān)督學(xué)習(xí)問題，如何獲取無監(jiān)督學(xué)習(xí)能力？  討論一下這個話題！��！


首先，深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：1）強調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點；2）明確突出了特征學(xué)習(xí)的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。
深度學(xué)習(xí)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wise pre-training）來有效克服，逐層初始化是通過無監(jiān)督學(xué)習(xí)實現(xiàn)的。所以要解決的是無監(jiān)督學(xué)習(xí)問題。

那么如何獲取呢，我覺得應(yīng)該通過如下訓(xùn)練過程：


1）使用自下上升非監(jiān)督學(xué)習(xí)（就是從底層開始，一層一層的往頂層訓(xùn)練）：

       采用無標定數(shù)據(jù)（有標定數(shù)據(jù)也可）分層訓(xùn)練各層參數(shù)，這一步可以看作是一個無監(jiān)督訓(xùn)練過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分（這個過程可以看作是feature learning過程）：

       具體的，先用無標定數(shù)據(jù)訓(xùn)練第一層，訓(xùn)練時先學(xué)習(xí)第一層的參數(shù)（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經(jīng)網(wǎng)絡(luò)的隱層），由于模型capacity的限制以及稀疏性約束，使得得到的模型能夠?qū)W習(xí)到數(shù)據(jù)本身的結(jié)構(gòu)，從而得到比輸入更具有表示能力的特征；在學(xué)習(xí)得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓(xùn)練第n層，由此分別得到各層的參數(shù)；

2）自頂向下的監(jiān)督學(xué)習(xí)（就是通過帶標簽的數(shù)據(jù)去訓(xùn)練，誤差自頂向下傳輸，對網(wǎng)絡(luò)進行微調(diào)）：

       基于第一步得到的各層參數(shù)進一步fine-tune整個多層模型的參數(shù)，這一步是一個有監(jiān)督訓(xùn)練過程；第一步類似神經(jīng)網(wǎng)絡(luò)的隨機初始化初值過程，由于DL的第一步不是隨機初始化，而是通過學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個初值更接近全局最優(yōu)，從而能夠取得更好的效果；所以deep learning效果好很大程度上歸功于第一步的feature learning過程。

nail78

1．數(shù)據(jù)不夠大，別玩深度學(xué)習(xí)？還是就算數(shù)據(jù)不夠大，也能玩深度學(xué)習(xí)。
從技術(shù)層面上來說，數(shù)據(jù)不夠大，也是能玩深度學(xué)習(xí)的，通過dropout或卷積神經(jīng)網(wǎng)絡(luò)，是能夠把少量數(shù)據(jù)的擴大的，從而避免訓(xùn)練模型因數(shù)據(jù)少而不能收斂。關(guān)鍵是訓(xùn)練模型的數(shù)據(jù)集的分布是否就能代表整個數(shù)據(jù)集的分布，不然訓(xùn)練出來的模型會過擬合的，而不適合整個數(shù)據(jù)集。

heguangwu

這是一個很高深的話題，我只能仰望

yejia80550708

回復(fù) 4# heguangwu

隨意談?wù)撟约宏P(guān)于深度學(xué)習(xí)的一些想法也可以，或者對該領(lǐng)域有任何疑問也可以在此提出（也有禮物可以拿~）
其他人也可以回答討論關(guān)于你提出的問題呢（討論出彩都有禮物拿的呢）

fenyun689

1．數(shù)據(jù)不夠大，別玩深度學(xué)習(xí)？還是就算數(shù)據(jù)不夠大，也能玩深度學(xué)習(xí)。
數(shù)據(jù)不夠大，別玩深度學(xué)習(xí).深度學(xué)習(xí)要數(shù)據(jù)達到一定的基礎(chǔ)。太少的數(shù)據(jù)很難有用的價值。

william_djj

回復(fù) 1# yejia80550708
A：請說出蘿莉的特征
B：蘿莉的特征是萌！
A：萌的特征是？
B：哥特裙 + 小花傘 + 嬌小身 + 公主臉 + 白絲襪 + 內(nèi)八站 + 。。。
A：你毫無深度可言。。。
B：那你說是啥！
A：深度卷積 + 海量蘿莉?qū)懻婕?br /> B：##￥%&#@#￥*��！

這就很好的說出了深度學(xué)習(xí)的特質(zhì)，就是海量數(shù)據(jù)加復(fù)雜的網(wǎng)絡(luò)。如果沒有海量數(shù)據(jù)支撐，如何驗證結(jié)果預(yù)判的正確性，通俗點說，如果沒有大量的御姐，淑女，小清新女對比，又怎么凸顯蘿莉的特征。而近來的模型也是構(gòu)建復(fù)雜層次的網(wǎng)絡(luò)，通過大量的數(shù)據(jù)訓(xùn)練出來，結(jié)構(gòu)決定的要有大量數(shù)據(jù)驗證。所以俺認為沒了海量的數(shù)據(jù)，確實沒有深度學(xué)習(xí)可言了。

lbseraph

1．數(shù)據(jù)不夠大，別玩深度學(xué)習(xí)？還是就算數(shù)據(jù)不夠大，也能玩深度學(xué)習(xí)。
   個人覺得數(shù)據(jù)大不大和能不能玩深度學(xué)習(xí)之間不是絕對的因果關(guān)系，否則很多學(xué)校里面教深度學(xué)習(xí)都沒用，因為大部分都沒有足夠大的數(shù)據(jù)量。用少量的數(shù)據(jù)來學(xué)習(xí)深度學(xué)習(xí)的算法、框架不是不可以，但如果真正需要訓(xùn)練出一個好的DL模型，數(shù)據(jù)不夠的缺點就會凸顯了。

2．深度學(xué)習(xí)中，訓(xùn)練模型需要多少數(shù)據(jù)？應(yīng)該如何發(fā)掘這些數(shù)據(jù)？
   深度學(xué)習(xí)里面，看你的訓(xùn)練模型復(fù)雜程度，如果是簡單的模型可能要求的數(shù)據(jù)量不多，不過數(shù)量不多的時候很可能造成過擬合；就我的理解來說，這種情況也就是供你學(xué)習(xí)深度學(xué)習(xí)的一個途徑。很多時候，深度學(xué)習(xí)適合處理高維空間的學(xué)習(xí)，但在維度增加的時候所需要的樣本數(shù)是呈指數(shù)級增長的，比如Lipschitz連續(xù)的函數(shù)，其error rate在高維度比低維度函數(shù)需要的樣本數(shù)多太多了。

3．深度學(xué)習(xí)對無監(jiān)督數(shù)據(jù)的學(xué)習(xí)能力嚴重不足，那么要解決的是有監(jiān)督學(xué)習(xí)問題，還是無監(jiān)督學(xué)習(xí)問題？如果是無監(jiān)督學(xué)習(xí)問題，如何獲取無監(jiān)督學(xué)習(xí)能力？
   個人覺得長遠來說，還是無監(jiān)督數(shù)據(jù)的學(xué)習(xí)更重要，因為這可以讓AI去發(fā)現(xiàn)新領(lǐng)域和獲取新知識（人類目前沒有接觸的領(lǐng)域和知識）。而有監(jiān)督學(xué)習(xí)在有足夠的人提供和訓(xùn)練數(shù)據(jù)（比如數(shù)據(jù)公司開放數(shù)據(jù)后，網(wǎng)絡(luò)上的人都可以訓(xùn)練），能得到很高的準確率，但其實這個更多是人為的。無監(jiān)督數(shù)據(jù)的學(xué)習(xí)在短期內(nèi)估計還是比不上無監(jiān)督數(shù)據(jù)的學(xué)習(xí)，個人覺得可能是機器的AI水平還比較低，如果機器的AI到一定程度后，無監(jiān)督數(shù)據(jù)的學(xué)習(xí)就不是問題了。

4． 腦神經(jīng)科學(xué)的進步為深度模型的發(fā)展提供更多的可能性，深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化問題的困難性是阻礙它們成為主流的一個重要因素，優(yōu)化神經(jīng)網(wǎng)絡(luò)的“困難性”在哪里？
    網(wǎng)絡(luò)越深，優(yōu)化問題就越來越難。另外優(yōu)化的方法、運算的機器和硬件等等都會影響神經(jīng)網(wǎng)絡(luò)的優(yōu)化過程，也許，如果量子計算機普及后，甚至出現(xiàn)50比特位的量子計算機后，這些都不是問題了。