【數(shù)據(jù)挖掘系列討論】數(shù)據(jù)挖掘編程工具大討論--R和Ruby（獲獎名單已公布-2013-6-7）

send_linux

jamesr 發(fā)表于 2013-03-06 13:39
玩過一點R，只知道R是functional的。

嗯，現(xiàn)在做數(shù)據(jù)分析據(jù)說這個很火，而且現(xiàn)在大數(shù)據(jù)和數(shù)據(jù)分析的熱浪已經(jīng)在國內(nèi)掀起，不知道兄臺是否能夠分享一下R的入門常識呢？

fengyun530

1、您在數(shù)據(jù)挖掘和數(shù)據(jù)分析中使用何種編程語言，有何經(jīng)驗？

   在WEB開發(fā)里一直用PHP，曾用過RUBY和PHP做些簡單的數(shù)據(jù)分析。我不是專門做數(shù)據(jù)分析的。不過看數(shù)據(jù)分析人員居然還停留在計算器和一些SQL工具上。而且做的事情還有點死板。

2、Ruby和R語言的配合，在數(shù)據(jù)分析中優(yōu)缺點是什么？
   很早就聽說過R，但是一直沒有用過R語言。對數(shù)據(jù)分析也只是知道一點皮毛。

    有一點不明白，這本書和PHP中高級開發(fā)人員有何直接關(guān)系？書名是《R和Ruby數(shù)據(jù)分析之旅》，但是介紹里卻是：本書系統(tǒng)歸納和深刻解讀了PHP開發(fā)中的編程思想、底層原理、核心技術(shù)、開發(fā)技巧、編碼規(guī)范和最佳實踐。

G65535

通過令人抓狂的SQL腳本，進行過簡單的數(shù)據(jù)分析。。。

fender0107401

語言不是問題，關(guān)鍵看哪個的相關(guān)庫多。

baixinghr

只要你對技術(shù)有熱情 ，自認為很聰明，還有一些些小癖好小堅持就更好了，百姓網(wǎng)歡迎你這朵奇葩！是騾子是馬咱們拿出來溜溜就知道啦！高手過招，請發(fā)簡歷至hr@baixing.com

數(shù)據(jù)倉庫工程師

必須的條件：
（1）數(shù)據(jù)倉庫、BI系統(tǒng)1年以上的工作經(jīng)驗，必須有實際項目經(jīng)驗；
（2）熟悉并在實際項目中應(yīng)用過SQL Server、Oracle、DB2、MySql、Postgresql這幾種關(guān)系型數(shù)據(jù)庫中的一種或幾種；
（3）熟悉并在實際項目中應(yīng)用過SSRS、Cognos、Brio、Microstrategy、BO這幾種報表系統(tǒng)中的一種或幾種；
（4）熟悉數(shù)據(jù)倉庫模型的概念；
（5）程序設(shè)計和開發(fā)能力，以下技能是必備的：Linux Shell Programming，Java (J2SE) Programming，腳本語言 Perl/PHP/Python/Ruby 中至少一種；
加分條件：
（1）熟悉并在項目中實際應(yīng)用過Microsoft SQL Server 2008、SSRS、SSAS;
（2）研究或在項目中實際應(yīng)用過Hadoop Hive；
軟技巧：
（1）良好的溝通、梳理、總結(jié)能力；
（2）面向非技術(shù)人員進行培訓的能力；


系統(tǒng)工程師

技能要求：

Linux愛好者，2年以上的Linux運維經(jīng)驗（必須項）
獨立維護過多臺服務(wù)器，能處理常見的硬件問題必須項）
熟悉TCP/IP會話過程和相關(guān)系統(tǒng)命令，如熟悉Linux下的防火墻配置必須項）
熟悉Shell編程(必須項）
本科及以上學歷(必須項）
有責任感，能讓人放心地把事情做好
思路清晰，思維敏捷，能快速定位和解決問題
有交換機/路由器等網(wǎng)絡(luò)設(shè)備管理經(jīng)驗的為佳（加分項）

更多職位需求，請點擊jobs.baixing.com  

Monox

jamesr 發(fā)表于 2013-03-06 17:44 R的作圖功能（好像是使用gnuplot）也很強大

不，R 的作圖功能使用的不是 gnuplot，使用 gnuplot 的是 Octave，Octave 語法和 MatLab 很像，可以認為是 MatLab 的一個開源實現(xiàn)。而相對的 R 軟件是對 AT & T 設(shè)計的 S 語言的一個開源實現(xiàn)，R 有兩個作圖系統(tǒng)，一個基本的 graphics 系統(tǒng)是源自 S 語言的繪圖系統(tǒng)，提供一般的科技圖形支持，滿足常規(guī)的科技圖形輸出。后來，有人提出 panel 形式的新的數(shù)據(jù)展示形式，S 語言在修訂中實現(xiàn)了這個新的繪圖系統(tǒng)（不記得名字了）。然后，R 語言也想實現(xiàn)這個新的繪圖系統(tǒng)，不過，這次它沒有去實現(xiàn) S 語言的作法，而是重頭開始實現(xiàn)一個并列于基本 graphics 系統(tǒng)的圖像系統(tǒng)叫 grid，然后基于這個 grid 實現(xiàn)了 panel 形式的數(shù)據(jù)展示模塊，稱作 tetris。為了向后兼容，R 默認只載入 graphics 系統(tǒng)，grid 系統(tǒng)需要手動載入。不過，grid 系統(tǒng)提供了現(xiàn)代繪圖系統(tǒng)常見的 primitive，除了可以繪制有坐標軸的科技圖形外，繪制沒有坐標軸的其它圖形也很方便。grid 系統(tǒng)在設(shè)計上具有很多優(yōu)點，因此 R 軟件倉庫里提供的大多數(shù)圖形模塊都是基于 grid 系統(tǒng)實現(xiàn)的。R 支持輸出各種格式的圖形輸出，包括像素圖和矢量圖，這些格式有低層的圖形引擎實現(xiàn)。我在工作中常使用的是 pdf 格式的輸出。不過，有兩個引擎支持 pdf 輸出格式，一個是很早就實現(xiàn)的內(nèi)建的 pdf 引擎（通過 pdf()調(diào)用），這個引擎存在一個很大的問題，就是 Unicode 的支持很有限，操作比較麻煩，不過，對于只需要 ASCII 輸出的繪圖任務(wù)遠遠足夠。最近引入的另一個引擎基于 cairo 庫實現(xiàn)，提供的 pdf 輸出原生支持 Unicode，對于需要使用中文的比如中國學生，建議使用這個輸出引擎（通過 cairo.pdf()調(diào)用）。對于網(wǎng)頁開發(fā)者來說，R 也可以輸出 SVG 的格式（至少我所知道的，cairo 引擎提供了 SVG 輸出）。R 的繪圖系統(tǒng)有一點是大多數(shù)統(tǒng)計軟件沒法比的，那就是它提供了與 TeX 系統(tǒng)類似的數(shù)學公式標注功能。因為這個基本的數(shù)學標注功能已經(jīng)滿足我的需求，不滿足的時候我都使用 MetaPost/MetaFun 實現(xiàn)，所以沒去關(guān)注 R 的 pgf (甚至可能有 MetaPost) 引擎，不過我想說的是這樣的引擎是有的（雖然目前好像是由第三方模塊提供的功能，不過即使不想使用第三方模塊提供的輸出引擎，R 很早之前就實現(xiàn)的 pictex 輸出引擎也可以很方便的與 TeX 系統(tǒng)整合），可以直接與 TeX 系統(tǒng)整合。

上面一大段都是關(guān)于 R 的繪圖的，因為繪圖功能是 R 的一大賣點嘛。接下來說說其統(tǒng)計方面。R 內(nèi)建常見的統(tǒng)計模形，對于一般的分布，回歸等各類統(tǒng)計分析需求都可以滿足，對于矩陣運算也提供很好的支持。而且 R 的很多函數(shù)是通過 C 語言或者 Fortran 語言實現(xiàn)，如有需要你自己也可以很方便的用 C 語言或者 Fortran 語言對 R 進行擴展。不過，R 語言（目前）不適合處理大批量數(shù)據(jù)，一是內(nèi)存限制，二是速度。關(guān)于內(nèi)存問題，已經(jīng)有開發(fā)人員在實現(xiàn) R 的大內(nèi)存數(shù)據(jù)支持實現(xiàn)。關(guān)于速度問題，最近引入的 compile 模塊可以把 R 模塊編譯成字節(jié)碼，從而提高速度，此 compile 模塊在編譯 R 的時候現(xiàn)在已經(jīng)默認啟用。不過 R 設(shè)計上的問題，特別是 R 沒有標量，只有矢量數(shù)據(jù)類型，導致 R 沒必要的使用了大量內(nèi)存，并使速度大幅降低，因此也有人主張重新實現(xiàn) R。R 的創(chuàng)始人之一也是 R 圖形系統(tǒng)的主要實現(xiàn)者和維護者（名字懶得去查了），曾建議把 R 的統(tǒng)計及繪圖功能移植到 Lisp (可能是 Scheme 而不是 Lisp，不記得了，不過 Scheme 本身也可以認為是 Lisp 的一個分支吧)語言上，他發(fā)表過一篇文章詳細的說明在 Lisp 上做統(tǒng)計是多么方便，然后效率是多么高，幾乎可以和 C 媲美，不過很可能這個項目已經(jīng)死了吧，至少我找不到最新的進展。有很多其它嘗試重新實現(xiàn) R 的項目也都死掉了，目前我知道的還活著的一個項目是正在用 C++ 重寫 R，這個項目大概叫 CXRR 還是 RCXX 什么之類的吧，忘了。

R 語言里把函數(shù)作為第一類值，很多人把 R 歸為函數(shù)式語言，不過 R (S) 的設(shè)計借鑒了很多種語言，包括函數(shù)式語言以及面向?qū)ο笳Z言，R 也支持對象的概念，可以使用面向?qū)ο蠓绞綄崿F(xiàn)數(shù)據(jù)操作。其實我想說的是，雖然很多人把 R 歸為函數(shù)式語言，但是 R 語言很容易學會和使用（在一個星期內(nèi)學會 R 是可能的），不會像 Haskell 那樣的純函數(shù)式語言讓很多人望而生畏，或者要投入很多精力，把大腦 reset 才能掌握。

還有，R 也提供把數(shù)據(jù)轉(zhuǎn)換成網(wǎng)頁形式的功能，對于統(tǒng)計報表的公共展示可以削除網(wǎng)站搭建的大多數(shù)工作。

接下來談?wù)?Ruby，我以前是使用 Perl 的，不過，Ruby 是更現(xiàn)代的實現(xiàn)面向?qū)ο蟮恼Z言，因此我后來更多的使用 Ruby。Ruby 提供大多數(shù) Perl 的功能，而且代碼簡潔美觀。不過，我在使用 Ruby 的過程中總有一種感覺，就是 Ruby 語言本身像一個半成品一樣，有很多它應(yīng)該支持的功能卻沒有實現(xiàn)，并不是說不實現(xiàn)這些功能就沒辦法工作，而是讓人感覺只有實現(xiàn)了那些功能才是 Rubist，因為 Ruby 的目標是讓編程變得愉快。舉個例子，連 R 都實現(xiàn)的具名參數(shù)函數(shù)定義和調(diào)用，Ruby 卻不支持。還好，最近 Ruby 2.0 發(fā)布了，剛才舉的那個例子它現(xiàn)在就已經(jīng)支持了，相信 Ruby 今后會更完善。

說到 R 和 Ruby 的結(jié)合，有一點特別要說的。我以前有個工作想在 Perl 里調(diào)用 R，不想用 Statistics::R 那種 dirty 的方法（該方法通過 system + print + read 實現(xiàn)），但是 RSPerl 模塊（通過 C 連接）卻幾年沒更新了，都沒法在新發(fā)布的 Perl 里使用，相對的 RRuby（大概不是 RSRuby 吧，具體名字我忘了） 模塊借鑒了 RSPerl 模塊以及 RPython 模塊的實現(xiàn)，并結(jié)合了 Ruby 語言的特點，這個模塊有很強的 Ruby 味道，設(shè)計得很不錯。對于從 Ruby 里調(diào)用 R 是一個相當不錯的選擇，它把 R 和 Ruby 無縫地結(jié)合起來，從而可以很好的解決 R 字符處理方面的不便，更重要的是可以充分利用 Ruby 的面向?qū)ο�，元編程等特性�?R 整合進一個大型系統(tǒng)中，提供可維護的高效的（Ruby 比 R 在處理很多問題上高效）設(shè)計良好的大型系統(tǒng)。

大邪神

用R的很多，但主要是在經(jīng)濟分析的人群中，作為SPSS、Excel、Matlab的替代。而Ruby在這個人群中基本沒有市場。所以，R和Ruby是一個錯位的人群。

Monox

大邪神 發(fā)表于 2013-03-07 15:16
用R的很多，但主要是在經(jīng)濟分析的人群中，作為SPSS、Excel、Matlab的替代。而Ruby在這個人群中基本沒有市場。所以，R和Ruby是一個錯位的人群。

在生物信息領(lǐng)域 R 的使用也比較廣泛（我相信 R 的用戶在其它一些領(lǐng)域也比較多），而不僅限于經(jīng)濟分析，而 Ruby/Python 作為生物信息傳統(tǒng)腳本分析語言 Perl 的代替品，受眾越來越廣闊，如今已經(jīng)占有一份天地，而且 BioRuby 模塊的設(shè)計上要比 BioPerl 來得好。所以 R 和 Ruby 的接合還是有可能的，更何況好的工具一般都可以向其它領(lǐng)域推廣，而我個人對生物信息領(lǐng)域稍了解一點，所以就提到了該領(lǐng)域。

By the way, 有人說 RoR 是 Ruby 的殺手锏，有另一部分人說 Ruby 被 RoR 給害了。我最近在找工作，但是作為一個生物科學畢業(yè)的學生而不是計算機畢業(yè)的學生想進入 IT 行業(yè)還真難，特別是平時都憑興趣學一大堆各種奇怪語言的業(yè)余編程愛好者來說。我還想著試試可不可以找個 Ruby 相關(guān)的工作來的，結(jié)果招聘條件都寫有必需熟悉 RoR，RoR 都成 Ruby 的代名詞了，或者說 Ruby 是 RoR 的代名詞可能更合適。