本帖最后由 renxiao2003 于 2018-06-03 22:16 編輯
沙發(fā)先坐上。
1.目前，機(jī)器學(xué)習(xí)的常用開源工具有哪些？（以下內(nèi)容來(lái)看成CSDN，確實(shí)總結(jié)的不錯(cuò)。）
研究數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)有一段時(shí)間了，對(duì)數(shù)據(jù)挖掘來(lái)說(shuō)，商用軟件有SAS、 Clementine、Oracle數(shù)據(jù)挖掘組件等等；由于個(gè)人學(xué)習(xí)和版權(quán)、算法定制等問(wèn)題，開源的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)軟件(庫(kù))目前也十分必需，現(xiàn)在就跟大家介紹下比較流行和常用的機(jī)器學(xué)習(xí)開源庫(kù)。
以前在學(xué)校用過(guò)matlab，說(shuō)實(shí)話真方便，通常一個(gè)模型只要幾十行甚至十幾行代碼就能搞定，但是正版matlab較貴，而且不太適合商業(yè)開發(fā)使用，所以工業(yè)界使用它的并不多(通信行業(yè)、研究所比較普遍)；相應(yīng)地，在工業(yè)界機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的實(shí)驗(yàn)語(yǔ)言多為java、python,因?yàn)?python與C\C++具有先天的血緣，所以python更容易擴(kuò)展；java的機(jī)器學(xué)習(xí)庫(kù)也十分流行，主要體現(xiàn)在大數(shù)據(jù)下的jvm的本質(zhì)和算法并行化的優(yōu)勢(shì)；現(xiàn)推薦給大家以下學(xué)習(xí)庫(kù)：
1.機(jī)器學(xué)習(xí)開源軟件網(wǎng)（收錄了各種機(jī)器學(xué)習(xí)的各種編程語(yǔ)言學(xué)術(shù)與商業(yè)的開源軟件）
http://mloss.org
2 偶爾找到的機(jī)器學(xué)習(xí)資源網(wǎng)：（也非常全，1和2基本收錄了所有ML的經(jīng)典開源軟件了）
http://www.dmoz.org/Computers/Artificial_Intelligence/Machine_Learning/Software/
3 libsvm （支持向量機(jī)界最牛的，不用多說(shuō)了，臺(tái)灣大學(xué)的林教授的杰作）
http://www.csie.ntu.edu.tw/~cjlin/libsvm/
4 WEKA （基于java的機(jī)器學(xué)習(xí)算法最全面最易用的開源軟件）
http://www.cs.waikato.ac.nz/ml/weka/
5 scikit (本人最喜歡的一個(gè)基于python的機(jī)器學(xué)習(xí)軟件，代碼寫得非常好，而且官方的文檔非常全，所有都有例子，算法也齊全，開發(fā)也活躍
，強(qiáng)烈推薦給大家用）
https://pypi.python.org/pypi/scikit-learn/
6 OpenCv(最牛的開源計(jì)算機(jī)視覺(jué)庫(kù)了，前途無(wú)可限量，做圖像處理與模式識(shí)別的一定要用，總不能整天抱著matlab做實(shí)驗(yàn)和工業(yè)界脫節(jié)吧，但是有一定難度)
http://opencv.willowgarage.com/wiki/
7 Orange (基于c++和python接口的機(jī)器學(xué)習(xí)軟件，界面漂亮，調(diào)用方便,可以同時(shí)學(xué)習(xí)C＋＋和python，還有可視化的功能，）
http://orange.biolab.si/
8 Mallet (基于JAVA實(shí)現(xiàn)的機(jī)器學(xué)習(xí)庫(kù)，主要用于自然語(yǔ)言處理方面，特色是馬爾可夫模型和隨機(jī)域做得好，可和WEKA互補(bǔ)）
http://mallet.cs.umass.edu/
9 NLTK(PYTHON的自然處理開源庫(kù)，非常易用，也強(qiáng)大，還有幾本orelly的經(jīng)典教程）
http://nltk.org/
10 lucene(基于java的包括nutch,solr,hadoop,mahout等全套，是做信息檢索和搜索引擎的同志們必學(xué)的開源軟件了，學(xué)JAVA的必學(xué)）
http://lucene.apache.org/
Additional：
1.pyml(a python module for machine learning，支持svm/knn/k-means==)
http://mlpy.sourceforge.net/
2.mahout(阿帕奇基金下項(xiàng)目，其主要是可以與hadoop進(jìn)行天然結(jié)合，從而并行運(yùn)行，在魯棒性方面很好)
http://mahout.apache.org/
3.milk(python的機(jī)器學(xué)習(xí)工具包，主要是針對(duì)監(jiān)督學(xué)習(xí)，包括svm/knn/決策樹)
http://pypi.python.org/pypi/milk/
4.Octave(Andrew NG課上推薦使用的，類似matlab)
http://www.gnu.org/software/octave/
2.您是否接觸到此方面的業(yè)務(wù)？（比如人臉識(shí)別系統(tǒng)，過(guò)濾垃圾郵件，記錄用戶特征等）如果接觸類似的業(yè)務(wù)，在系統(tǒng)搭建過(guò)程中，是基于哪種學(xué)習(xí)框架？
我沒(méi)有做這個(gè)，但我們部門確實(shí)有做機(jī)器學(xué)習(xí)的。使用的是tensorflow，我們的小隊(duì)友天天研究這個(gè)。書也好幾本。用的是Python語(yǔ)言。不過(guò)我是做純軟件開發(fā)的，不太了解這方面的知識(shí)。
3.您了解Scikit-Learn？結(jié)合應(yīng)用場(chǎng)景，您認(rèn)為其優(yōu)質(zhì)何在？（以下內(nèi)容來(lái)自CSDN）
Scikit-Learn是用Python開發(fā)的機(jī)器學(xué)習(xí)庫(kù)，其中包含大量機(jī)器學(xué)習(xí)算法、數(shù)據(jù)集，是數(shù)據(jù)挖掘方便的工具。 Scikit-Learn的安裝可使用pip工具，在安裝前需要安裝NumPy和SciPy，打開一個(gè)命令行中端并輸入： $pip install -U scikit-learn 基本操作： 1.數(shù)據(jù)加載： 對(duì)于csv文件，pandas庫(kù)提供的pandas.read_csv能夠快速的加載并根據(jù)提供的參數(shù)可進(jìn)行數(shù)據(jù)的處理，生成DataFrame: import pandas as pd df=pd.read_csv('data.csv') http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html（pandas api）
對(duì)于具有一定格式的文本文件或二進(jìn)制文件，可使用NumPy進(jìn)行數(shù)據(jù)加載： import numpy as np data_file='dataset.txt' X=np.load_txt(data_file)
對(duì)于其他格式的文件，可以自由處理并加載到二維數(shù)組中，最終可生成DataFrame 2.數(shù)據(jù)處理： 在將數(shù)據(jù)加載到DataFrame中后可方便地對(duì)數(shù)據(jù)進(jìn)行處理，也可以方便地進(jìn)行特征選擇與提取 import pandas as pd df = pd.read_csv('data.csv') df.columns = ['id','name','time']#設(shè)置數(shù)據(jù)的特征名 df.set_index('id')#設(shè)置索引 df['age'] = 0 #添加新的屬性age，并全部賦值為0 for i,row in df.iterrows(): #逐行遍歷dataframe #body of for http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.html（DataFrame Api）
3.一個(gè)分類的例子： 用決策樹預(yù)測(cè)獲勝球隊(duì)（來(lái)自《Learning Data Mining With Python》） 采集數(shù)據(jù)：http://www.basketball-reference.com/leagues/NBA_2014_games.html提供了2013-2014的比賽勝負(fù)數(shù)據(jù)，不過(guò)已經(jīng)無(wú)法一鍵導(dǎo)出csv了，需要一個(gè)月份一個(gè)月份地進(jìn)行csv的復(fù)制 樣例數(shù)據(jù)如下：
將所有數(shù)據(jù)保存到文本文件并另存為CSV文件以便后面的使用。 接下來(lái)就是加載我們的CSV文件：data.csv import numpy as np import pandas as pd dataset = pd.read_csv('data.csv') #注意文件在自己電腦中的路徑 print dataset.ix[:5] #查看前5行數(shù)據(jù) 數(shù)據(jù)處理： read_csv函數(shù)有一定的數(shù)據(jù)處理能力，所以我們修改一下剛剛的代碼 dataset = pd.read_csv('data.csv',parse_dates=["Date"],skiprows=[0,]) #將'Date'屬性轉(zhuǎn)換為了標(biāo)準(zhǔn)日期類型，省略了第一行 dataset.columns = ["Date","Score_Type","Visitor Team","VisitorPts","Home Team","HomePts","OT?","Notes"]
提取新的特征： dataset['HomeWin'] = dataset["VisitorPts"] < dataset["HomePts"] y_true = dataset['HomeWin'].values #提取出一列數(shù)據(jù) #創(chuàng)建字典存儲(chǔ)球隊(duì)上次比賽的結(jié)果 from collections import defaultdict won_last = defaultdict(int) for index,row in dataset.iterrows()： home_team = row["Home Team"] visitor_team = row["Visitor Team"] row["HomeLastWin"] = won_last[home_team] row["VisitorLastWin"] = won_last[visitor_team] dataset.ix[index] = row win_last[home_team] = row["HomeWin"] win_last[visitor_team] = not row["HomeWin"] 使用決策樹： from sklearn.trree import DecisionTreeClassifier clf = DecisionTreeClassifier(random_state=14) X_previouswins = dataset[["HomeLastWin","VisitorLastWin"]].values scores = cross_val_score(clf,X_previouswins ,y_true,scoring='accuracy') 看了看似乎所有的機(jī)器學(xué)習(xí)庫(kù)都是Python的。有空我要抓緊學(xué)習(xí)一下Python了。
| 
免費(fèi)注冊(cè)
發(fā)表于 2018-05-30 13:50
