亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

  免費注冊 查看新帖 |

Chinaunix

  平臺 論壇 博客 文庫
最近訪問板塊 發(fā)新帖
查看: 25607 | 回復: 2
打印 上一主題 下一主題

[其他] 苦惱！尋求一種工具分析大文本數(shù)據(jù) [復制鏈接]

論壇徽章:
0
跳轉到指定樓層
1樓 [收藏(0)] [報告]
發(fā)表于 2016-07-12 16:51 |只看該作者 |倒序瀏覽
各位大大們，大家好！
　　
　　　我現(xiàn)在遇到一個較為困難的事，需要分析近２０Ｇ　大小的文本文件，文本其實是csv文本，里面有各樣的記錄信息�，F(xiàn)在領導想分析和提取。之前的伙計用的方法是將其全導入ＭＹＳＱＬ再用ＳＱＬ提數(shù)匯總計算，但是這樣效率超級慢�！�
　　　請問有什么可以提高處理效率的方法呢？因為是離線分析，其實時間在２個小時內都可以接受�！∥铱紤]是否可以使用：Hadoop？還是Ｒ語言還是perl還是bash+awk就行了？搞不懂了。大在們有什么建議嗎

論壇徽章:
33
榮譽會員 日期:2011-11-23 16:44:17天秤座 日期:2014-08-26 16:18:20天秤座 日期:2014-08-29 10:12:18丑牛 日期:2014-08-29 16:06:45丑牛 日期:2014-09-03 10:28:58射手座 日期:2014-09-03 16:01:17寅虎 日期:2014-09-11 14:24:21天蝎座 日期:2014-09-17 08:33:55IT運維版塊每日發(fā)帖之星 日期:2016-04-17 06:23:27操作系統(tǒng)版塊每日發(fā)帖之星 日期:2016-04-18 06:20:00IT運維版塊每日發(fā)帖之星 日期:2016-04-24 06:20:0015-16賽季CBA聯(lián)賽之天津 日期:2016-05-06 12:46:59
2樓 [報告]
發(fā)表于 2016-07-12 18:26 |只看該作者
perl就可以。

如果真的2小時可接受的話。

論壇徽章:
10
數(shù)據(jù)庫技術版塊每日發(fā)帖之星 日期:2015-06-14 22:20:00數(shù)據(jù)庫技術版塊每日發(fā)帖之星 日期:2016-03-10 06:20:00數(shù)據(jù)庫技術版塊每日發(fā)帖之星 日期:2015-12-01 06:20:00IT運維版塊每日發(fā)帖之星 日期:2015-11-09 06:20:00IT運維版塊每日發(fā)帖之星 日期:2015-11-02 06:20:00IT運維版塊每日發(fā)帖之星 日期:2015-07-13 22:59:28IT運維版塊每日發(fā)帖之星 日期:2015-06-23 22:20:00程序設計版塊每日發(fā)帖之星 日期:2015-06-21 22:20:00每日論壇發(fā)貼之星 日期:2015-06-14 22:20:00IT運維版塊每日發(fā)帖之星 日期:2016-08-02 06:20:00
3樓 [報告]
發(fā)表于 2016-07-30 09:30 |只看該作者
使用mongo，或hbase，可以給我發(fā)一部分數(shù)據(jù)，我?guī)湍惴治鱿隆?a href="mailto:hiyachen@163.com">hiyachen@163.com 回復 1# ipv6ok


   
您需要登錄后才可以回帖 登錄 | 注冊

本版積分規(guī)則 發(fā)表回復

  

北京盛拓優(yōu)訊信息技術有限公司. 版權所有 京ICP備16024965號-6 北京市公安局海淀分局網監(jiān)中心備案編號：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年舉報專區(qū)
中國互聯(lián)網協(xié)會會員  聯(lián)系我們：huangweiwei@itpub.net
感謝所有關心和支持過ChinaUnix的朋友們 轉載本站內容請注明原作者名及出處

清除 Cookies - ChinaUnix - Archiver - WAP - TOP