MongoDB＋Hadoop構(gòu)建MapReduce運算系統(tǒng)

中關(guān)村村草

MongoDB＋Hadoop構(gòu)建MapReduce運算系統(tǒng)

Hadoop 是一個開源的分布式的并行計算系統(tǒng)，其Map/Reduce 運算功能被廣泛地應(yīng)用在數(shù)據(jù)分析領(lǐng)域。mongo-hadoop 是一個將MongoDB 與Hadoop 相整合的開源工具。工具作者是10gen 的工程師，本文即是其作者對這一工具的思想及使用的介紹。

項目地址：https://github.com/mongodb/mongo-hadoop

文中關(guān)于為何不直接利用MongoDB的Map/Reduce 功能的回答：

必須Javascript語法（個人認(rèn)為這個無所謂，JS通俗易懂）
Javascript引擎的實現(xiàn)導(dǎo)致一個實例只能運行一個Map/Reduce線程
除非使用Sharding，否則MongoDB無法進(jìn)行真正的并行Map/Reduce運算
下面是完整slide：

The elephant in the room mongo db + hadoop

我是軟件狂

謝謝分享