foursquare 的數(shù)據(jù)分析系統(tǒng)（Hadoop+Hive+Redis+MongoDB）

凝望長空

foursquare 的數(shù)據(jù)分析系統(tǒng)（Hadoop+Hive+Redis+MongoDB）
作者：nosqlfan on 星期三, 三月 16, 2011 · 評論本文 【閱讀：2,928 次】

foursquare 作為當下最火熱的LBS應用，其checkin數(shù)據(jù)在去年已經(jīng)達到了4億次，面對龐大的數(shù)據(jù)，他們搭建了一套數(shù)據(jù)分析系統(tǒng)。本文就是對此系統(tǒng)的一個介紹。

原文鏈接：http://goo.gl/lfwlg

先上高清大圖：



分析系統(tǒng)利用Hadoop 的Map/Reduce 功能來進行數(shù)據(jù)分析，多臺機器組成集群進行并行計算。
在Hadoop上層用Hive 完成數(shù)據(jù)接口轉(zhuǎn)換功能。Hive 是一個將Hadoop封閉成類似于SQL數(shù)據(jù)庫的中間層組件。
在用戶與數(shù)據(jù)分析中間，是一個由Redis，MongoDB 和 Rails 組成的數(shù)據(jù)服務器，它充當獲取數(shù)據(jù)的中間角色，讓數(shù)據(jù)分析系統(tǒng)與用戶完全分離。

清風鳥兒

謝謝分享