foursquare 的數(shù)據(jù)分析系統(tǒng)（Hadoop+Hive+Redis+MongoDB）

三里屯搖滾

foursquare 的數(shù)據(jù)分析系統(tǒng)（Hadoop+Hive+Redis+MongoDB）

foursquare 作為當(dāng)下最火熱的LBS應(yīng)用，其checkin數(shù)據(jù)在去年已經(jīng)達到了4億次，面對龐大的數(shù)據(jù)，他們搭建了一套數(shù)據(jù)分析系統(tǒng)。本文就是對此系統(tǒng)的一個介紹。

原文鏈接：http://goo.gl/lfwlg

先上高清大圖：



•分析系統(tǒng)利用Hadoop 的Map/Reduce 功能來進行數(shù)據(jù)分析，多臺機器組成集群進行并行計算。
•在Hadoop上層用Hive 完成數(shù)據(jù)接口轉(zhuǎn)換功能。Hive 是一個將Hadoop封閉成類似于SQL數(shù)據(jù)庫的中間層組件。
•在用戶與數(shù)據(jù)分析中間，是一個由Redis，MongoDB 和 Rails 組成的數(shù)據(jù)服務(wù)器，它充當(dāng)獲取數(shù)據(jù)的中間角色，讓數(shù)據(jù)分析系統(tǒng)與用戶完全分離。

冰釋一片天

謝謝分享