為BI開個好頭--數(shù)據(jù)模型構(gòu)建概要

innovate511

為BI開個好頭--數(shù)據(jù)模型構(gòu)建概要


BI的 數(shù)據(jù)模型抽象過程，是對業(yè)務過程的再梳理，將線性的數(shù)據(jù)流，改造成多視角的立體數(shù)據(jù)。

那么有了數(shù)據(jù)模型的強大支持，數(shù)據(jù)分析才有了足夠發(fā)揮空間，數(shù)據(jù)分析之后就是BI的應用。在數(shù)據(jù)分析階段，用戶可以介入很少，就是提出分析的方向，由分析人員根據(jù)分析方向自由發(fā)揮，在BI應用階段，則需要用戶全程加入。


傳統(tǒng)的數(shù)據(jù)模型中，都是以常規(guī)的維度和事實來描述事務，這種模式下，BI應用要分析得更加深入，往往需要BI分析人員將DW的原始數(shù)據(jù)抽取出來（經(jīng)過清洗整合的數(shù)據(jù)還是比業(yè)務源數(shù)據(jù)好得多），然后自己再加工處理。這樣既增加了數(shù)據(jù)分析的難度，也增加了成本和風險。


觀察一下多少BI分析是這樣操作的，你就應該知道數(shù)據(jù)模型是否需要改進，反正我是這樣判斷的，如果有滿足不了分析的數(shù)據(jù)模型，我就會考慮模型再造，既是對公司BI的負責，也是自己的提高。我想包括很多XX牛項目，也存在這樣的情況吧，只不過如果分工很細的話，數(shù)據(jù)倉庫的數(shù)據(jù)模型再造較難推進，隨著當前企業(yè)多業(yè)務交錯融入，好的數(shù)據(jù)模型越來越難以設(shè)計。

如果對數(shù)據(jù)模型再造，來改進BI的現(xiàn)狀，就要再深入理解業(yè)務，可能需要抽象出新視角、新的維度，以及新的指標，來輔助數(shù)據(jù)分析更加深入透徹。

例如我在構(gòu)造電子商務數(shù)據(jù)模型的時候，不會依據(jù)電子商務5大數(shù)據(jù)源來構(gòu)建數(shù)據(jù)模型，而是依據(jù)電子商務業(yè)務本身來劃分專題、專題之間的相互關(guān)系等，構(gòu)思出了客戶訪問生命周期模型、客戶訂單生命周期模型、客戶生命周期模型、商品生命周期模型四大類，而且四大模型之間的影響關(guān)系也非常清晰，從這四大模型之中，完全看不到任何業(yè)務數(shù)據(jù)源的影子。

而在實體商企業(yè)中，商品生命周期模型，可以作為企業(yè)級生命周期的一部分，作為數(shù)據(jù)集市構(gòu)建，這樣避免重復開發(fā)，也能滿足電商的特殊性。作為品牌商經(jīng)營，這幾大模型就足夠了，不過如果作為零售代理商或電商平臺商，還需要有商品競爭對比模型，而品牌商有自主定價權(quán)，這類分析重要性沒那么大，主要在渠道特點的分析上。


如果我們的數(shù)據(jù)模型是根據(jù)業(yè)務系統(tǒng)的表結(jié)構(gòu)來構(gòu)建，那就只相當于有個物理模型，因為業(yè)務系統(tǒng)的業(yè)務數(shù)據(jù)都是線性的，無法直接拿來有效地分析，完全沒理清楚，從分析角度，需要哪些數(shù)據(jù)信息。例如電商業(yè)務系統(tǒng)會至少有訂單信息、付款、物流數(shù)據(jù)，也有點擊流日志數(shù)據(jù)、外部網(wǎng)站爬取數(shù)據(jù)、客服數(shù)據(jù)，然后還有企業(yè)方計劃數(shù)據(jù)。 像這些看似獨自獨立的數(shù)據(jù)，包含了業(yè)務運營的相關(guān)的全過程，以及相關(guān)影響信息，所以數(shù)據(jù)模型就需要按照上述專題進行描述。因為這樣的描述，可以衍生新的維度、指標，將業(yè)務描述清晰，從而將靜態(tài)的業(yè)務數(shù)據(jù)，在BI數(shù)據(jù)模型中，演變成可以多層次、多視角動態(tài)分析的立體模型。

另外說一個項目開發(fā)問題，正因為我的數(shù)據(jù)建模未太多依賴數(shù)據(jù)源表結(jié)構(gòu)，BI的導入也非常快，數(shù)據(jù)模型實現(xiàn)建好，拿到數(shù)據(jù)就可以順利導入，數(shù)據(jù)分析也隨即展開，BI應用也逐步和用戶討論。

innovate511

有朋友在QQ里提到，模型應該有層次的，不能混在一起。不過層次的設(shè)計是一門技術(shù)，是模型設(shè)計的一部分，所以概要帖子短短數(shù)百字就沒辦法說了。

數(shù)據(jù)模型的主題設(shè)計，肯定是有層次關(guān)系的，其中物理模型的層次關(guān)系，在INMON的書中描述的比較清楚，邏輯模型的層次關(guān)系，在KIMBALL的書中描述的比較清楚。只不過業(yè)務模型的層次關(guān)系，二者好像都未提到。

記得以前參與的基于CRM的國際大項目，主題分為4個層次，每個層次相對獨立的建模、相對獨立的ETL，但是都互相有數(shù)據(jù)接口，這是由他們業(yè)務層次決定的。

在我舉的例子中，訪問訂單生命周期需要訪問生命周期的分析支持，而訂單生命周期結(jié)合訪問生命周期，就是更高一層的用戶生命周期的支撐，只不過用戶生命周期除了上述2個外，還需要客服等業(yè)務的加入的支持。商品生命周期與用戶生命周期，他們之上，就是戰(zhàn)略和財務這個級別的層級。

innovate511

現(xiàn)在就說到數(shù)據(jù)模型來進行數(shù)據(jù)分析了。就拿大家常見的客戶行為分析，從我舉的例子中可以看出，客戶行為分析其實可以貫穿全部數(shù)據(jù)模型，因為任何一個專題，都可能影響客戶的行為，包括商品生命周期。 那反過來說，我們能不能設(shè)計模型的時候，從客戶行為來設(shè)計呢？

我想如果以數(shù)據(jù)分析，甚至BI應用層面作為數(shù)據(jù)模型構(gòu)建的基礎(chǔ)，那是十分荒謬的。這也是為啥要將數(shù)據(jù)模型、數(shù)據(jù)分析、BI應用作為三個階段獨立又結(jié)合上下層關(guān)系考慮。


眾所周知，客戶行為的分析，必須從哪些地方可能影響客戶行為入手，例如電商，就包括商品（商品品類和價格為主）是否符合預期、網(wǎng)站是否能幫助他快速找到合適的商品（包括商品描述是否能讓客戶足夠知曉）、下單和付費是否滿足客戶的習慣、出貨和快遞是否及時、商品到貨后是否達到他預期、客服服務是否及時滿意、是否根據(jù)客戶的需求有相關(guān)活動等對客戶有利的提醒、提示，等等。


那如果你要根據(jù)這些東西來建模，勢必雜亂無章。當你有新的因素導致客戶行為變化的時候， 是否又有進行模型改變？ 所以根據(jù)數(shù)據(jù)分析來進行數(shù)據(jù)建模，是十分荒謬的。


那么基于數(shù)據(jù)模型，如何進行數(shù)據(jù)分析呢？我想至少有2個出發(fā)點進行分析，一是客戶的需求方向進行分析，二是從數(shù)據(jù)異常入手進行分析。如果客戶只提出要幾張報表，那么可能是客戶定位這個系統(tǒng)就是報表系統(tǒng)，而非BI系統(tǒng)，或者客戶想建BI系統(tǒng)，但不知道BI是何物，以為BI就是更方便地出他們原有的報表而已。


就拿客戶分析來說，針對不同行業(yè)不同企業(yè)的特點，有著不同的分析目的，這需要多和客戶交流確認分析目的。二是客戶數(shù)據(jù)異常分析，包括客戶生命周期變化、訪問周期異常、商品喜好購買異常。

innovate511

沒關(guān)系，老帖子了

zhlin0054

感謝各位的分享