在整個數(shù)據(jù)體系建設(shè)過程中數(shù)據(jù)建模是連接業(yè)務(wù)數(shù)據(jù)和分析應(yīng)用的重要環(huán)節(jié)。很多人提到數(shù)據(jù)建模第一反應(yīng)是復(fù)雜、專業(yè)、門檻高。但實際上數(shù)據(jù)建模并不是簡單設(shè)計幾張數(shù)據(jù)表而是結(jié)合企業(yè)業(yè)務(wù)流程、數(shù)據(jù)關(guān)系和分析目標(biāo)對分散的數(shù)據(jù)進(jìn)行重新組織使其能夠穩(wěn)定支撐數(shù)據(jù)倉庫、指標(biāo)體系、BI分析以及AI應(yīng)用。很多企業(yè)建設(shè)數(shù)據(jù)倉庫時都會面臨數(shù)據(jù)越來越多但難以有效利用、指標(biāo)口徑難統(tǒng)一以及模型難以適應(yīng)業(yè)務(wù)變化等問題。這些問題的本質(zhì)并不是數(shù)據(jù)不足而是數(shù)據(jù)組織方式?jīng)]有匹配企業(yè)分析和管理需求。我最近整理了一份數(shù)據(jù)倉庫建設(shè)解決方案里面詳細(xì)梳理了數(shù)倉分層設(shè)計、數(shù)據(jù)模型建設(shè)、數(shù)據(jù)治理規(guī)范以及報表體系搭建方法對于企業(yè)建設(shè)數(shù)據(jù)平臺和經(jīng)營分析體系比較有參考價值。數(shù)據(jù)建模的價值不在于設(shè)計多少張表而在于建立一套能夠讓數(shù)據(jù)被準(zhǔn)確理解、穩(wěn)定加工并持續(xù)復(fù)用的數(shù)據(jù)結(jié)構(gòu)。下面詳細(xì)拆解8種常見的數(shù)據(jù)建模方法以及它們分別解決什么問題、適用于哪些業(yè)務(wù)場景。一、ER模型從業(yè)務(wù)關(guān)系出發(fā)理解企業(yè)數(shù)據(jù)結(jié)構(gòu)ER模型實體關(guān)系模型是一種面向業(yè)務(wù)對象關(guān)系的數(shù)據(jù)建模方法。它主要用于描述企業(yè)中的實體、屬性以及實體之間的關(guān)聯(lián)關(guān)系是很多業(yè)務(wù)系統(tǒng)設(shè)計階段的重要基礎(chǔ)。在企業(yè)實際業(yè)務(wù)中客戶、訂單、商品、供應(yīng)商、合同等對象之間都存在明確關(guān)系。例如客戶產(chǎn)生訂單訂單關(guān)聯(lián)商品商品屬于產(chǎn)品體系。通過ER模型企業(yè)可以在系統(tǒng)建設(shè)初期梳理業(yè)務(wù)對象之間的關(guān)系明確哪些數(shù)據(jù)需要記錄以及不同業(yè)務(wù)對象之間如何關(guān)聯(lián)。ER模型最大的價值并不是直接提升分析效率而是幫助企業(yè)建立業(yè)務(wù)理解基礎(chǔ)。在業(yè)務(wù)系統(tǒng)建設(shè)階段如果沒有提前梳理清楚業(yè)務(wù)實體之間的關(guān)系后續(xù)系統(tǒng)擴(kuò)展、數(shù)據(jù)整合和數(shù)據(jù)治理都會受到影響。例如客戶管理系統(tǒng)需要明確客戶、聯(lián)系人、商機(jī)之間的數(shù)據(jù)關(guān)系生產(chǎn)系統(tǒng)需要明確產(chǎn)品、工藝、設(shè)備之間的信息關(guān)聯(lián)。但需要注意的是ER模型更加關(guān)注業(yè)務(wù)數(shù)據(jù)完整性而經(jīng)營分析更加關(guān)注數(shù)據(jù)之間的分析關(guān)系。管理層分析銷售增長時并不關(guān)心訂單表和客戶表如何設(shè)計而更加關(guān)注收入變化、客戶貢獻(xiàn)以及產(chǎn)品結(jié)構(gòu)因此在數(shù)據(jù)倉庫建設(shè)中ER模型通常承擔(dān)的是業(yè)務(wù)梳理作用而不是最終分析模型。二、三范式模型保證數(shù)據(jù)一致性的規(guī)范化設(shè)計方法三范式模型是一種強(qiáng)調(diào)數(shù)據(jù)規(guī)范化的數(shù)據(jù)建模方法它的核心目標(biāo)是減少數(shù)據(jù)冗余提高數(shù)據(jù)一致性。在業(yè)務(wù)系統(tǒng)設(shè)計中同一份數(shù)據(jù)如果重復(fù)存儲在多個位置很容易產(chǎn)生更新不同步的問題。例如客戶信息如果同時存在訂單表、合同表和服務(wù)表中當(dāng)客戶資料發(fā)生變化時不同業(yè)務(wù)表可能出現(xiàn)數(shù)據(jù)不一致。三范式模型通過拆分?jǐn)?shù)據(jù)結(jié)構(gòu)將重復(fù)信息集中管理從而降低數(shù)據(jù)維護(hù)風(fēng)險。它更加適用于交易型業(yè)務(wù)系統(tǒng)對數(shù)據(jù)準(zhǔn)確性要求較高的場景頻繁更新的數(shù)據(jù)環(huán)境。但在數(shù)據(jù)倉庫分析場景中三范式模型也存在一定限制。因為分析查詢通常需要關(guān)聯(lián)多個業(yè)務(wù)信息如果完全按照高度規(guī)范化方式設(shè)計查詢過程可能涉及大量表關(guān)聯(lián)增加分析復(fù)雜度。因此業(yè)務(wù)系統(tǒng)和分析系統(tǒng)通常采用不同的數(shù)據(jù)組織方式。業(yè)務(wù)系統(tǒng)強(qiáng)調(diào)數(shù)據(jù)正確記錄數(shù)據(jù)倉庫強(qiáng)調(diào)數(shù)據(jù)快速分析兩者目標(biāo)不同模型設(shè)計也需要區(qū)別處理。三、維度模型數(shù)據(jù)倉庫建設(shè)中的核心分析模型維度模型是企業(yè)數(shù)據(jù)倉庫建設(shè)中應(yīng)用最廣泛的數(shù)據(jù)建模方法之一。它的核心思想是圍繞業(yè)務(wù)過程建立事實表和維度表將復(fù)雜業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為更適合分析的數(shù)據(jù)結(jié)構(gòu)。簡單來說事實表記錄業(yè)務(wù)發(fā)生的結(jié)果維度表提供分析業(yè)務(wù)的視角。事實表通常用于保存銷售金額、訂單數(shù)量、庫存變化等業(yè)務(wù)度量信息維度表則用于描述客戶、產(chǎn)品、區(qū)域、時間等分析維度。通過這種設(shè)計企業(yè)可以更加快速地回答經(jīng)營分析中的關(guān)鍵問題。例如銷售增長來自哪些區(qū)域哪些產(chǎn)品貢獻(xiàn)收入哪些客戶價值更高維度模型最大的價值在于讓數(shù)據(jù)結(jié)構(gòu)更加貼近業(yè)務(wù)分析需求同時降低指標(biāo)計算和查詢的復(fù)雜度。但實際項目中維度模型建設(shè)真正困難的地方并不是創(chuàng)建事實表和維度表而是確定業(yè)務(wù)粒度。業(yè)務(wù)粒度決定了一張事實表記錄什么層級的數(shù)據(jù)。如果銷售事實表按照訂單級設(shè)計而后續(xù)又需要分析商品明細(xì)、客戶行為等場景模型就可能出現(xiàn)擴(kuò)展困難的問題。因此在模型設(shè)計之前需要先明確業(yè)務(wù)過程、指標(biāo)口徑以及分析目標(biāo)避免后期因為模型設(shè)計不合理導(dǎo)致重復(fù)加工和數(shù)據(jù)口徑混亂。四、星型模型面向BI分析優(yōu)化的數(shù)據(jù)組織方式星型模型是維度模型的一種典型實現(xiàn)方式它通過一個中心事實表連接多個維度表使數(shù)據(jù)結(jié)構(gòu)更加符合分析查詢習(xí)慣。在星型模型中事實表負(fù)責(zé)保存業(yè)務(wù)發(fā)生結(jié)果維度表負(fù)責(zé)提供分析視角。例如銷售分析場景中銷售事實表保存訂單金額、銷售數(shù)量等業(yè)務(wù)結(jié)果而客戶、產(chǎn)品、區(qū)域、時間等維度表則提供不同分析角度。這種設(shè)計方式的優(yōu)勢在于數(shù)據(jù)關(guān)系更加直觀查詢邏輯更加簡單業(yè)務(wù)人員更容易理解。相比復(fù)雜的數(shù)據(jù)關(guān)聯(lián)結(jié)構(gòu)星型模型能夠減少查詢路徑讓BI工具和分析人員更加快速地獲取結(jié)果。因此星型模型在經(jīng)營分析、財務(wù)分析、供應(yīng)鏈分析等場景中應(yīng)用非常廣泛。但星型模型也存在一定取舍。為了提高查詢效率部分維度信息可能會保留一定冗余。例如產(chǎn)品分類信息可能直接保存在產(chǎn)品維度中而不是拆分到多個關(guān)聯(lián)表。這種設(shè)計能夠提升查詢性能但也增加了一定的數(shù)據(jù)維護(hù)成本。因此企業(yè)在設(shè)計星型模型時需要結(jié)合數(shù)據(jù)規(guī)模、查詢頻率和業(yè)務(wù)變化情況進(jìn)行平衡而不是單純追求結(jié)構(gòu)簡單。五、雪花模型復(fù)雜業(yè)務(wù)環(huán)境下的規(guī)范化分析模型雪花模型Snowflake Schema是在星型模型基礎(chǔ)上的進(jìn)一步規(guī)范化設(shè)計它通過拆分維度結(jié)構(gòu)提高數(shù)據(jù)組織的規(guī)范性。與星型模型相比雪花模型會將部分維度進(jìn)一步拆分。例如產(chǎn)品維度可以拆分為產(chǎn)品信息產(chǎn)品分類品牌信息。這樣能夠減少重復(fù)存儲提高數(shù)據(jù)結(jié)構(gòu)一致性。對于大型企業(yè)而言業(yè)務(wù)體系通常更加復(fù)雜。企業(yè)可能存在多層組織架構(gòu)、復(fù)雜產(chǎn)品體系以及多個業(yè)務(wù)區(qū)域如果所有信息都集中在一個維度表中后期維護(hù)難度會不斷增加。雪花模型能夠更好地表達(dá)這些業(yè)務(wù)層級關(guān)系。它更加適合業(yè)務(wù)結(jié)構(gòu)復(fù)雜的企業(yè)維度層級較多的數(shù)據(jù)體系對數(shù)據(jù)規(guī)范性要求較高的場景。但雪花模型也有明顯問題。維度拆分越細(xì)查詢過程中需要關(guān)聯(lián)的數(shù)據(jù)表越多這可能增加查詢復(fù)雜度。因此需要根據(jù)業(yè)務(wù)需求在數(shù)據(jù)規(guī)范性和查詢效率之間找到合理平衡。對于大型企業(yè)而言模型設(shè)計之前還需要解決多源數(shù)據(jù)統(tǒng)一的問題。不同系統(tǒng)的數(shù)據(jù)通常存在字段定義差異、編碼規(guī)則不同、更新頻率不一致等問題如果這些基礎(chǔ)問題沒有解決后續(xù)模型設(shè)計會不斷受到影響。六、寬表模型提升業(yè)務(wù)分析效率的數(shù)據(jù)組織方式寬表模型是將多個業(yè)務(wù)相關(guān)的數(shù)據(jù)提前整合到一張較寬的數(shù)據(jù)表中的建模方式。它的核心目標(biāo)是減少查詢過程中的數(shù)據(jù)關(guān)聯(lián)提高業(yè)務(wù)人員獲取分析結(jié)果的效率。然而很多分析需求并不希望業(yè)務(wù)人員理解復(fù)雜的數(shù)據(jù)模型。例如客戶經(jīng)營分析時業(yè)務(wù)人員更關(guān)注客戶價值、交易情況、回款表現(xiàn)以及服務(wù)記錄而不是這些數(shù)據(jù)分別存儲在哪些底層表中。因此企業(yè)通常會根據(jù)具體分析場景生成業(yè)務(wù)寬表將相關(guān)數(shù)據(jù)提前加工整合。寬表模型特別適合高頻查詢分析BI看板經(jīng)營駕駛艙專題分析應(yīng)用。它能夠降低業(yè)務(wù)人員使用數(shù)據(jù)的門檻讓分析過程更加貼近業(yè)務(wù)。但寬表模型也存在問題。如果企業(yè)過度依賴寬表容易出現(xiàn)字段數(shù)量不斷增加加工邏輯重復(fù)建設(shè)維護(hù)成本持續(xù)提升。因此寬表通常更適合作為應(yīng)用層模型而不是替代底層數(shù)據(jù)倉庫模型。成熟的數(shù)據(jù)架構(gòu)通常會采用分層設(shè)計思路底層通過規(guī)范化的數(shù)據(jù)模型保證數(shù)據(jù)結(jié)構(gòu)穩(wěn)定和治理要求落地中間層圍繞業(yè)務(wù)主題構(gòu)建可復(fù)用的數(shù)據(jù)模型應(yīng)用層則根據(jù)具體分析需求生成面向業(yè)務(wù)的數(shù)據(jù)寬表和數(shù)據(jù)服務(wù)。這樣能夠在保證數(shù)據(jù)一致性和長期可維護(hù)性的同時滿足業(yè)務(wù)快速分析和靈活應(yīng)用的需求。七、Data Vault模型面向長期數(shù)據(jù)資產(chǎn)建設(shè)的模型方法Data Vault模型是一種強(qiáng)調(diào)歷史追蹤、擴(kuò)展能力和數(shù)據(jù)可追溯性的數(shù)據(jù)建模方法。它主要由三個核心部分組成Hub用于保存核心業(yè)務(wù)對象Link用于描述業(yè)務(wù)對象之間的關(guān)系Satellite用于保存業(yè)務(wù)屬性變化。Data Vault模型最大的特點是能夠適應(yīng)企業(yè)長期變化。對于大型集團(tuán)企業(yè)而言業(yè)務(wù)系統(tǒng)不斷增加數(shù)據(jù)來源持續(xù)變化如果傳統(tǒng)模型頻繁調(diào)整往往會帶來較高維護(hù)成本。Data Vault通過保存歷史變化信息使企業(yè)不僅能夠知道當(dāng)前數(shù)據(jù)狀態(tài)也能夠追蹤數(shù)據(jù)過去如何變化。例如客戶信息發(fā)生變化時企業(yè)不僅需要知道當(dāng)前客戶狀態(tài)還可能需要了解什么時候發(fā)生變化變化前是什么狀態(tài)變化由什么業(yè)務(wù)動作產(chǎn)生。這類歷史追蹤能力是Data Vault模型的重要價值。它更加適合大型企業(yè)數(shù)據(jù)平臺建設(shè)、多業(yè)務(wù)系統(tǒng)融合以及需要長期沉淀和持續(xù)運(yùn)營的數(shù)據(jù)資產(chǎn)建設(shè)場景。在數(shù)據(jù)資產(chǎn)長期運(yùn)營過程中企業(yè)關(guān)注的不只是當(dāng)前數(shù)據(jù)結(jié)果更需要掌握數(shù)據(jù)變化過程。借助FineDataLink可以建立數(shù)據(jù)處理鏈路幫助企業(yè)沉淀數(shù)據(jù)來源、轉(zhuǎn)換過程、任務(wù)運(yùn)行狀態(tài)以及數(shù)據(jù)流轉(zhuǎn)關(guān)系為Data Vault模型中的歷史追蹤、數(shù)據(jù)血緣分析和數(shù)據(jù)資產(chǎn)管理提供基礎(chǔ)支撐。這樣企業(yè)不僅能夠使用數(shù)據(jù)還能夠理解數(shù)據(jù)如何產(chǎn)生、如何變化以及如何影響后續(xù)應(yīng)用。八、主題模型圍繞業(yè)務(wù)領(lǐng)域組織企業(yè)數(shù)據(jù)主題模型是一種面向業(yè)務(wù)領(lǐng)域的數(shù)據(jù)組織方式它強(qiáng)調(diào)按照企業(yè)核心業(yè)務(wù)主題管理數(shù)據(jù)。它不是一種具體的數(shù)據(jù)表結(jié)構(gòu)而是一種數(shù)據(jù)規(guī)劃方法。企業(yè)建設(shè)數(shù)據(jù)倉庫時通常不會直接按照業(yè)務(wù)系統(tǒng)劃分?jǐn)?shù)據(jù)而會根據(jù)業(yè)務(wù)管理需求建立主題域。例如銷售主題關(guān)注銷售過程和收入分析財務(wù)主題關(guān)注經(jīng)營結(jié)果和成本分析供應(yīng)鏈主題關(guān)注采購、庫存和交付分析客戶主題關(guān)注客戶價值和運(yùn)營分析。主題模型的價值在于讓數(shù)據(jù)組織方式更加貼近業(yè)務(wù)語言。業(yè)務(wù)人員不需要理解底層數(shù)據(jù)庫結(jié)構(gòu)而是圍繞業(yè)務(wù)主題尋找需要的數(shù)據(jù)。這對于大型企業(yè)尤其重要。因為隨著業(yè)務(wù)發(fā)展數(shù)據(jù)量和系統(tǒng)數(shù)量不斷增加如果沒有主題規(guī)劃數(shù)據(jù)平臺很容易變成大量數(shù)據(jù)表的集合業(yè)務(wù)人員難以找到真正有價值的數(shù)據(jù)。因此主題模型通常會結(jié)合維度模型、寬表模型一起使用。通過主題劃分業(yè)務(wù)范圍再通過具體模型設(shè)計數(shù)據(jù)結(jié)構(gòu)最終形成面向業(yè)務(wù)的數(shù)據(jù)服務(wù)體系。九、數(shù)據(jù)建模落地的關(guān)鍵連接業(yè)務(wù)和數(shù)據(jù)很多企業(yè)建設(shè)數(shù)據(jù)倉庫時容易把重點放在設(shè)計多少張表字段如何規(guī)劃模型如何分層。但真正優(yōu)秀的數(shù)據(jù)模型并不是看設(shè)計了多少數(shù)據(jù)表而是能否有效連接業(yè)務(wù)需求和數(shù)據(jù)能力。數(shù)據(jù)建模的核心目標(biāo)是讓業(yè)務(wù)問題能夠被數(shù)據(jù)準(zhǔn)確表達(dá)讓數(shù)據(jù)結(jié)果能夠真正支撐經(jīng)營決策。一個成熟的數(shù)據(jù)模型需要同時解決數(shù)據(jù)來源、加工邏輯以及最終應(yīng)用方式。如果前期沒有完成業(yè)務(wù)梳理、數(shù)據(jù)治理和指標(biāo)定義即使模型結(jié)構(gòu)設(shè)計得很規(guī)范也可能出現(xiàn)數(shù)據(jù)無法關(guān)聯(lián)、指標(biāo)無法統(tǒng)一、分析結(jié)果無法解釋的問題。企業(yè)建設(shè)數(shù)據(jù)倉庫時需要建立穩(wěn)定的數(shù)據(jù)處理鏈路將不同來源的數(shù)據(jù)進(jìn)行統(tǒng)一治理再進(jìn)入模型加工階段。通過FineDataLink建立的數(shù)據(jù)處理流程可以讓企業(yè)完成數(shù)據(jù)采集、清洗、轉(zhuǎn)換、任務(wù)調(diào)度和數(shù)據(jù)同步將原始業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化為符合建模要求的數(shù)據(jù)基礎(chǔ)。實際應(yīng)用時企業(yè)可以通過這一鏈路完成字段標(biāo)準(zhǔn)化、編碼轉(zhuǎn)換、數(shù)據(jù)質(zhì)量校驗以及任務(wù)運(yùn)行監(jiān)控使進(jìn)入模型層的數(shù)據(jù)具備穩(wěn)定性和一致性為后續(xù)維度模型、主題模型以及分析應(yīng)用提供可靠支撐。最終數(shù)據(jù)模型才能真正成為連接業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉庫和分析應(yīng)用的數(shù)據(jù)基礎(chǔ)設(shè)施讓企業(yè)的數(shù)據(jù)從分散記錄轉(zhuǎn)變?yōu)槟軌虺掷m(xù)創(chuàng)造價值的數(shù)據(jù)資產(chǎn)?？偨Y(jié)數(shù)據(jù)建模的本質(zhì)是讓數(shù)據(jù)真正服務(wù)業(yè)務(wù)數(shù)據(jù)建模不是簡單設(shè)計數(shù)據(jù)表而是企業(yè)數(shù)據(jù)治理和數(shù)據(jù)應(yīng)用之間的重要橋梁。不同模型解決的問題不同ER模型幫助企業(yè)梳理業(yè)務(wù)關(guān)系三范式模型保證數(shù)據(jù)結(jié)構(gòu)規(guī)范維度模型支撐數(shù)據(jù)倉庫分析星型模型提升BI分析效率雪花模型適應(yīng)復(fù)雜業(yè)務(wù)結(jié)構(gòu)寬表模型提升業(yè)務(wù)使用體驗Data Vault模型增強(qiáng)歷史追蹤能力主題模型幫助企業(yè)圍繞業(yè)務(wù)組織數(shù)據(jù)。但需要注意的是數(shù)據(jù)模型并不是獨立存在的技術(shù)設(shè)計。它需要與數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)治理、數(shù)倉分層以及業(yè)務(wù)指標(biāo)體系結(jié)合才能真正發(fā)揮數(shù)據(jù)價值。真正成熟的數(shù)據(jù)建模體系并不是追求某一種模型的先進(jìn)性而是根據(jù)企業(yè)業(yè)務(wù)需求、數(shù)據(jù)規(guī)模、分析目標(biāo)和應(yīng)用場景進(jìn)行組合設(shè)計讓不同層級的數(shù)據(jù)模型各司其職最終將分散在業(yè)務(wù)系統(tǒng)中的原始記錄轉(zhuǎn)化為能夠支撐分析、預(yù)測、決策和業(yè)務(wù)創(chuàng)新的數(shù)據(jù)資產(chǎn)。