很多集團(tuán)做大數(shù)據(jù)平臺(tái),最后都變成了建了個(gè)Hadoop集群,數(shù)據(jù)倒是存進(jìn)去了,但業(yè)務(wù)部門還是看不懂、用不上。表面上大數(shù)據(jù)平臺(tái)建成了,實(shí)際上貼源數(shù)據(jù)、主題數(shù)據(jù)、集市數(shù)據(jù)混在一起,ETL跑批經(jīng)常出錯(cuò),元數(shù)據(jù)沒人管,業(yè)務(wù)人員想看個(gè)客戶360度視圖還得靠人工拉數(shù)據(jù)拼表格。這種有平臺(tái)沒有用的困境,幾乎是所有大數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目繞不開的坎。這份《企業(yè)數(shù)字化底座與數(shù)字化轉(zhuǎn)型解決方案》講的是一家開展供應(yīng)鏈金融、人人貸、保理等多種互聯(lián)網(wǎng)金融業(yè)務(wù)的大型集團(tuán)的大數(shù)據(jù)平臺(tái)建設(shè)方案。這份方案的價(jià)值,不在于講了多少個(gè)大數(shù)據(jù)概念,而在于它把從數(shù)據(jù)產(chǎn)生、數(shù)據(jù)交換、數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)應(yīng)用、數(shù)據(jù)管控的整條鏈路,細(xì)化到了服務(wù)器數(shù)量、存儲(chǔ)周期、數(shù)據(jù)庫(kù)設(shè)計(jì)原則這種可以直接拿來(lái)執(zhí)行的技術(shù)顆粒度,并且給出了完整的三階段演進(jìn)路線圖。這是一份技術(shù)細(xì)節(jié)非常扎實(shí)的大數(shù)據(jù)平臺(tái)建設(shè)范本,值得完整拆一遍。一、先看現(xiàn)狀基礎(chǔ)打好了但沒有真正用起來(lái)方案對(duì)集團(tuán)管理分析類應(yīng)用建設(shè)現(xiàn)狀的診斷很直接?；镜默F(xiàn)狀是——集團(tuán)已建立面向整個(gè)業(yè)務(wù)的數(shù)據(jù)倉(cāng)庫(kù),整合了前臺(tái)業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)和后臺(tái)管理數(shù)據(jù),建立了面向業(yè)務(wù)的管理分析應(yīng)用;集團(tuán)已開展供應(yīng)鏈金融、人人貸和保理等多種業(yè)務(wù),積累了一定量的業(yè)務(wù)數(shù)據(jù),業(yè)務(wù)人員也從客戶管理、風(fēng)險(xiǎn)評(píng)級(jí)和經(jīng)營(yíng)規(guī)模預(yù)測(cè)等方面提出了大量分析預(yù)測(cè)需求。但存在的問(wèn)題也很明顯——集團(tuán)數(shù)據(jù)倉(cāng)庫(kù)累積數(shù)據(jù)沒有充分利用;缺乏面向整個(gè)集團(tuán)的統(tǒng)一、完整的數(shù)據(jù)視圖;缺乏支撐集團(tuán)日常業(yè)務(wù)運(yùn)轉(zhuǎn)的風(fēng)險(xiǎn)評(píng)估體系;缺乏集團(tuán)客戶360度視圖,客戶行為分析和預(yù)測(cè)無(wú)法實(shí)現(xiàn);缺乏面向金融業(yè)務(wù)運(yùn)營(yíng)管理的關(guān)鍵績(jī)效指標(biāo)體系。方案給出的判斷很直接——“基礎(chǔ)數(shù)據(jù)平臺(tái)和BI應(yīng)用建設(shè)是未來(lái)一段時(shí)間的重點(diǎn)”。這句話點(diǎn)出了這類項(xiàng)目最容易踩的坑——很多企業(yè)以為數(shù)據(jù)倉(cāng)庫(kù)建好了就萬(wàn)事大吉,實(shí)際上數(shù)據(jù)倉(cāng)庫(kù)只是原材料倉(cāng)庫(kù),真正把數(shù)據(jù)變成價(jià)值,還需要一整套數(shù)據(jù)平臺(tái)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)管控的體系化建設(shè)。方案接下來(lái)明確了要重點(diǎn)關(guān)注的內(nèi)容——數(shù)據(jù)平臺(tái)整體架構(gòu)、數(shù)據(jù)平臺(tái)各層建設(shè)的標(biāo)準(zhǔn)、較成熟的金融業(yè)數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量治理、元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)、數(shù)據(jù)整合、數(shù)據(jù)應(yīng)用建設(shè)、數(shù)據(jù)平臺(tái)的軟硬環(huán)境。這份清單基本框定了整份方案后續(xù)要展開的所有內(nèi)容。二、建設(shè)目標(biāo)統(tǒng)一規(guī)劃、統(tǒng)一分析、統(tǒng)一部署方案給出的數(shù)字化底座建設(shè)目標(biāo)很清晰——“通過(guò)數(shù)據(jù)平臺(tái)和BI應(yīng)用建設(shè),集團(tuán)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺(tái),對(duì)各類業(yè)務(wù)進(jìn)行前瞻性預(yù)測(cè)及分析,為集團(tuán)各層次用戶提供統(tǒng)一的決策分析支持,提升數(shù)據(jù)共享與流轉(zhuǎn)能力”。這個(gè)目標(biāo)背后有五個(gè)統(tǒng)一——統(tǒng)一規(guī)劃分析方法、統(tǒng)一劃分分析主題、統(tǒng)一設(shè)計(jì)數(shù)據(jù)模式、統(tǒng)一部署技術(shù)基礎(chǔ)、統(tǒng)一定義BI應(yīng)用。方案特別提到,云數(shù)據(jù)推送平臺(tái)已經(jīng)實(shí)現(xiàn)了主要業(yè)務(wù)及金融業(yè)務(wù)系統(tǒng)數(shù)據(jù)清洗、整合,為未來(lái)集團(tuán)數(shù)據(jù)平臺(tái)提供了豐富的數(shù)據(jù)源——這說(shuō)明這個(gè)項(xiàng)目不是從零開始,而是在已有基礎(chǔ)設(shè)施上繼續(xù)深化建設(shè)。方案還給出了不同用戶層級(jí)對(duì)BI應(yīng)用的不同需求——集團(tuán)決策層關(guān)注集團(tuán)主要經(jīng)營(yíng)指標(biāo);集團(tuán)職能管控層查看職能部門的業(yè)務(wù)經(jīng)營(yíng)情況;各級(jí)業(yè)務(wù)操作層通過(guò)BI應(yīng)用實(shí)現(xiàn)業(yè)務(wù)協(xié)作和創(chuàng)新。數(shù)據(jù)來(lái)源覆蓋供應(yīng)鏈金融系統(tǒng)、POP系統(tǒng)、采購(gòu)管理系統(tǒng)、其他業(yè)務(wù)系統(tǒng),以及外部非結(jié)構(gòu)化數(shù)據(jù),并支持自定義報(bào)表工具行列的簡(jiǎn)單定義方式和多種格式報(bào)表。建設(shè)的五大預(yù)期收益方案給出的預(yù)期收益講得很實(shí)在,值得逐條記住實(shí)現(xiàn)數(shù)據(jù)共享通過(guò)數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)集中,確保集團(tuán)各級(jí)部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù),充分發(fā)揮數(shù)據(jù)作為集團(tuán)重要資產(chǎn)的業(yè)務(wù)價(jià)值。加強(qiáng)業(yè)務(wù)協(xié)作實(shí)現(xiàn)分散在供應(yīng)鏈金融、人人貸、保理等各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺(tái)中的集中和整合,建立單一的產(chǎn)品、客戶等數(shù)據(jù)的集團(tuán)級(jí)視圖,有效促進(jìn)業(yè)務(wù)的集成和協(xié)作,并為集團(tuán)級(jí)分析、交叉銷售提供基礎(chǔ)。促進(jìn)業(yè)務(wù)創(chuàng)新集團(tuán)業(yè)務(wù)人員可以基于明細(xì)、可信的數(shù)據(jù),進(jìn)行多維分析和數(shù)據(jù)挖掘,為金融業(yè)務(wù)創(chuàng)新客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等創(chuàng)造了有利條件。提升建設(shè)效率通過(guò)數(shù)據(jù)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行集中,為管理分析、挖掘預(yù)測(cè)類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ),改變現(xiàn)有系統(tǒng)數(shù)據(jù)來(lái)源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀,實(shí)現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變,提升相關(guān)IT系統(tǒng)的建設(shè)和運(yùn)行效率。改善數(shù)據(jù)質(zhì)量從中長(zhǎng)期看,數(shù)據(jù)倉(cāng)庫(kù)對(duì)集團(tuán)分散在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗,有助于集團(tuán)整體數(shù)據(jù)質(zhì)量的改善,提高數(shù)據(jù)的實(shí)用性。這五條收益的排列很有邏輯——從數(shù)據(jù)能不能用共享,到業(yè)務(wù)能不能協(xié)同協(xié)作),到能不能創(chuàng)造新價(jià)值創(chuàng)新),再到建設(shè)效率能不能提升效率),最后到數(shù)據(jù)本身質(zhì)量能不能變好質(zhì)量,層層遞進(jìn),覆蓋了短期、中期、長(zhǎng)期不同階段的價(jià)值體現(xiàn)。三、總體架構(gòu)七層架構(gòu)撐起一整套數(shù)據(jù)平臺(tái)方案給出的總體架構(gòu)分為七層——數(shù)據(jù)產(chǎn)生層、數(shù)據(jù)交換層、數(shù)據(jù)計(jì)算層含數(shù)據(jù)存儲(chǔ)層、流程調(diào)度層、數(shù)據(jù)應(yīng)用層、數(shù)據(jù)管控層、用戶訪問(wèn)層數(shù)據(jù)訪問(wèn)層。這套七層架構(gòu)基本覆蓋了從數(shù)據(jù)產(chǎn)生到數(shù)據(jù)消費(fèi)的完整生命周期,是整份方案的骨架。數(shù)據(jù)產(chǎn)生層三類源數(shù)據(jù)方案把源數(shù)據(jù)內(nèi)容分成三類——內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)集團(tuán)日常業(yè)務(wù)處理過(guò)程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù),存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中,如供應(yīng)商信息、采購(gòu)信息、商品信息、銷售流水,或客戶信息、賬戶信息、金融產(chǎn)品信息、交易流水)、集團(tuán)內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)日常業(yè)務(wù)處理過(guò)程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù),如用戶訪問(wèn)日志、用戶投訴、用戶點(diǎn)評(píng))、集團(tuán)外部數(shù)據(jù)以非結(jié)構(gòu)化為主,如國(guó)家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動(dòng)信息、微博等社交媒體信息。數(shù)據(jù)增量獲取策略也講得很具體——本次項(xiàng)目實(shí)施采用以增量為主、全量為輔結(jié)合的方式。集團(tuán)和集團(tuán)業(yè)務(wù)系統(tǒng)的數(shù)據(jù),增量數(shù)據(jù)識(shí)別和獲取由云數(shù)據(jù)推送平臺(tái)負(fù)責(zé),采用分析對(duì)比源系統(tǒng)日志的方式實(shí)現(xiàn);對(duì)于無(wú)法通過(guò)這種方式獲取增量的源系統(tǒng)數(shù)據(jù),則采用某一時(shí)間范圍內(nèi)的全部數(shù)據(jù)作為增量。初始數(shù)據(jù)加載均采用全量模式。數(shù)據(jù)交換層四大設(shè)計(jì)目標(biāo)三大交換組件方案給出的數(shù)據(jù)交換層設(shè)計(jì)目標(biāo)是——保證數(shù)據(jù)交換過(guò)程中不失真、保證數(shù)據(jù)在平臺(tái)內(nèi)高速流轉(zhuǎn)、保證數(shù)據(jù)交換過(guò)程安全可靠、保證數(shù)據(jù)交換過(guò)程中不丟失。傳輸組件的設(shè)計(jì)邏輯是根據(jù)數(shù)據(jù)源存儲(chǔ)的不同分類而設(shè)計(jì),本質(zhì)是通過(guò)分析數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)庫(kù)的特點(diǎn)來(lái)針對(duì)性地設(shè)計(jì)工具,以追求卓越的性能。NAS存儲(chǔ)承擔(dān)三大功能——存儲(chǔ)數(shù)據(jù)平臺(tái)各Hadoop集群的元數(shù)據(jù)信息如HDFS文件系統(tǒng)元數(shù)據(jù))、統(tǒng)一存儲(chǔ)數(shù)據(jù)平臺(tái)ETL加工處理程序數(shù)據(jù)壓縮、數(shù)據(jù)加載等,各接口服務(wù)器通過(guò)文件系統(tǒng)Link建立映射)、暫存集團(tuán)數(shù)據(jù)交換平臺(tái)每日獲取的業(yè)務(wù)系統(tǒng)變化數(shù)據(jù)以及金融數(shù)據(jù)平臺(tái)加工計(jì)算結(jié)果。大數(shù)據(jù)交換組件處理集團(tuán)內(nèi)部和外部的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)音頻、視頻、郵件、Office文檔、抵押品掃描件、微博、貼吧、論壇、用戶點(diǎn)擊流、用戶移動(dòng)位置等),以實(shí)時(shí)和批量?jī)煞N模式實(shí)現(xiàn)數(shù)據(jù)采集、傳輸?shù)浇涌诜?wù)器NAS指定目錄、存儲(chǔ)到大數(shù)據(jù)區(qū)指定HDFS目錄,實(shí)現(xiàn)技術(shù)上采用SFTP協(xié)議批量傳輸,或開發(fā)Java/C應(yīng)用調(diào)用API/爬蟲方式抓取。數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件處理集團(tuán)內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)存儲(chǔ)在Oracle、SQLServer、MySQL和MongoDB四類數(shù)據(jù)庫(kù),互聯(lián)網(wǎng)金融業(yè)務(wù)數(shù)據(jù)存儲(chǔ)在MySQL數(shù)據(jù)庫(kù)),以實(shí)時(shí)和批量模式實(shí)現(xiàn)數(shù)據(jù)采集輪詢NAS集群指定目錄,獲取LZO壓縮的數(shù)據(jù)文件)、數(shù)據(jù)核查質(zhì)量校驗(yàn))、數(shù)據(jù)加載到臨時(shí)數(shù)據(jù)區(qū)),實(shí)現(xiàn)技術(shù)是Perl程序調(diào)用文件模塊函數(shù)輪詢目錄、執(zhí)行文件級(jí)數(shù)據(jù)質(zhì)量檢查、調(diào)用Hive Load命令加載到Hive Table。數(shù)據(jù)區(qū)數(shù)據(jù)交換組件處理數(shù)據(jù)平臺(tái)計(jì)算層各數(shù)據(jù)區(qū)之間的數(shù)據(jù)流轉(zhuǎn)——貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)到集市數(shù)據(jù)區(qū)、大數(shù)據(jù)區(qū)到主題數(shù)據(jù)區(qū)和集市數(shù)據(jù)區(qū)、主題數(shù)據(jù)區(qū)/貼源數(shù)據(jù)區(qū)/集市數(shù)據(jù)區(qū)到沙盤數(shù)據(jù)區(qū)、各數(shù)據(jù)區(qū)數(shù)據(jù)歸檔,實(shí)現(xiàn)技術(shù)是Sqoop實(shí)現(xiàn)集市數(shù)據(jù)區(qū)與其他Hadoop數(shù)據(jù)區(qū)的交換)、Hadoop命令/Hive外部表/MR程序?qū)崿F(xiàn)Hadoop數(shù)據(jù)區(qū)間交換。這套三組件分工的設(shè)計(jì)思路很清晰——大數(shù)據(jù)交換組件專管非結(jié)構(gòu)化半結(jié)構(gòu)化,數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件專管結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù),數(shù)據(jù)區(qū)數(shù)據(jù)交換組件專管平臺(tái)內(nèi)部各數(shù)據(jù)區(qū)之間的流轉(zhuǎn),三者各司其職,不會(huì)互相干擾。流程調(diào)度層批量、實(shí)時(shí)、歸檔三種處理流程批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義WorkFlow組件調(diào)度運(yùn)行,整個(gè)流程完成——獲取業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)存入臨時(shí)數(shù)據(jù)區(qū)、獲取集團(tuán)內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)并進(jìn)行結(jié)構(gòu)化處理存入主題或集市數(shù)據(jù)區(qū)、按照貼源數(shù)據(jù)模型整合數(shù)據(jù)標(biāo)準(zhǔn)化、更新/追加)、按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總、數(shù)據(jù)加工計(jì)算后結(jié)果交付到數(shù)據(jù)集市支持分析類應(yīng)用。實(shí)時(shí)數(shù)據(jù)處理流程強(qiáng)調(diào)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲取并處理數(shù)據(jù),通常采取消息隊(duì)列等技術(shù)構(gòu)建數(shù)據(jù)流,完成——通過(guò)數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件獲取增量數(shù)據(jù)加載到實(shí)時(shí)數(shù)據(jù)區(qū)、通過(guò)大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化數(shù)據(jù)并利用Storm處理加載到實(shí)時(shí)數(shù)據(jù)區(qū)、針對(duì)實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理和貼源整合。歸檔處理流程的對(duì)象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、大數(shù)據(jù)區(qū)數(shù)據(jù)和集市數(shù)據(jù)區(qū)數(shù)據(jù),按照生命周期規(guī)劃存儲(chǔ)到歸檔區(qū)Hadoop集群,歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù),具體實(shí)現(xiàn)——數(shù)據(jù)文件通過(guò)HDFS命令行copyfromlocal歸檔、貼源主題和大數(shù)據(jù)區(qū)通過(guò)distcp或自定義MR程序歸檔、集市數(shù)據(jù)區(qū)通過(guò)Sqoop或數(shù)據(jù)庫(kù)Hadoop集成技術(shù)如外部表歸檔。數(shù)據(jù)存儲(chǔ)層八大數(shù)據(jù)區(qū)各有各的規(guī)矩這是方案講得最細(xì)的部分,給出了數(shù)據(jù)平臺(tái)內(nèi)部各數(shù)據(jù)區(qū)的詳細(xì)設(shè)計(jì)規(guī)范。方案對(duì)每個(gè)數(shù)據(jù)區(qū)都給出了數(shù)據(jù)內(nèi)容、主要用途、數(shù)據(jù)模型、保留周期、用戶訪問(wèn)模式、工作負(fù)載、平臺(tái)要求這七個(gè)維度的完整描述,非常具體。臨時(shí)數(shù)據(jù)區(qū)業(yè)務(wù)系統(tǒng)前日增量數(shù)據(jù),作為緩存數(shù)據(jù)支持后續(xù)ELT處理,采用貼源數(shù)據(jù)模型,保留最近7天數(shù)據(jù),無(wú)最終用戶訪問(wèn),只有貼源/主題數(shù)據(jù)區(qū)批量作業(yè)訪問(wèn),I/O敏感,少量數(shù)據(jù)用Hive的Load命令、大量數(shù)據(jù)用MR程序,與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個(gè)Hadoop集群。貼源數(shù)據(jù)區(qū)業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時(shí)間的流水?dāng)?shù)據(jù),進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化,為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù),采用貼源數(shù)據(jù)模型,不保存歷史,以ELT形式通過(guò)Hive SQL執(zhí)行日終批量ETL。大數(shù)據(jù)區(qū)集團(tuán)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù),采集存儲(chǔ)并進(jìn)行結(jié)構(gòu)化處理,數(shù)據(jù)按HDFS文件存儲(chǔ),建議保留1年,少量高級(jí)業(yè)務(wù)人員進(jìn)行大數(shù)據(jù)分析,采用MapReduce分布式計(jì)算處理文本檢索、語(yǔ)義分詞、圖像識(shí)別、音頻識(shí)別等。歷史歸檔數(shù)據(jù)區(qū)其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù),按數(shù)據(jù)生命周期規(guī)劃歸檔過(guò)期數(shù)據(jù)支撐歷史查詢,數(shù)據(jù)文件按數(shù)據(jù)區(qū)劃分目錄,建議保留7年,業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢,采用獨(dú)立的Hadoop集群。主題數(shù)據(jù)區(qū)—明細(xì)業(yè)務(wù)系統(tǒng)歷史明細(xì)數(shù)據(jù),打破業(yè)務(wù)條線整合數(shù)據(jù),采用第三范式模型,保留長(zhǎng)期歷史,少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè),I/O敏感,日終批量ETL合并、拉鏈、關(guān)聯(lián)、匯總等。主題數(shù)據(jù)區(qū)—匯總對(duì)主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù),針對(duì)應(yīng)用需求進(jìn)行預(yù)連接預(yù)匯總,為集市提供數(shù)據(jù),采用逆范式寬表,依賴于集市數(shù)據(jù)需求。沙盤演練數(shù)據(jù)區(qū)按沙盤演練需求準(zhǔn)備的明細(xì)或匯總業(yè)務(wù)數(shù)據(jù),為數(shù)據(jù)科學(xué)家的挖掘預(yù)測(cè)操作提供數(shù)據(jù)服務(wù),模型依賴于沙盤演練需求,在整個(gè)沙盤演練周期內(nèi)保留,采用獨(dú)立的Hadoop集群。應(yīng)用集市數(shù)據(jù)區(qū)面向集團(tuán)內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù),為客戶、運(yùn)營(yíng)等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù),采用維度數(shù)據(jù)模型,決策人員、管理人員、業(yè)務(wù)人員訪問(wèn),I/O敏感型,基于開放平臺(tái)的完全無(wú)共享MPP數(shù)據(jù)庫(kù)集群內(nèi)存數(shù)據(jù)庫(kù)。增值產(chǎn)品數(shù)據(jù)區(qū)根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺(tái)加工計(jì)算的結(jié)果數(shù)據(jù),為部署在數(shù)據(jù)平臺(tái)上的集團(tuán)內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持,采用應(yīng)用模型,依賴于用戶業(yè)務(wù)需求,集團(tuán)外部人員如客戶通過(guò)自己部署在PaaS平臺(tái)上的應(yīng)用訪問(wèn),獨(dú)立的PaaS平臺(tái)部署Hadoop集群。實(shí)時(shí)數(shù)據(jù)區(qū)面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時(shí)間的交易流水,為實(shí)時(shí)或準(zhǔn)實(shí)時(shí)分析應(yīng)用提供數(shù)據(jù)服務(wù),采用貼源數(shù)據(jù)模型,依賴用戶業(yè)務(wù)需求,集團(tuán)業(yè)務(wù)人員使用,高時(shí)效高并發(fā)高可靠性的聯(lián)機(jī)交易類查詢,CPU敏感,獨(dú)立的內(nèi)存數(shù)據(jù)庫(kù)集群,無(wú)單點(diǎn)故障365×24小時(shí)不停機(jī)。這套八大數(shù)據(jù)區(qū)的設(shè)計(jì)規(guī)范,展示了一個(gè)非常重要的數(shù)據(jù)架構(gòu)原則——不同數(shù)據(jù)區(qū)承擔(dān)不同職責(zé),數(shù)據(jù)模型、保留周期、訪問(wèn)權(quán)限、平臺(tái)要求都因職責(zé)不同而有明確差異。這不是一個(gè)一鍋燉的大數(shù)據(jù)湖,而是分層分區(qū)、各有邊界的精細(xì)化架構(gòu)。數(shù)據(jù)應(yīng)用層五大應(yīng)用類型對(duì)應(yīng)平臺(tái)發(fā)展階段方案給出了五種數(shù)據(jù)應(yīng)用類型——?dú)v史查詢類應(yīng)用針對(duì)公檢法查詢需求、內(nèi)外部審計(jì)需求和最終用戶的歷史交易查詢需求,以貼源存儲(chǔ)的歸檔數(shù)據(jù)為基礎(chǔ),通常使用BI工具或自主開發(fā)實(shí)現(xiàn))、沙盤演練類應(yīng)用業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求設(shè)計(jì)計(jì)算模型,準(zhǔn)備明細(xì)或匯總數(shù)據(jù)導(dǎo)入模型運(yùn)算驗(yàn)證業(yè)務(wù)結(jié)果,通常使用R語(yǔ)言在Hadoop分布式體系下實(shí)現(xiàn))、高時(shí)效類分析應(yīng)用客戶經(jīng)理等最終業(yè)務(wù)人員針對(duì)當(dāng)前業(yè)務(wù)發(fā)生進(jìn)行實(shí)時(shí)查詢分析,通常使用CEP、ESB等技術(shù)實(shí)現(xiàn))、管理分析類應(yīng)用實(shí)現(xiàn)集團(tuán)客戶管理、運(yùn)營(yíng)管理、財(cái)務(wù)管理、風(fēng)險(xiǎn)管理、監(jiān)管信息披露五大分析體系功能,通常采用套裝軟件和BI工具如MicroStrategy實(shí)現(xiàn))、數(shù)據(jù)增值類產(chǎn)品集團(tuán)數(shù)據(jù)科學(xué)家根據(jù)業(yè)務(wù)需求或市場(chǎng)判斷設(shè)計(jì)并運(yùn)行模型,發(fā)掘數(shù)據(jù)價(jià)值并封裝成商業(yè)產(chǎn)品,通常采用R語(yǔ)言和BI工具實(shí)現(xiàn),面向集團(tuán)內(nèi)外部用戶。方案還給出了一張很有意思的平臺(tái)發(fā)展不同階段對(duì)應(yīng)應(yīng)用的成長(zhǎng)曲線,從工作負(fù)載復(fù)雜度、數(shù)據(jù)量、用戶數(shù)、查詢復(fù)雜度、ETL處理復(fù)雜度五個(gè)維度的增長(zhǎng)曲線出發(fā),劃分了六個(gè)階段——操作為主階段什么正在發(fā)生? 批量、隨機(jī)查詢→報(bào)表為主階段發(fā)生了什么歷史查詢類應(yīng)用→分析為主階段為什么會(huì)發(fā)生管理分析類應(yīng)用、數(shù)據(jù)分析)→預(yù)測(cè)為主階段將會(huì)發(fā)生什么沙盤演練類應(yīng)用、數(shù)據(jù)增值類產(chǎn)品→實(shí)時(shí)分析類應(yīng)用,持續(xù)更新加載/短查詢,基于事件的動(dòng)態(tài)觸發(fā))→動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)階段讓正確的事情發(fā)生。這條成長(zhǎng)曲線揭示了一個(gè)規(guī)律——大數(shù)據(jù)平臺(tái)的應(yīng)用建設(shè)不是一步到位,而是隨著數(shù)據(jù)量、用戶數(shù)、查詢復(fù)雜度的增長(zhǎng),從操作型的報(bào)表查詢逐步演進(jìn)到預(yù)測(cè)型的智能決策,每個(gè)階段都有對(duì)應(yīng)的合理應(yīng)用類型,不能跳級(jí)冒進(jìn)。管理分析類應(yīng)用的四大分析體系方案對(duì)管理分析類應(yīng)用給出了非常詳細(xì)的功能清單,涵蓋客戶管理、風(fēng)險(xiǎn)管理、運(yùn)營(yíng)管理、財(cái)務(wù)管理四大體系監(jiān)管披露體系目前沒有明確要求。客戶管理客戶單一視圖公司/個(gè)人/同業(yè)客戶信息管理)、目標(biāo)客戶搜索重點(diǎn)/關(guān)懷/風(fēng)險(xiǎn)/異動(dòng)客戶)、客戶細(xì)分個(gè)人/公司客戶細(xì)分)、客戶行為分析客戶輪廓分析、產(chǎn)品交叉銷售分析、百分比分析、渠道偏好分析)、營(yíng)銷活動(dòng)管理規(guī)劃、定義、執(zhí)行、效果分析)、營(yíng)銷活動(dòng)自動(dòng)化渠道接口與集成、流程自動(dòng)化。風(fēng)險(xiǎn)管理風(fēng)險(xiǎn)監(jiān)控報(bào)表/信息披露流動(dòng)性報(bào)表、利率敏感性報(bào)表、資本充足率報(bào)表)、市場(chǎng)風(fēng)險(xiǎn)市場(chǎng)風(fēng)險(xiǎn)暴露值、流動(dòng)性管理、利率管理)、信用風(fēng)險(xiǎn)信用風(fēng)險(xiǎn)暴露值計(jì)算、信用風(fēng)險(xiǎn)控制,包括貸前控制、貸中監(jiān)控、貸后分析)、操作風(fēng)險(xiǎn)異常交易預(yù)警、后督差錯(cuò)檢查)、防欺詐/反洗錢定義欺詐交易模型、可能性欺詐交易預(yù)警、欺詐交易分布分析)、全面風(fēng)險(xiǎn)管理。運(yùn)營(yíng)管理領(lǐng)導(dǎo)管理駕駛艙、機(jī)構(gòu)績(jī)效考核、客戶經(jīng)理考核工作量評(píng)估、服務(wù)客戶收益評(píng)估)、產(chǎn)品績(jī)效考核、業(yè)務(wù)量考核供應(yīng)鏈金融、人人貸、保理、基金、其他中間業(yè)務(wù))、渠道成本與收益。財(cái)務(wù)管理總賬分析資產(chǎn)負(fù)債表分析、損益表分析、現(xiàn)金流量表分析、財(cái)務(wù)指標(biāo)分析)、盈利分析機(jī)構(gòu)貢獻(xiàn)度、產(chǎn)品貢獻(xiàn)度、客戶細(xì)分貢獻(xiàn)度、渠道績(jī)效)、資產(chǎn)負(fù)債分析凈利息收入、凈收入、凈現(xiàn)值、市場(chǎng)價(jià)值等主要指標(biāo)報(bào)告,頭寸報(bào)告、現(xiàn)金流報(bào)告、風(fēng)險(xiǎn)價(jià)值VaR計(jì)算)、財(cái)務(wù)預(yù)算與計(jì)劃預(yù)算編制、執(zhí)行監(jiān)控、過(guò)程分析、年末執(zhí)行分析)、預(yù)測(cè)與場(chǎng)景分析業(yè)務(wù)規(guī)模預(yù)測(cè)、收益預(yù)測(cè)。這份功能清單密度很高,展示了一個(gè)金融類集團(tuán)數(shù)據(jù)平臺(tái)的管理分析應(yīng)該覆蓋的完整業(yè)務(wù)范疇,對(duì)于同類企業(yè)規(guī)劃數(shù)據(jù)應(yīng)用體系有很強(qiáng)的參考價(jià)值。數(shù)據(jù)訪問(wèn)層七種展現(xiàn)形式對(duì)應(yīng)不同用戶方案給出了七種數(shù)據(jù)展現(xiàn)形式——儀表盤通過(guò)儀表盤及其它展現(xiàn)方式對(duì)集團(tuán)關(guān)鍵績(jī)效指標(biāo)進(jìn)行展示,為領(lǐng)導(dǎo)層決策提供直觀的數(shù)據(jù)支持)、靜態(tài)報(bào)表按照預(yù)先定義格式的批處理報(bào)表、在線查詢報(bào)表)、Office集成將分析應(yīng)用嵌入到Office界面,利用Office的方便易用特性降低使用難度)、即席查詢通過(guò)即席查詢工具或手工書寫SQL語(yǔ)句完成業(yè)務(wù)信息的即席查看)、多維分析從多個(gè)維度靈活組合分析目標(biāo)值,常見功能包括上下鉆取、透明鉆取、旋轉(zhuǎn)、分頁(yè)、層鉆、跨維鉆取)、主動(dòng)問(wèn)題發(fā)現(xiàn)通過(guò)事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)集團(tuán)運(yùn)營(yíng)中的問(wèn)題,通過(guò)手機(jī)、郵件等方式報(bào)警)、挖掘預(yù)測(cè)使用專業(yè)軟件工具通過(guò)數(shù)理統(tǒng)計(jì)等高級(jí)統(tǒng)計(jì)分析算法,分析結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)挖掘隱藏在數(shù)據(jù)中的價(jià)值)、Web服務(wù)將分析應(yīng)用的功能發(fā)布為Web服務(wù),注冊(cè)在集團(tuán)服務(wù)總線上,供其他業(yè)務(wù)系統(tǒng)或分析應(yīng)用調(diào)用。這七種形式分別對(duì)應(yīng)決策層、管理層、業(yè)務(wù)人員、數(shù)據(jù)科學(xué)家、業(yè)務(wù)系統(tǒng)五類用戶——決策層多用儀表盤,管理層多用靜態(tài)報(bào)表和多維分析,業(yè)務(wù)人員多用即席查詢和主動(dòng)問(wèn)題發(fā)現(xiàn),數(shù)據(jù)科學(xué)家用挖掘預(yù)測(cè),業(yè)務(wù)系統(tǒng)通過(guò)Web服務(wù)調(diào)用分析結(jié)果。同一套數(shù)據(jù),針對(duì)不同角色提供不同的消費(fèi)形式,這個(gè)思路和很多現(xiàn)代數(shù)據(jù)平臺(tái)的設(shè)計(jì)理念是一致的。四、數(shù)據(jù)管控層組織、評(píng)價(jià)考核、流程、平臺(tái)四域聯(lián)動(dòng)數(shù)據(jù)管控層是方案里管理體系設(shè)計(jì)最完整的一塊,方案明確指出金融數(shù)據(jù)管控體系涵蓋組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控平臺(tái)四個(gè)域。數(shù)據(jù)管控的六大能力模塊方案給出了數(shù)據(jù)管控覆蓋的能力體系——數(shù)據(jù)認(rèn)責(zé)數(shù)據(jù)所有人、數(shù)據(jù)生產(chǎn)人、數(shù)據(jù)使用人、IT支持團(tuán)隊(duì)各自承擔(dān)明確職責(zé))、數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)類型、數(shù)據(jù)格式、業(yè)務(wù)分類、業(yè)務(wù)含義)、數(shù)據(jù)質(zhì)量真實(shí)性定義、及時(shí)性定義、完整性定義、一致性定義)、元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、管理元數(shù)據(jù))、數(shù)據(jù)安全安全等級(jí)、權(quán)限定義、審計(jì)定義、保留策略)、工作流管理組織建立/維護(hù)流程、標(biāo)準(zhǔn)建立/維護(hù)流程、考核指標(biāo)建立/維護(hù)流程、評(píng)價(jià)與考核流程,這六大模塊貫穿數(shù)據(jù)全生命周期——數(shù)據(jù)創(chuàng)建、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)移動(dòng)、數(shù)據(jù)共享、數(shù)據(jù)停用。四域相互作用的內(nèi)部運(yùn)轉(zhuǎn)機(jī)制方案給出了一張非常清晰的運(yùn)轉(zhuǎn)機(jī)制圖——管控組織明確了數(shù)據(jù)管控過(guò)程中的組織結(jié)構(gòu)、角色、職責(zé),除了負(fù)責(zé)制定數(shù)據(jù)標(biāo)準(zhǔn)質(zhì)量安全等要求,還需要負(fù)責(zé)制定管控相關(guān)流程和評(píng)價(jià)考核指標(biāo)。評(píng)價(jià)與考核通過(guò)建立定性或定量的數(shù)據(jù)管控評(píng)價(jià)考核指標(biāo),去評(píng)估及考核數(shù)據(jù)相關(guān)責(zé)任人職責(zé)履行情況、數(shù)據(jù)管控標(biāo)準(zhǔn)及數(shù)據(jù)政策的執(zhí)行情況。管控流程規(guī)范了數(shù)據(jù)管控過(guò)程中各環(huán)節(jié)日常任務(wù)處理的運(yùn)作模式,例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)。管控平臺(tái)采用專門的技術(shù)平臺(tái)支撐管控流程的自動(dòng)化,發(fā)布管控組織制定的相關(guān)標(biāo)準(zhǔn)和規(guī)范,及時(shí)反映管控過(guò)程中存在的問(wèn)題。四者的聯(lián)動(dòng)邏輯是——管控組織制定標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求,通過(guò)管控平臺(tái)的工具支撐元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理),經(jīng)過(guò)管控流程數(shù)據(jù)接入流程、數(shù)據(jù)變更流程、數(shù)據(jù)授權(quán)流程、數(shù)據(jù)退役流程、標(biāo)準(zhǔn)/政策制定流程、評(píng)價(jià)考核流程)落地執(zhí)行,最終由評(píng)價(jià)與考核環(huán)節(jié)完成考評(píng)閉環(huán)。數(shù)據(jù)管控組織的具體架構(gòu)方案給出了一個(gè)非常具體的組織架構(gòu)示例——信息管理委員會(huì)作為數(shù)據(jù)管控主導(dǎo)方;數(shù)據(jù)管控負(fù)責(zé)部門下設(shè)數(shù)據(jù)管控經(jīng)理,配合數(shù)據(jù)標(biāo)準(zhǔn)管理員、數(shù)據(jù)質(zhì)量管理員、數(shù)據(jù)安全管理員、元數(shù)據(jù)管理員四個(gè)專職崗位;數(shù)據(jù)管控參與方覆蓋數(shù)據(jù)產(chǎn)生部門、數(shù)據(jù)使用部門、數(shù)據(jù)擁有部門,每個(gè)部門都設(shè)有數(shù)據(jù)主管、業(yè)務(wù)協(xié)調(diào)人、數(shù)據(jù)分析員;數(shù)據(jù)管理部門下設(shè)運(yùn)維組織和實(shí)施項(xiàng)目組。方案強(qiáng)調(diào)數(shù)據(jù)管控組織是否有完整與合理的角色定義,是否有高層領(lǐng)導(dǎo)的參與,是整個(gè)數(shù)據(jù)管控成敗的關(guān)鍵。這句話再次印證了一個(gè)道理——數(shù)據(jù)治理不是純技術(shù)項(xiàng)目,組織和責(zé)任分工才是決定成敗的關(guān)鍵因素。數(shù)據(jù)標(biāo)準(zhǔn)管理三部分工作方案把數(shù)據(jù)標(biāo)準(zhǔn)管理拆成三部分——數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)數(shù)據(jù)分類、數(shù)據(jù)結(jié)構(gòu)、關(guān)鍵業(yè)務(wù)對(duì)象、關(guān)鍵代碼、數(shù)據(jù)維度、代碼映射,涵蓋客戶類數(shù)據(jù)標(biāo)準(zhǔn)、產(chǎn)品類數(shù)據(jù)標(biāo)準(zhǔn)等)、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)理念推廣、ODS/歸檔系統(tǒng)落地執(zhí)行)、數(shù)據(jù)標(biāo)準(zhǔn)管理的考評(píng)定性考評(píng)、定量考評(píng)、數(shù)據(jù)標(biāo)準(zhǔn)分析報(bào)告。目標(biāo)是消除一數(shù)多義,提升數(shù)據(jù)的唯一性、一致性,將逐步形成的數(shù)據(jù)標(biāo)準(zhǔn)納入一個(gè)規(guī)范的管理流程中,進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的更新、發(fā)布、使用監(jiān)督等工作。數(shù)據(jù)質(zhì)量管理三個(gè)環(huán)節(jié)的閉環(huán)數(shù)據(jù)質(zhì)量管理框架藍(lán)圖分三部分——數(shù)據(jù)質(zhì)量要求確認(rèn)根據(jù)業(yè)務(wù)規(guī)則、數(shù)據(jù)一致性要求、數(shù)據(jù)完整性要求、數(shù)據(jù)唯一性要求、數(shù)據(jù)準(zhǔn)確性要求、數(shù)據(jù)及時(shí)性要求,制定數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、驗(yàn)證規(guī)則、考核指標(biāo),同時(shí)要符合數(shù)據(jù)標(biāo)準(zhǔn)要求)、數(shù)據(jù)質(zhì)量考評(píng)數(shù)據(jù)質(zhì)量監(jiān)控、不定期數(shù)據(jù)質(zhì)量檢查,對(duì)數(shù)據(jù)質(zhì)量進(jìn)行量化評(píng)價(jià))、數(shù)據(jù)質(zhì)量問(wèn)題解決方案數(shù)據(jù)質(zhì)量提升手段包括數(shù)據(jù)補(bǔ)錄、手工修正、自動(dòng)修正,并輸出數(shù)據(jù)質(zhì)量分析報(bào)告。方案強(qiáng)調(diào)數(shù)據(jù)質(zhì)量提升是改進(jìn)數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評(píng)的目的。元數(shù)據(jù)管理三類元數(shù)據(jù)面向三類人群方案給出了元數(shù)據(jù)管理最核心的分類邏輯——業(yè)務(wù)元數(shù)據(jù)面向業(yè)務(wù)人員,從業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)規(guī)則等方面對(duì)數(shù)據(jù)進(jìn)行描述;管理元數(shù)據(jù)面向數(shù)據(jù)管理人員,從運(yùn)維管理角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息;技術(shù)元數(shù)據(jù)面向技術(shù)人員,從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細(xì)節(jié)方面對(duì)數(shù)據(jù)進(jìn)行技術(shù)化描述。這三類元數(shù)據(jù)面向三類不同人群的設(shè)計(jì)思路,和前面數(shù)據(jù)質(zhì)量管理產(chǎn)品里講的業(yè)務(wù)人員用業(yè)務(wù)元數(shù)據(jù)定義規(guī)則、技術(shù)人員用技術(shù)元數(shù)據(jù)做檢核的場(chǎng)景是一致的——同一份數(shù)據(jù)資產(chǎn),要給不同角色提供不同抽象層次的理解方式。數(shù)據(jù)安全管理分級(jí)授權(quán)兩條線數(shù)據(jù)安全管理分兩部分——數(shù)據(jù)安全分級(jí)根據(jù)業(yè)務(wù)要求制定數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)和政策,為數(shù)據(jù)應(yīng)用及管理中實(shí)施數(shù)據(jù)安全保護(hù)和訪問(wèn)提供控制基礎(chǔ),涉及數(shù)據(jù)敏感度、數(shù)據(jù)重要性、安全等級(jí)定義、安全技術(shù)、數(shù)據(jù)訪問(wèn)授權(quán)根據(jù)數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn),定義數(shù)據(jù)訪問(wèn)的授權(quán)方法及流程,建立基于數(shù)據(jù)安全分級(jí)的數(shù)據(jù)使用授權(quán)機(jī)制,實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)和信息披露的安全,涉及數(shù)據(jù)訪問(wèn)授權(quán)規(guī)則、數(shù)據(jù)使用需求、數(shù)據(jù)使用者權(quán)責(zé)。數(shù)據(jù)管控平臺(tái)的三層架構(gòu)數(shù)據(jù)管控平臺(tái)從總體上分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個(gè)主要層面,以數(shù)據(jù)層的數(shù)據(jù)庫(kù)及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來(lái)源,通過(guò)應(yīng)用層的運(yùn)算處理,以不同形式不同功能在展現(xiàn)層提供用戶接口。平臺(tái)的功能模塊涵蓋工作管理待辦事項(xiàng)、信息地圖)、標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)知識(shí)庫(kù)、標(biāo)準(zhǔn)瀏覽、標(biāo)準(zhǔn)維護(hù))、元數(shù)據(jù)管理元數(shù)據(jù)采集、元數(shù)據(jù)知識(shí)庫(kù))、質(zhì)量管理質(zhì)量稽核庫(kù)、規(guī)則配置)、系統(tǒng)管理用戶管理、權(quán)限管理、流程管理、績(jī)效指標(biāo)、規(guī)范管理。五、數(shù)據(jù)平臺(tái)總體產(chǎn)品框架六大平臺(tái)各司其職方案給出了整套數(shù)據(jù)平臺(tái)的產(chǎn)品框架,由六個(gè)具體平臺(tái)構(gòu)成——數(shù)據(jù)交換平臺(tái)自主開發(fā)交換組件NAS存儲(chǔ))、基礎(chǔ)計(jì)算平臺(tái)貼源數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū),基于Hadoop集群Hive)、歷史歸檔查詢平臺(tái)基于Hadoop集群Hive)、沙盤演練平臺(tái)基于Hadoop集群)、增值產(chǎn)品平臺(tái)基于Hadoop集群)、管理分析平臺(tái)基于X86 MPP集群)、實(shí)時(shí)分析平臺(tái)基于內(nèi)存數(shù)據(jù)庫(kù)),再加上數(shù)據(jù)管控平臺(tái)貫穿始終,以及支撐數(shù)據(jù)獲取的云數(shù)據(jù)推送平臺(tái)。這些平臺(tái)之間通過(guò)SFTP/HTTP/API、Distcp、HQLLoad、Copyfromlocal、Sqoop、FTP、MR、Queue等具體技術(shù)手段實(shí)現(xiàn)數(shù)據(jù)流轉(zhuǎn)。這套框架把前面講的架構(gòu)和數(shù)據(jù)區(qū)設(shè)計(jì),最終落到了具體的產(chǎn)品和平臺(tái)上,形成了一套完整的、可以指導(dǎo)實(shí)際建設(shè)的技術(shù)藍(lán)圖。六、規(guī)劃設(shè)計(jì)三階段演進(jìn)路線圖方案的規(guī)劃設(shè)計(jì)部分給出了從應(yīng)—技—管三個(gè)維度展開的三階段演進(jìn)路線圖,這是整份方案里最具操作指導(dǎo)價(jià)值的部分。第一階段2013年以基礎(chǔ)平臺(tái)搭建為主應(yīng)用方面開展客戶信息管理、信用風(fēng)險(xiǎn)評(píng)級(jí)和業(yè)務(wù)統(tǒng)計(jì)分析三類應(yīng)用建設(shè)。技術(shù)方面開展貼源數(shù)據(jù)整合,初步建立集團(tuán)級(jí)數(shù)據(jù)視圖,實(shí)現(xiàn)對(duì)管理分析類應(yīng)用和實(shí)時(shí)分析類應(yīng)用的支撐。管控方面規(guī)劃數(shù)據(jù)管控藍(lán)圖,初步實(shí)施數(shù)據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理。方案對(duì)第一階段的定位是以基礎(chǔ)平臺(tái)搭建為主,配合集團(tuán)初期業(yè)務(wù)開展,應(yīng)用建設(shè)從客戶信息管理、風(fēng)險(xiǎn)管理和運(yùn)營(yíng)管理三方面開展。具體到基礎(chǔ)數(shù)據(jù)平臺(tái)的建設(shè)內(nèi)容——搭建數(shù)據(jù)交換平臺(tái)部署NAS存儲(chǔ)集群,設(shè)計(jì)并實(shí)施數(shù)據(jù)庫(kù)交換組件和數(shù)據(jù)區(qū)交換組件)、搭建基礎(chǔ)計(jì)算平臺(tái)設(shè)計(jì)并實(shí)施貼源數(shù)據(jù)區(qū),以T1頻率整合集團(tuán)和金融業(yè)務(wù)數(shù)據(jù))、搭建歷史歸檔查詢平臺(tái)歸檔集團(tuán)和金融業(yè)務(wù)數(shù)據(jù)文件)、搭建內(nèi)部管理分析應(yīng)用平臺(tái)部署MPP集群和BI分析應(yīng)用環(huán)境)、搭建實(shí)時(shí)分析平臺(tái)部署內(nèi)存數(shù)據(jù)庫(kù)和實(shí)時(shí)BI分析環(huán)境。預(yù)期效果是實(shí)現(xiàn)了數(shù)據(jù)平臺(tái)內(nèi)部各數(shù)據(jù)區(qū)之間、數(shù)據(jù)平臺(tái)與外部系統(tǒng)間的雙向數(shù)據(jù)傳輸,實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)按照貼源數(shù)據(jù)模型整合,實(shí)現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理,實(shí)現(xiàn)了內(nèi)部管理分析和實(shí)時(shí)分析環(huán)境搭建。數(shù)據(jù)管控方面的建設(shè)內(nèi)容——分析和梳理當(dāng)前數(shù)據(jù)管理方面的成果和現(xiàn)狀,進(jìn)行數(shù)據(jù)管控藍(lán)圖和路線圖設(shè)計(jì),數(shù)據(jù)管控工作的組織、技術(shù)和流程高階設(shè)計(jì);梳理集團(tuán)大數(shù)據(jù)平臺(tái)ETL流程各環(huán)節(jié)的數(shù)據(jù)質(zhì)量要求,制定數(shù)據(jù)質(zhì)量檢查規(guī)則、評(píng)價(jià)指標(biāo)、管控流程,并落地實(shí)施數(shù)據(jù)質(zhì)量管理系統(tǒng);梳理集團(tuán)大數(shù)據(jù)平臺(tái)包含的技術(shù)元數(shù)據(jù)數(shù)據(jù)字典、ETL任務(wù)、ETL流程、BI語(yǔ)義層等),制定相應(yīng)管控流程并落地實(shí)施元數(shù)據(jù)管理系統(tǒng)。應(yīng)用體系方面的建設(shè)內(nèi)容——開展客戶信息管理建設(shè)設(shè)計(jì)并實(shí)施個(gè)人客戶和供應(yīng)商360°視圖、客戶目標(biāo)搜索、客戶細(xì)分等功能)、開展風(fēng)險(xiǎn)管理建設(shè)設(shè)計(jì)并實(shí)施供應(yīng)商和個(gè)人客戶風(fēng)險(xiǎn)評(píng)級(jí)模型)、開展運(yùn)營(yíng)管理建設(shè)設(shè)計(jì)并實(shí)施供應(yīng)鏈金融、人人貸等業(yè)務(wù)條線業(yè)務(wù)量統(tǒng)計(jì)分析)、初步梳理實(shí)時(shí)準(zhǔn)實(shí)時(shí)分析需求進(jìn)行高時(shí)效分析應(yīng)用試點(diǎn)。第二階段2014年—2015年搭建大數(shù)據(jù)處理平臺(tái)和實(shí)時(shí)分析平臺(tái)應(yīng)用方面全面開展內(nèi)部管理分析、實(shí)時(shí)分析和沙盤演練應(yīng)用建設(shè),初步展開增值數(shù)據(jù)產(chǎn)品開發(fā)工作。技術(shù)方面全面開展企業(yè)數(shù)字化底座建設(shè),引入更多數(shù)據(jù)源,豐富并完善平臺(tái)數(shù)據(jù)區(qū)建設(shè)。管控方面隨著應(yīng)用體系的搭建,完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設(shè),開展數(shù)據(jù)標(biāo)準(zhǔn)化工作。基礎(chǔ)數(shù)據(jù)平臺(tái)建設(shè)內(nèi)容——數(shù)據(jù)交換平臺(tái)增強(qiáng)和優(yōu)化大數(shù)據(jù)交換組件設(shè)計(jì)實(shí)施);基礎(chǔ)計(jì)算平臺(tái)增強(qiáng)引入更多數(shù)據(jù)源增強(qiáng)貼源數(shù)據(jù)區(qū)、設(shè)計(jì)并實(shí)施主題數(shù)據(jù)區(qū)打破業(yè)務(wù)條線整合數(shù)據(jù)、設(shè)計(jì)并實(shí)施大數(shù)據(jù)區(qū)實(shí)現(xiàn)集團(tuán)內(nèi)外部非結(jié)構(gòu)化半結(jié)構(gòu)化數(shù)據(jù)加工處理);搭建沙盤演練平臺(tái);實(shí)時(shí)分析平臺(tái)增強(qiáng)和優(yōu)化引入更多應(yīng)用及相關(guān)數(shù)據(jù)源。預(yù)期效果是實(shí)現(xiàn)了基礎(chǔ)數(shù)據(jù)一次存儲(chǔ)、一次計(jì)算、多次使用,建立了數(shù)據(jù)分析人員的實(shí)驗(yàn)環(huán)境實(shí)現(xiàn)用戶自主用數(shù),為實(shí)時(shí)準(zhǔn)實(shí)時(shí)類分析應(yīng)用提供平臺(tái),為封裝銷售數(shù)據(jù)類產(chǎn)品提供了平臺(tái)。數(shù)據(jù)管控方面——隨著更多數(shù)據(jù)源的引入進(jìn)一步增強(qiáng)數(shù)據(jù)質(zhì)量管理系統(tǒng);隨著更多數(shù)據(jù)源和平臺(tái)的建立梳理并整合更多技術(shù)元數(shù)據(jù);梳理集團(tuán)大數(shù)據(jù)平臺(tái)包含的業(yè)務(wù)和管理類元數(shù)據(jù)業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)指標(biāo)、業(yè)務(wù)定義等),制定相應(yīng)管控流程并落地實(shí)施元數(shù)據(jù)管理系統(tǒng);開展基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、管控流程、評(píng)價(jià)指標(biāo)、落地策略。預(yù)期效果是完善了數(shù)據(jù)質(zhì)量管理體系實(shí)現(xiàn)問(wèn)題及時(shí)發(fā)現(xiàn)及時(shí)解決,實(shí)現(xiàn)了集團(tuán)全方位的元數(shù)據(jù)管理打通了業(yè)務(wù)和技術(shù)元數(shù)據(jù)關(guān)聯(lián)關(guān)系,為集團(tuán)數(shù)據(jù)平臺(tái)建設(shè)提供了基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)。應(yīng)用體系方面——隨著集團(tuán)業(yè)務(wù)展開逐步開展內(nèi)部管理分析體系建設(shè)本階段重點(diǎn)為客戶關(guān)系管理、運(yùn)營(yíng)管理等);高級(jí)業(yè)務(wù)人員利用沙盤演練平臺(tái)進(jìn)行數(shù)據(jù)挖掘預(yù)測(cè)和科學(xué)試驗(yàn);進(jìn)一步梳理實(shí)時(shí)準(zhǔn)實(shí)時(shí)分析需求深化開展高時(shí)效分析應(yīng)用;開始梳理市場(chǎng)上的數(shù)據(jù)應(yīng)用需求嘗試封裝增值數(shù)據(jù)產(chǎn)品。預(yù)期效果是通過(guò)內(nèi)部管理分析體系建設(shè)滿足了集團(tuán)日常經(jīng)營(yíng)管理決策分析和進(jìn)一步提高價(jià)值創(chuàng)造力的需要,實(shí)現(xiàn)了業(yè)務(wù)人員自主用數(shù),實(shí)現(xiàn)了高時(shí)效分析與業(yè)務(wù)流程的整合,實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝提升了數(shù)據(jù)價(jià)值。第三階段2015年以后持續(xù)優(yōu)化提升階段應(yīng)用方面深化分析體系,形成深度智能化業(yè)務(wù)分析。技術(shù)方面性能持續(xù)優(yōu)化、數(shù)據(jù)平臺(tái)持續(xù)完善。管控方面持續(xù)深化數(shù)據(jù)管控體系,形成集團(tuán)級(jí)的數(shù)據(jù)管控體系。基礎(chǔ)數(shù)據(jù)平臺(tái)建設(shè)內(nèi)容——基礎(chǔ)計(jì)算平臺(tái)持續(xù)增強(qiáng)和優(yōu)化引入更多數(shù)據(jù)源、優(yōu)化模型和ETL處理);搭建增值產(chǎn)品平臺(tái)設(shè)計(jì)并實(shí)施增值產(chǎn)品數(shù)據(jù)區(qū));數(shù)據(jù)交換平臺(tái)、沙盤演練平臺(tái)、實(shí)時(shí)分析平臺(tái)進(jìn)一步增強(qiáng)和優(yōu)化。預(yù)期效果是數(shù)據(jù)平臺(tái)納入盡可能多的集團(tuán)內(nèi)外部數(shù)據(jù),數(shù)據(jù)平臺(tái)以最優(yōu)的性能支持各類數(shù)據(jù)應(yīng)用。數(shù)據(jù)管控方面——數(shù)據(jù)質(zhì)量管理持續(xù)優(yōu)化并增強(qiáng);元數(shù)據(jù)管理持續(xù)優(yōu)化并增強(qiáng);基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)逐步落地實(shí)施;開展指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、管控流程、評(píng)價(jià)指標(biāo)、落地策略。預(yù)期效果是通過(guò)完善的數(shù)據(jù)管控體系,提升數(shù)據(jù)質(zhì)量、避免數(shù)據(jù)二義性、建立數(shù)據(jù)間的血緣關(guān)系,使得業(yè)務(wù)人員可以方便有效地使用數(shù)據(jù),提高數(shù)據(jù)實(shí)用性。應(yīng)用體系方面——隨著集團(tuán)業(yè)務(wù)展開進(jìn)一步完善內(nèi)部管理分析體系建設(shè)市場(chǎng)風(fēng)險(xiǎn)管理、操作風(fēng)險(xiǎn)管理、財(cái)務(wù)管理等);收集實(shí)時(shí)分析需求進(jìn)一步增強(qiáng)并優(yōu)化實(shí)時(shí)分析應(yīng)用體系;增值數(shù)據(jù)產(chǎn)品設(shè)計(jì)逐漸成為重點(diǎn),數(shù)據(jù)分析師收集集團(tuán)內(nèi)外部數(shù)據(jù)需求設(shè)計(jì)更完善的增值數(shù)據(jù)產(chǎn)品。預(yù)期效果是通過(guò)內(nèi)部管理分析應(yīng)用體系建設(shè)進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)共享業(yè)務(wù)協(xié)作與創(chuàng)新,通過(guò)實(shí)時(shí)分析應(yīng)用體系建設(shè)實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)與業(yè)務(wù)系統(tǒng)的交互、與業(yè)務(wù)流程的融合,增值數(shù)據(jù)產(chǎn)品的開發(fā)進(jìn)一步發(fā)揮數(shù)據(jù)平臺(tái)的數(shù)據(jù)價(jià)值。這套三階段路線圖的設(shè)計(jì)邏輯非常清晰——第一階段打基礎(chǔ)貼源整合基礎(chǔ)應(yīng)用管控藍(lán)圖),第二階段補(bǔ)能力主題大數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)標(biāo)準(zhǔn)化),第三階段做深做透增值產(chǎn)品指標(biāo)標(biāo)準(zhǔn)深度智能化)。每個(gè)階段的應(yīng)—技—管三條線都在同步推進(jìn),不是先做技術(shù)后做管理,而是從第一階段就開始規(guī)劃數(shù)據(jù)管控藍(lán)圖,這個(gè)節(jié)奏值得所有類似項(xiàng)目借鑒。七、一期架構(gòu)落地具體到服務(wù)器數(shù)量的技術(shù)細(xì)節(jié)方案的第四部分講了一期架構(gòu)的具體落地情況,技術(shù)細(xì)節(jié)顆粒度非常細(xì),這是這份方案區(qū)別于很多概念性數(shù)字化方案的地方。五大子平臺(tái)構(gòu)成一期架構(gòu)方案給出的一期架構(gòu)包括——基礎(chǔ)計(jì)算平臺(tái)基于Hadoop集群構(gòu)建,按照業(yè)務(wù)條線以貼源數(shù)據(jù)模型存儲(chǔ)業(yè)務(wù)系統(tǒng)明細(xì)數(shù)據(jù))、數(shù)據(jù)交換平臺(tái)NAS集群實(shí)現(xiàn)進(jìn)出數(shù)據(jù)平臺(tái)數(shù)據(jù)暫存,業(yè)務(wù)數(shù)據(jù)交換組件實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)加載,數(shù)據(jù)區(qū)數(shù)據(jù)交換組件實(shí)現(xiàn)基礎(chǔ)計(jì)算平臺(tái)與管理分析平臺(tái)間數(shù)據(jù)交換)、流程調(diào)度平臺(tái)自主開發(fā)的流程調(diào)度引擎實(shí)現(xiàn)整個(gè)數(shù)據(jù)平臺(tái)數(shù)據(jù)處理任務(wù)調(diào)度和運(yùn)行)、管理分析平臺(tái)由X86分析型數(shù)據(jù)庫(kù)集群、BI軟件、J2EE應(yīng)用構(gòu)成,實(shí)現(xiàn)面向應(yīng)用的數(shù)據(jù)加工管理分析服務(wù))、實(shí)時(shí)分析平臺(tái)由高檔X86服務(wù)器組成的集群,實(shí)現(xiàn)高時(shí)效高并發(fā)的實(shí)時(shí)準(zhǔn)實(shí)時(shí)類管理分析需求。數(shù)據(jù)交換平臺(tái)的具體部署方案給出的數(shù)據(jù)交換平臺(tái)由FTP服務(wù)器、加載服務(wù)器和NAS存儲(chǔ)組成——FTP服務(wù)器利用LVS構(gòu)成集群,接收云數(shù)據(jù)推送平臺(tái)處理后的數(shù)據(jù)存儲(chǔ)在NAS集群指定目錄;加載服務(wù)器部署ETL任務(wù),實(shí)現(xiàn)指定目錄的文件到達(dá)監(jiān)控、文件級(jí)檢核、數(shù)據(jù)加載Hive Load到臨時(shí)數(shù)據(jù)區(qū),同時(shí)歸檔到歷史數(shù)據(jù)區(qū);NAS集群按日期和源系統(tǒng)劃分目錄緩存數(shù)據(jù),支持日常數(shù)據(jù)交換和ETL。云數(shù)據(jù)推送平臺(tái)負(fù)責(zé)源系統(tǒng)數(shù)據(jù)一次獲取、按需分發(fā),采用GoldenGate、JBUS、Flume等技術(shù)獲取增量數(shù)據(jù)存儲(chǔ)在MySQL集群,按接口規(guī)范生成文件LZO壓縮后通過(guò)FTP傳輸?shù)絅AS指定目錄。方案還給出了數(shù)據(jù)交換平臺(tái)的參與方責(zé)任劃分,這一部分非常具體云計(jì)算方要設(shè)計(jì)實(shí)施云數(shù)據(jù)推送平臺(tái)、按接口定義抽取業(yè)務(wù)系統(tǒng)數(shù)據(jù)、按時(shí)生成數(shù)據(jù)文件控制文件DDL文件并FTP傳輸,若源系統(tǒng)變更需提前提供變更說(shuō)明;集團(tuán)研發(fā)部門要制定接口規(guī)范、梳理業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典、開發(fā)數(shù)據(jù)交換組件、對(duì)接收數(shù)據(jù)提供驗(yàn)證功能;運(yùn)維部門負(fù)責(zé)安裝部署物理環(huán)境應(yīng)用軟件基礎(chǔ)設(shè)施運(yùn)維,在業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)服務(wù)器安裝云數(shù)據(jù)推送平臺(tái)客戶端;集團(tuán)業(yè)務(wù)系統(tǒng)負(fù)責(zé)針對(duì)需求指定接口人提供文檔,系統(tǒng)升級(jí)導(dǎo)致數(shù)據(jù)模型變化時(shí)及時(shí)通知接口責(zé)任人。這種責(zé)任劃分的具體程度,說(shuō)明方案不只是技術(shù)架構(gòu),還考慮了多方協(xié)作的實(shí)施流程。數(shù)據(jù)交換平臺(tái)部署架構(gòu)具體到——由8臺(tái)X86服務(wù)器和一個(gè)NAS集群構(gòu)成,X86服務(wù)器按功能分兩組一組數(shù)據(jù)獲取,一組數(shù)據(jù)加載和歸檔),NAS集群作為公共數(shù)據(jù)區(qū)由8臺(tái)服務(wù)器共享訪問(wèn)。流程調(diào)度平臺(tái)的具體設(shè)計(jì)流程調(diào)度平臺(tái)通過(guò)Task Automation驅(qū)動(dòng)各個(gè)平臺(tái),實(shí)現(xiàn)從數(shù)據(jù)存入NAS平臺(tái)到數(shù)據(jù)集市生成整個(gè)處理過(guò)程的工作流管理。流程調(diào)度元數(shù)據(jù)統(tǒng)一存儲(chǔ)在MySQL數(shù)據(jù)庫(kù)中,包含任務(wù)定義、任務(wù)依賴、任務(wù)觸發(fā)、任務(wù)組等屬性,元數(shù)據(jù)由所有流程調(diào)度服務(wù)器共享。任務(wù)調(diào)度引擎的觸發(fā)方式分兩類——自動(dòng)觸發(fā)定時(shí)觸發(fā),如每日每周每月的歸檔任務(wù);事件觸發(fā),如數(shù)據(jù)文件到達(dá)指定目錄觸發(fā)加載任務(wù))和手動(dòng)觸發(fā)系統(tǒng)管理員通過(guò)界面或命令接口執(zhí)行審計(jì)驗(yàn)證、數(shù)據(jù)清洗或流程修復(fù)。集群可靠性方面,流程調(diào)度所需元數(shù)據(jù)統(tǒng)一保存在MySQL數(shù)據(jù)庫(kù)中,任何服務(wù)器故障不會(huì)破壞元數(shù)據(jù)完整性,故障時(shí)只需修改ETL任務(wù)屬性指定其他服務(wù)器執(zhí)行即可。擴(kuò)展能力方面,流程調(diào)度集群由多臺(tái)服務(wù)器構(gòu)成按工作負(fù)載劃分角色,當(dāng)某類調(diào)度負(fù)載較大時(shí)可通過(guò)增加服務(wù)器實(shí)現(xiàn)橫向擴(kuò)展。部署架構(gòu)具體到——由8臺(tái)X86服務(wù)器構(gòu)成,分兩類——兩臺(tái)部署MySQL數(shù)據(jù)庫(kù)集群存儲(chǔ)流程調(diào)度元數(shù)據(jù),六臺(tái)部署流程調(diào)度引擎負(fù)責(zé)各數(shù)據(jù)區(qū)數(shù)據(jù)處理流程調(diào)度與運(yùn)行,并按數(shù)據(jù)區(qū)劃分工作流臨時(shí)/歸檔區(qū)、貼源區(qū)、匯總區(qū)分別部署獨(dú)立服務(wù)器?；A(chǔ)計(jì)算平臺(tái)的具體設(shè)計(jì)基礎(chǔ)計(jì)算平臺(tái)基于Hadoop集群搭建,采用標(biāo)準(zhǔn)X86服務(wù)器,集群彈性架構(gòu)按需分配計(jì)算資源,數(shù)據(jù)保留三份保證節(jié)點(diǎn)故障不影響服務(wù)。平臺(tái)由三個(gè)數(shù)據(jù)區(qū)構(gòu)成——臨時(shí)數(shù)據(jù)區(qū)緩存當(dāng)日變化數(shù)據(jù),支持后續(xù)ELT處理)、貼源數(shù)據(jù)區(qū)按源系統(tǒng)數(shù)據(jù)模型整合的明細(xì)歷史數(shù)據(jù),一次整合多次使用)、匯總數(shù)據(jù)區(qū)對(duì)貼源數(shù)據(jù)區(qū)明細(xì)數(shù)據(jù)預(yù)連接預(yù)聚合預(yù)匯總,一次計(jì)算多次使用。方案對(duì)每個(gè)數(shù)據(jù)區(qū)都給出了具體的設(shè)計(jì)原則,比方案前面數(shù)據(jù)存儲(chǔ)層部分講得更細(xì)——比如臨時(shí)數(shù)據(jù)區(qū)的數(shù)據(jù)庫(kù)設(shè)計(jì)原則是對(duì)應(yīng)獨(dú)立的Hive數(shù)據(jù)庫(kù),不對(duì)外提供訪問(wèn),ETL用戶對(duì)數(shù)據(jù)庫(kù)有增刪查改權(quán)限;模型設(shè)計(jì)原則是邏輯模型參考源系統(tǒng)和接口規(guī)范定義,物理模型與邏輯模型保持一致,每個(gè)實(shí)體對(duì)應(yīng)一張Hive表采用LZO壓縮存儲(chǔ),不建議考慮索引物化視圖等技術(shù)特性,以天為單位按業(yè)務(wù)日期建立分區(qū);歷史保留原則是緩存當(dāng)日業(yè)務(wù)數(shù)據(jù),為數(shù)據(jù)重跑方便可保留7天歷史,過(guò)期數(shù)據(jù)直接刪除對(duì)應(yīng)分區(qū)不需要?dú)w檔。貼源數(shù)據(jù)區(qū)的模型設(shè)計(jì)原則更細(xì)致——“針對(duì)不需要記錄變化的實(shí)體,邏輯模型參考緩沖層按貼源設(shè)計(jì);針對(duì)需要記錄變化的數(shù)據(jù),需要增加時(shí)間字段設(shè)計(jì)拉鏈數(shù)據(jù)模型記錄歷史;物理模型考慮分區(qū),流水表按業(yè)務(wù)日期建分區(qū),拉鏈表按終止日期建分區(qū)”歷史保留原則是拉鏈表數(shù)據(jù)保留最近37個(gè)月歷史,快照表數(shù)據(jù)永久保留,交易流水表數(shù)據(jù)保留最近25個(gè)月歷史,過(guò)期數(shù)據(jù)歸檔到歷史歸檔區(qū)需要時(shí)回遷。這兩個(gè)具體數(shù)字37個(gè)月、25個(gè)月)說(shuō)明方案確實(shí)結(jié)合了金融業(yè)務(wù)的真實(shí)合規(guī)和分析需求做了精細(xì)化設(shè)計(jì),不是隨手寫的通用規(guī)則。匯總數(shù)據(jù)區(qū)的模型設(shè)計(jì)原則是采用逆范式寬表設(shè)計(jì),某種程度上采用維度建模方法,設(shè)計(jì)首先需要根據(jù)業(yè)務(wù)和應(yīng)用需要盡量包含更多屬性和指標(biāo)同時(shí)兼顧空間,需要針對(duì)維度數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理,模型增加數(shù)據(jù)日期記錄歷史建議按數(shù)據(jù)日期建分區(qū);歷史保留原則是不同實(shí)體采取不同歷史保留策略,建議以支持應(yīng)用為輸入避免永久保留,過(guò)期數(shù)據(jù)歸檔到歷史歸檔區(qū)需要時(shí)回遷。平臺(tái)部署架構(gòu)具體到——由73臺(tái)X86服務(wù)器構(gòu)成,3臺(tái)作為Name Node和JobTracker Node,70臺(tái)作為Data Node和TaskTracker Node。NN負(fù)責(zé)HDFS元數(shù)據(jù)管理,元數(shù)據(jù)信息存儲(chǔ)在NAS集群指定目錄,通過(guò)硬件冗余、RAID01、Slave NN等技術(shù)實(shí)現(xiàn)高可用性;Secondary NN負(fù)責(zé)HDFS元數(shù)據(jù)備份,Secondary JobTracker負(fù)責(zé)MR計(jì)算集群JobTracker高可用性;70臺(tái)服務(wù)器是HDFS數(shù)據(jù)節(jié)點(diǎn),臨時(shí)數(shù)據(jù)區(qū)和貼源整合區(qū)作為獨(dú)立數(shù)據(jù)庫(kù)部署在此,按3份冗余存儲(chǔ);JobTracker Node負(fù)責(zé)MR任務(wù)分配,通過(guò)心跳信號(hào)檢測(cè)TaskTracker活動(dòng)狀態(tài)排除失效節(jié)點(diǎn)。網(wǎng)絡(luò)拓?fù)浞矫?方案給出了機(jī)架分布示意——分成多個(gè)RACK,每個(gè)RACK約20個(gè)Node,體現(xiàn)了大規(guī)模Hadoop集群的典型物理部署方式。管理分析平臺(tái)的安全管理管理分析平臺(tái)涵蓋客戶信息管理J2EE框架自主開發(fā),數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫(kù)集群)、運(yùn)營(yíng)績(jī)效管理MicroStrategy開發(fā),數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫(kù)集群)、扶貧靈活分析MicroStrategy開發(fā),數(shù)據(jù)集市構(gòu)建于內(nèi)存數(shù)據(jù)庫(kù)集群HANA。安全管理架構(gòu)涵蓋身份管理、認(rèn)證管理、授權(quán)管理、賬戶管理、審計(jì)管理,由安全管理員統(tǒng)一負(fù)責(zé),平臺(tái)安全管理信息庫(kù)存儲(chǔ)賬戶信息、權(quán)限信息、日志信息,并通過(guò)LDAP實(shí)現(xiàn)統(tǒng)一認(rèn)證。業(yè)務(wù)應(yīng)用層覆蓋個(gè)人客戶信息管理、集團(tuán)客戶信息管理、金融業(yè)務(wù)規(guī)模預(yù)測(cè)等,均納入統(tǒng)一的安全管控體系。整體物理架構(gòu)與硬件配置方案給出的物理架構(gòu)劃分為三個(gè)子網(wǎng)——WEB服務(wù)子網(wǎng)兩臺(tái)服務(wù)器構(gòu)成的Tomcat集群)、應(yīng)用服務(wù)子網(wǎng)兩臺(tái)服務(wù)器構(gòu)成的MicroStrategy集群)、數(shù)據(jù)服務(wù)子網(wǎng)基礎(chǔ)計(jì)算平臺(tái)73臺(tái)服務(wù)器的Hadoop集群、數(shù)據(jù)集市平臺(tái)30臺(tái)服務(wù)器的集群、流程調(diào)度平臺(tái)7臺(tái)服務(wù)器的Task Automation集群、數(shù)據(jù)交換平臺(tái)5臺(tái)服務(wù)器與云數(shù)據(jù)推送平臺(tái)接口。一期硬件配置給出了具體參數(shù)——基礎(chǔ)計(jì)算平臺(tái)Data Node服務(wù)器70臺(tái),32核CPU,128G內(nèi)存,2×1Gb網(wǎng)口,Centos 6.3,12×2TB 7200RPM SATA磁盤),Name Node服務(wù)器3臺(tái),32核CPU,128G內(nèi)存,4×600GB 15K SAS磁盤RAID 01);歷史歸檔查詢平臺(tái)Data Node服務(wù)器30臺(tái),12核CPU,24G內(nèi)存,16×3TB 7200RPM SATA磁盤),Name Node服務(wù)器3臺(tái),12核CPU,24G內(nèi)存);沙盤演練平臺(tái)Data Node服務(wù)器30臺(tái),32核CPU,128G內(nèi)存,12×2TB 7200RPM SATA磁盤),Name Node服務(wù)器3臺(tái),32核CPU,128G內(nèi)存)。這種具體到服務(wù)器數(shù)量、CPU核數(shù)、內(nèi)存大小、磁盤規(guī)格的硬件配置清單,是很多概念性數(shù)字化方案里完全看不到的內(nèi)容,恰恰說(shuō)明這份方案是真正指導(dǎo)過(guò)實(shí)際項(xiàng)目落地的技術(shù)文檔,而不是停留在PPT層面的規(guī)劃愿景。八、這份方案值得學(xué)習(xí)的地方1. 八大數(shù)據(jù)區(qū)的分區(qū)設(shè)計(jì)規(guī)范極其具體可直接復(fù)用臨時(shí)數(shù)據(jù)區(qū)7天、貼源數(shù)據(jù)區(qū)拉鏈表37個(gè)月/快照表永久/流水表25個(gè)月、大數(shù)據(jù)區(qū)1年、歷史歸檔區(qū)7年,這種明確的保留周期規(guī)范,是很多數(shù)據(jù)平臺(tái)設(shè)計(jì)文檔里容易被忽略但極其重要的細(xì)節(jié)。2. 三類交換組件按數(shù)據(jù)源類型分工架構(gòu)清晰不混亂大數(shù)據(jù)交換組件管非結(jié)構(gòu)化、數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件管結(jié)構(gòu)化、數(shù)據(jù)區(qū)數(shù)據(jù)交換組件管平臺(tái)內(nèi)部流轉(zhuǎn),這種按數(shù)據(jù)類型和流轉(zhuǎn)場(chǎng)景分工的設(shè)計(jì)思路,避免了一個(gè)組件包打天下導(dǎo)致的復(fù)雜度失控。3. 三階段路線圖的應(yīng)—技—管三線同步推進(jìn)模式值得借鑒很多項(xiàng)目容易犯先建技術(shù)平臺(tái),后補(bǔ)管理體系的錯(cuò)誤,這份方案從第一階段就同步規(guī)劃數(shù)據(jù)管控藍(lán)圖,體現(xiàn)了對(duì)數(shù)據(jù)治理長(zhǎng)期性的清醒認(rèn)識(shí)。4. 平臺(tái)發(fā)展階段與應(yīng)用類型的對(duì)應(yīng)關(guān)系提供了合理的建設(shè)節(jié)奏參考從操作為主到報(bào)表為主到分析為主到預(yù)測(cè)為主再到動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù),這條演進(jìn)曲線提醒我們數(shù)據(jù)應(yīng)用建設(shè)要循序漸進(jìn),不能跳過(guò)基礎(chǔ)階段直接追求高級(jí)預(yù)測(cè)應(yīng)用。5. 具體到服務(wù)器數(shù)量和硬件參數(shù)的技術(shù)細(xì)節(jié)讓方案真正具備落地指導(dǎo)價(jià)值73臺(tái)Hadoop節(jié)點(diǎn)、8臺(tái)數(shù)據(jù)交換服務(wù)器、8臺(tái)流程調(diào)度服務(wù)器,這些具體數(shù)字雖然看起來(lái)枯燥,但正是這些細(xì)節(jié)讓方案從愿景藍(lán)圖變成了可執(zhí)行的建設(shè)指南。九、給正在規(guī)劃企業(yè)級(jí)數(shù)據(jù)平臺(tái)的團(tuán)隊(duì)幾點(diǎn)建議1. 數(shù)據(jù)分區(qū)設(shè)計(jì)要明確每個(gè)區(qū)的職責(zé)邊界和保留策略不要把所有數(shù)據(jù)都堆在一個(gè)大數(shù)據(jù)湖里,參照方案的八大數(shù)據(jù)區(qū)設(shè)計(jì),明確臨時(shí)區(qū)、貼源區(qū)、主題區(qū)、集市區(qū)、沙盤區(qū)、歸檔區(qū)各自的職責(zé),并給每類數(shù)據(jù)設(shè)定合理的保留周期。2. 數(shù)據(jù)管控要和技術(shù)平臺(tái)建設(shè)同步啟動(dòng)不要滯后方案第一階段就同步規(guī)劃數(shù)據(jù)管控藍(lán)圖并落地?cái)?shù)據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理,這個(gè)節(jié)奏值得所有正在做數(shù)據(jù)平臺(tái)建設(shè)的團(tuán)隊(duì)參考,不要等平臺(tái)建完了才想起來(lái)做治理。3. 應(yīng)用建設(shè)要遵循從操作到預(yù)測(cè)的自然演進(jìn)節(jié)奏先把歷史查詢、報(bào)表這類基礎(chǔ)應(yīng)用做扎實(shí),再逐步往管理分析、沙盤演練、數(shù)據(jù)增值產(chǎn)品這類高級(jí)應(yīng)用推進(jìn),不要一開始就追求智能化預(yù)測(cè)性這類高階目標(biāo)。4. 組織架構(gòu)設(shè)計(jì)要落到具體崗位角色而不是抽象部門參照方案給出的數(shù)據(jù)管控經(jīng)理、數(shù)據(jù)標(biāo)準(zhǔn)管理員、數(shù)據(jù)質(zhì)量管理員、數(shù)據(jù)安全管理員、元數(shù)據(jù)管理員這類具體崗位設(shè)置,確保數(shù)據(jù)治理工作有人真正負(fù)責(zé),而不是各部門配合這種模糊說(shuō)法。5. 硬件規(guī)劃要結(jié)合實(shí)際數(shù)據(jù)量和查詢負(fù)載測(cè)算不要憑空估算參照方案給出的具體服務(wù)器數(shù)量和配置參數(shù)的測(cè)算邏輯比如Hadoop集群70個(gè)數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)貼源和臨時(shí)數(shù)據(jù)區(qū),3個(gè)Name Node保證高可用),硬件規(guī)劃應(yīng)該基于真實(shí)的數(shù)據(jù)量增長(zhǎng)預(yù)期和查詢負(fù)載模型來(lái)做,而不是拍腦袋定數(shù)字。結(jié)語(yǔ)數(shù)字化底座的終點(diǎn)是讓數(shù)據(jù)真正流動(dòng)起來(lái)、用起來(lái)這份《企業(yè)數(shù)字化底座與數(shù)字化轉(zhuǎn)型解決方案》講的核心邏輯其實(shí)很樸素——數(shù)字化底座不是建一個(gè)大而全的技術(shù)平臺(tái),而是要讓數(shù)據(jù)從產(chǎn)生到應(yīng)用的整條鏈路真正流動(dòng)起來(lái)、可信起來(lái)、用得起來(lái)。從數(shù)據(jù)產(chǎn)生層的三類源數(shù)據(jù),到數(shù)據(jù)交換層的三大交換組件,到數(shù)據(jù)存儲(chǔ)層的八大數(shù)據(jù)區(qū)各司其職,到數(shù)據(jù)應(yīng)用層的五種應(yīng)用類型對(duì)應(yīng)不同的成熟階段,再到數(shù)據(jù)管控層的組織制度平臺(tái)三位一體每一層設(shè)計(jì)都在回答同一個(gè)問(wèn)題——海量的、分散的、異構(gòu)的企業(yè)數(shù)據(jù),怎么才能變成決策層看得懂、管理層用得上、業(yè)務(wù)人員挖得出價(jià)值的真正資產(chǎn)。對(duì)任何正在規(guī)劃企業(yè)級(jí)大數(shù)據(jù)平臺(tái)或數(shù)字化底座建設(shè)的團(tuán)隊(duì)來(lái)說(shuō),這份方案最值得借鑒的不是某個(gè)具體技術(shù)組件的選型畢竟Hadoop生態(tài)在這些年已經(jīng)有了很大演進(jìn)),而是它貫穿始終的方法論——先分清數(shù)據(jù)的類型和流向,再按職責(zé)邊界設(shè)計(jì)分層分區(qū)的存儲(chǔ)架構(gòu),同步規(guī)劃數(shù)據(jù)管控體系而不是滯后補(bǔ)課,遵循從基礎(chǔ)應(yīng)用到高階預(yù)測(cè)的自然演進(jìn)節(jié)奏,并把每一層設(shè)計(jì)都落實(shí)到具體可執(zhí)行的技術(shù)參數(shù)上。這套邏輯,比任何單一的技術(shù)組件選型都更值得深入理解和復(fù)制推廣。以下為方案部分截圖