簡介這份PDF白皮書面向企業(yè)數(shù)據(jù)管理者、數(shù)據(jù)平臺(tái)建設(shè)者與數(shù)字化轉(zhuǎn)型從業(yè)者圍繞“數(shù)據(jù)如何從資源變成資產(chǎn)”這一核心問題展開。內(nèi)容從數(shù)據(jù)分類與數(shù)據(jù)資產(chǎn)定義講起梳理主數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、分析數(shù)據(jù)的“樹干—枝葉—果實(shí)”關(guān)系進(jìn)而說明數(shù)據(jù)治理解決的是找不到、看不懂、信不過、管不住四類現(xiàn)實(shí)困境并系統(tǒng)介紹網(wǎng)易數(shù)據(jù)治理2.0的開發(fā)治理一體化、數(shù)據(jù)中臺(tái)架構(gòu)、湖內(nèi)湖外統(tǒng)一治理、數(shù)據(jù)治理360、基于ROI的資產(chǎn)精細(xì)化管理、持續(xù)閉環(huán)與DataOps開發(fā)底座。資源共1個(gè)PDF文件約10.09MB目錄完整、層級(jí)清晰便于按章節(jié)檢索末章還給出證券、電信運(yùn)營商、物流三個(gè)行業(yè)的落地實(shí)踐可幫助讀者對(duì)照自身場景理解治理框架的搭建順序與落地要點(diǎn)。目前已有721人學(xué)習(xí)適合需要建立數(shù)據(jù)治理整體認(rèn)知或?yàn)閮?nèi)部立項(xiàng)尋找參考的讀者。1. 數(shù)據(jù)治理到底在治什么它管的不是數(shù)據(jù)是人和數(shù)據(jù)的關(guān)系“數(shù)據(jù)治理”這四個(gè)字第一次聽見的人多半會(huì)理解成“把數(shù)據(jù)洗干凈”或者“建一個(gè)大庫統(tǒng)一存起來”。真在企業(yè)里干過這活的人會(huì)告訴你清洗和建庫只是動(dòng)作治理真正要對(duì)付的是兩件事人和數(shù)據(jù)之間怎么互相認(rèn)識(shí)人和人之間怎么把同一份數(shù)據(jù)用到同一個(gè)口徑上。一份企業(yè)級(jí)的數(shù)據(jù)治理白皮書把這件事拆得很細(xì)先把企業(yè)數(shù)據(jù)分成主數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)和分析數(shù)據(jù)再看數(shù)據(jù)用不起來時(shí)到底卡在哪四個(gè)地方最后把治理動(dòng)作塞回?cái)?shù)據(jù)開發(fā)的流水線上。這條路子值得搞懂因?yàn)榇蠖鄶?shù)公司踩的坑幾乎一模一樣——數(shù)據(jù)越攢越多能用的反而越來越少。2. 企業(yè)的數(shù)據(jù)到底長什么樣樹干、樹葉和果實(shí)的分類法企業(yè)里幾乎每個(gè)人每天都在和數(shù)據(jù)打交道管理者看報(bào)表基層員工填單據(jù)運(yùn)營盯著轉(zhuǎn)化率?？捎貌缓脭?shù)據(jù)的原因往往不在“有沒有數(shù)據(jù)”而在“根本不知道手上這堆東西各是什么、各管什么用”。分類是所有后續(xù)動(dòng)作的前提分不清類型就談不上治理更談不上把數(shù)據(jù)當(dāng)資產(chǎn)來經(jīng)營。2.1 主數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、分析數(shù)據(jù)一棵樹就能記住主數(shù)據(jù)是有關(guān)業(yè)務(wù)實(shí)體的數(shù)據(jù)比如雇員、客戶、產(chǎn)品、地點(diǎn)。它回答的是“這個(gè)對(duì)象是誰”為業(yè)務(wù)交易和分析提供語境信息。一家公司如果客戶主數(shù)據(jù)沒管住同一個(gè)客戶在三個(gè)系統(tǒng)里就是三個(gè)人后續(xù)所有按客戶匯總的數(shù)字都會(huì)出問題。業(yè)務(wù)數(shù)據(jù)描述企業(yè)的經(jīng)營活動(dòng)產(chǎn)品出入庫、財(cái)務(wù)應(yīng)收、采購、銷售都算。它回答的是“發(fā)生了什么”是分析數(shù)據(jù)的原料。業(yè)務(wù)數(shù)據(jù)的質(zhì)量直接決定后面能不能算出可信的結(jié)果上游一筆單據(jù)錄錯(cuò)下游十個(gè)報(bào)表跟著歪。分析數(shù)據(jù)來自業(yè)務(wù)數(shù)據(jù)的加工反映企業(yè)業(yè)績比如銷售收入增長、投資回報(bào)率。它回答的是“結(jié)果如何”是決策的依據(jù)也是數(shù)據(jù)價(jià)值真正體現(xiàn)出來的那一層。三類數(shù)據(jù)不是并列關(guān)系而是承載和供養(yǎng)關(guān)系。主數(shù)據(jù)是樹干業(yè)務(wù)數(shù)據(jù)是枝葉分析數(shù)據(jù)是枝頭的果實(shí)葉子離了樹干活不了果實(shí)靠葉子光合作用供養(yǎng)。脫離主數(shù)據(jù)談業(yè)務(wù)數(shù)據(jù)和分析數(shù)據(jù)就像拿著摘下來的葉子討論它還能不能結(jié)果。類型回答的問題典型例子類比缺失時(shí)會(huì)怎樣主數(shù)據(jù)這個(gè)對(duì)象是誰客戶、產(chǎn)品、地點(diǎn)、雇員樹干同一客戶在不同系統(tǒng)變成多條記錄業(yè)務(wù)數(shù)據(jù)發(fā)生了什么出入庫、應(yīng)收、采購、銷售樹葉分析沒有原料只能拍腦袋分析數(shù)據(jù)結(jié)果如何收入增長、投資回報(bào)率果實(shí)決策失去依據(jù)價(jià)值無法兌現(xiàn)2.2 數(shù)據(jù)為什么不等于數(shù)據(jù)資產(chǎn)業(yè)內(nèi)一份被廣泛引用的數(shù)據(jù)資產(chǎn)管理白皮書把數(shù)據(jù)資產(chǎn)定義為由組織合法擁有或控制的數(shù)據(jù)資源以電子或其他方式記錄例如文本、圖像、語音、視頻、網(wǎng)頁、數(shù)據(jù)庫、傳感信號(hào)等結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)可進(jìn)行計(jì)量或交易能直接或間接帶來經(jīng)濟(jì)效益和社會(huì)效益。這個(gè)定義里有三根柱子。第一根是主體數(shù)據(jù)必須有歸屬歸屬于某個(gè)組織而不是飄在空中的字節(jié)。第二根是資源形態(tài)數(shù)據(jù)可以是結(jié)構(gòu)化的表也可以是非結(jié)構(gòu)化的語音和圖像判斷標(biāo)準(zhǔn)不是長什么樣而是能不能被記錄和被使用。第三根是價(jià)值能直接或間接帶來經(jīng)濟(jì)效益和社會(huì)效益這一條才是“數(shù)據(jù)”和“資產(chǎn)”之間的分水嶺。關(guān)鍵在于這三根柱子不會(huì)自動(dòng)立起來。數(shù)據(jù)的生成、匯聚、存儲(chǔ)、分析、共享每個(gè)環(huán)節(jié)都可能因?yàn)楣芾聿划?dāng)、治理手段缺失而產(chǎn)出低質(zhì)量數(shù)據(jù)。低質(zhì)量數(shù)據(jù)不但沒有價(jià)值還會(huì)制造錯(cuò)誤決策它的破壞力和一條錯(cuò)誤的財(cái)務(wù)報(bào)表是同一量級(jí)。用樹的比喻接著說不健康的樹干會(huì)影響葉子生長不健康的葉子無法提供足夠養(yǎng)分去孕育果實(shí)不健康的果實(shí)也吃不得。所以企業(yè)里數(shù)據(jù)量和資產(chǎn)量從來不是一回事只有對(duì)企業(yè)有價(jià)值的那部分?jǐn)?shù)據(jù)才夠格叫資產(chǎn)。這個(gè)判斷聽起來簡單落到幾十萬張表上就變成一道實(shí)打?qū)嵉暮Y選題。2.3 數(shù)據(jù)治理是那把鑰匙原料、加工線、成品如果把數(shù)據(jù)比作企業(yè)信息化的原料數(shù)據(jù)治理就是信息化的基石數(shù)據(jù)資產(chǎn)則是在治理過的數(shù)據(jù)上挖出來的價(jià)值。三者是一條流水線原料進(jìn)廠、加工線運(yùn)轉(zhuǎn)、成品出廠跳掉中間那段原料永遠(yuǎn)只是原料。這條加工線處理的事情說白了是人與人、人與數(shù)據(jù)之間的關(guān)系。一份字段該叫什么名字、由誰定義、口徑變了通知誰、誰有權(quán)看、看完出問題找誰這些不是技術(shù)問題是責(zé)任和流程問題。也正因?yàn)槿绱藬?shù)據(jù)治理常常被誤當(dāng)成 IT 部門的私活。實(shí)際上它一端連著業(yè)務(wù)定義一端連著技術(shù)實(shí)現(xiàn)中間還夾著組織授權(quán)。只讓技術(shù)團(tuán)隊(duì)做標(biāo)準(zhǔn)定得再漂亮也落不下去只讓業(yè)務(wù)團(tuán)隊(duì)做討論三個(gè)月也產(chǎn)不出一張能用的表。搞清這一點(diǎn)后面的所有問題才有解釋的余地。3. 治理要解決的四個(gè)字找不到、看不懂、信不過、管不住很多公司都是在某一兩年突然集體喊起治理。原因往往不是領(lǐng)導(dǎo)忽然重視了而是業(yè)務(wù)規(guī)模擴(kuò)張到某個(gè)臨界點(diǎn)原來靠人肉維持的小數(shù)倉撐不住了數(shù)據(jù)量漲上去問題密度也跟著漲某天一次事故直接把成本算清楚治理就被提上日程。把這些問題歸個(gè)類基本能收進(jìn)四個(gè)詞找不到、看不懂、信不過、管不住。這四個(gè)詞對(duì)應(yīng)的不是四個(gè)工具而是數(shù)據(jù)從被發(fā)現(xiàn)到被使用的完整鏈條。3.1 找不到幾萬張表里的大海撈針先看規(guī)模。某電商業(yè)務(wù)線約有 8 萬張表某內(nèi)容業(yè)務(wù)線約有 4 萬張表。越靠近應(yīng)用層大寬表越多一張表上百個(gè)字段非常正常。對(duì)一個(gè)分析師來說從幾萬張表里找到自己需要的那一張效率上跟大海撈針差不多。更值得琢磨的是數(shù)據(jù)地圖的使用數(shù)據(jù)90% 以上的使用者是 IT 人員本來作為目標(biāo)用戶的業(yè)務(wù)人員幾乎不用。這不是工具做得不好而是索引對(duì)象錯(cuò)了。地圖回答的是“表在哪兒”業(yè)務(wù)問的是“我要的那個(gè)數(shù)在哪兒”。業(yè)務(wù)人員腦子里想的是“上月新客復(fù)購率”地圖給他的是 dwd_trade_order_detail_v3中間那層翻譯工作沒人做。找不到的直接后果是重復(fù)開發(fā)。反正搜不到索性自己建一張建完又沒人知道下一波需求再建一張。表的數(shù)量于是繼續(xù)膨脹形成自我加速的循環(huán)。3.2 看不懂78% 的表存在元數(shù)據(jù)缺失即便業(yè)務(wù)人員找到了表也常?？床欢Ｓ薪y(tǒng)計(jì)顯示高達(dá) 78% 的表存在元數(shù)據(jù)缺失缺的主要是管理元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)而這兩類恰恰是業(yè)務(wù)人員判斷“這張表能不能用”的關(guān)鍵信息。元數(shù)據(jù)缺失有明顯的結(jié)構(gòu)性原因。技術(shù)元數(shù)據(jù)完整度通常最高因?yàn)樗芸肯到y(tǒng)自動(dòng)采集表結(jié)構(gòu)、存儲(chǔ)位置、分區(qū)、任務(wù)依賴掃一遍就有。管理元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)與業(yè)務(wù)強(qiáng)相關(guān)必須由業(yè)務(wù)方配合補(bǔ)充誰負(fù)責(zé)、什么含義、口徑怎么算、什么密級(jí)這些系統(tǒng)猜不出來。凡是需要人手工補(bǔ)的缺失率一定高。字段名于是變成了黑匣子。一個(gè)叫 amt_pay 的字段可能是實(shí)付金額可能是應(yīng)付金額也可能含稅不含稅光看名字誰也說不準(zhǔn)。開發(fā)人員不敢改業(yè)務(wù)人員不敢用這張表就在那里躺著占著存儲(chǔ)等著某天被當(dāng)成歷史包袱清理掉。提示元數(shù)據(jù)采集工具解決得了“有沒有”解決不了“準(zhǔn)不準(zhǔn)”。業(yè)務(wù)含義這部分只能靠責(zé)任到人靠工具替代不了。3.3 信不過一條上游邏輯改動(dòng)幾十萬真金白銀質(zhì)量是數(shù)據(jù)的生命線。沒有質(zhì)量保障的數(shù)據(jù)不僅沒有價(jià)值還會(huì)產(chǎn)生錯(cuò)誤決策這一點(diǎn)在涉及錢的場景里尤其刺眼。某次電商活動(dòng)中開發(fā)修改了一個(gè)上游任務(wù)的計(jì)算邏輯影響了下游一張涉及資損的表紅包超發(fā)幾十萬的損失當(dāng)場發(fā)生。這類教訓(xùn)反復(fù)出現(xiàn)指向的其實(shí)是同一件事業(yè)務(wù)方對(duì)數(shù)據(jù)的信任是一次次事故磨掉的。再看日常。對(duì)內(nèi)部工作群的反饋?zhàn)鲞^統(tǒng)計(jì)平均每周有 10 個(gè)數(shù)據(jù)質(zhì)量問題被反饋“數(shù)據(jù)違反常識(shí)”是聽到最多的一句吐槽。更難受的是其中 90% 的問題由數(shù)據(jù)使用方先于開發(fā)方發(fā)現(xiàn)數(shù)據(jù)團(tuán)隊(duì)非常被動(dòng)經(jīng)常是業(yè)務(wù)找上門才知道自己出了問題。根子在于質(zhì)量規(guī)則沒有跟著開發(fā)走。實(shí)際開發(fā)過程中質(zhì)量稽核規(guī)則的覆蓋率只有 10%相同數(shù)據(jù)項(xiàng)上有 70% 的情況稽核規(guī)則不一致閾值設(shè)置也不一致。同一張表在不同人手里守護(hù)它的規(guī)則完全不同甚至有些表根本沒規(guī)則守著。-- 訂單金額稽核金額為負(fù)或明顯超過 單價(jià)×數(shù)量都判為異常 -- 1.05 表示允許 5% 的優(yōu)惠浮動(dòng)這個(gè)數(shù)值必須由業(yè)務(wù)口徑確認(rèn)后寫進(jìn)標(biāo)準(zhǔn)而不是讓開發(fā)各自拍板 SELECT order_id, pay_amount, unit_price * quantity AS expected_amount -- 理論金額用于人工復(fù)核時(shí)對(duì)照 FROM dwd_order_detail WHERE dt ${bizdate} -- 按天分區(qū)跑只稽核當(dāng)天增量 AND (pay_amount 0 OR pay_amount unit_price * quantity * 1.05);這段 SQL 的邏輯很樸素把明顯不可能的值撈出來。真正的關(guān)鍵不在語句本身而在三個(gè)參數(shù)的來源。dt 決定稽核的時(shí)間范圍pay_amount 的字段類型、精度、是否允許為負(fù)應(yīng)當(dāng)來自數(shù)據(jù)標(biāo)準(zhǔn)而不是臨時(shí)約定1.05 這個(gè)閾值更典型一個(gè)人拍 1.05另一個(gè)人拍 1.2規(guī)則就打架了這正是前面那 70% 不一致的來源。規(guī)則一旦掛到數(shù)據(jù)元上閾值隨標(biāo)準(zhǔn)走才談得上統(tǒng)一。注意稽核規(guī)則如果由每個(gè)開發(fā)自行手寫同一張表在不同人手里會(huì)得到完全不同的判定結(jié)果覆蓋率低只是表象判定標(biāo)準(zhǔn)漂移才是根本問題。還有一組數(shù)字值得留意經(jīng)由數(shù)據(jù)開發(fā)任務(wù)變更導(dǎo)致的生產(chǎn)環(huán)境數(shù)據(jù)問題占比達(dá)到 65%。也就是說大部分事故不是數(shù)據(jù)天生有問題而是改動(dòng)引入的。傳統(tǒng)治理方式在開發(fā)完成之后才介入天然接不住這類事故。3.4 管不住成本黑洞和流于形式的權(quán)限數(shù)據(jù)成本是成本里最容易被忽略的一項(xiàng)因?yàn)樗幌袢肆Α⒉少從菢佑忻鞔_賬單。但真去盤一遍庫存數(shù)字往往很扎眼某事業(yè)部 78.39% 的表只占了 21.63% 的存儲(chǔ)空間而這些表在 30 天內(nèi)無人訪問。報(bào)表也一樣62% 的報(bào)表在 30 天內(nèi)無人使用平均每張報(bào)表每個(gè)月還要花掉約 3 萬元的成本。資源的濫用還會(huì)直接帶來穩(wěn)定性問題。內(nèi)部記錄顯示每個(gè)月都有 5 次以上事故與資源不合理使用有關(guān)比如一個(gè)五層嵌套的大 SQL 瞬間把集群壓垮殃及所有在同一集群上跑的任務(wù)。安全這一側(cè)的矛盾更微妙。企業(yè)既希望員工多用數(shù)據(jù)又要確保不同密級(jí)的數(shù)據(jù)只被對(duì)的人看到。權(quán)限分配不合理輕則數(shù)據(jù)誤刪重則數(shù)據(jù)泄密權(quán)限流程太復(fù)雜使用效率又掉下來。一個(gè)真實(shí)的場景是業(yè)務(wù)運(yùn)營想用一張表得先找到表的負(fù)責(zé)人再聯(lián)系對(duì)方授權(quán)整個(gè)流程常常耗掉一天。而在授權(quán)方那頭負(fù)責(zé)人往往也不清楚該不該給最后權(quán)限流于形式只要能找到人就能拿到訪問權(quán)。四個(gè)問題擺在一起看會(huì)發(fā)現(xiàn)它們不共享同一個(gè)工具卻共享同一個(gè)根源治理動(dòng)作發(fā)生在數(shù)據(jù)生產(chǎn)出來之后既沒有被量化也沒有形成閉環(huán)。這就是下一章要展開的部分。4. 治理為什么總在事后救火六處斷點(diǎn)與把治理前置的思路傳統(tǒng)數(shù)據(jù)治理的流程看起來相當(dāng)完整定標(biāo)準(zhǔn)、落標(biāo)準(zhǔn)、查質(zhì)量三步走完似乎就該見效?？烧媛涞刂笮Ч蛘凵踔脸霈F(xiàn)“治理項(xiàng)目做完第二年問題照舊”的尷尬局面。原因不復(fù)雜這套流程是圍繞存量數(shù)據(jù)設(shè)計(jì)的而企業(yè)的數(shù)據(jù)資產(chǎn)每天都在增量。4.1 三大件與定標(biāo)、落標(biāo)、稽核老流程是怎么轉(zhuǎn)的傳統(tǒng)數(shù)據(jù)治理包括三大件數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量。流程從制定數(shù)據(jù)標(biāo)準(zhǔn)開始簡稱定標(biāo)接著通過元數(shù)據(jù)的采集、注冊(cè)、掃描、發(fā)布把數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)模型連接起來這個(gè)過程叫落標(biāo)最后用數(shù)據(jù)標(biāo)準(zhǔn)關(guān)聯(lián)的質(zhì)量稽核規(guī)則對(duì)數(shù)據(jù)模型進(jìn)行稽查發(fā)現(xiàn)問題、形成質(zhì)量報(bào)告、推動(dòng)業(yè)務(wù)部門整改提升數(shù)據(jù)質(zhì)量。這條鏈路本身是成立的問題是它的作用方向。它更強(qiáng)調(diào)對(duì)業(yè)務(wù)系統(tǒng)存量數(shù)據(jù)的治理對(duì)長效機(jī)制建設(shè)重視不夠于是企業(yè)只能靠一個(gè)又一個(gè)治理項(xiàng)目維持效果。項(xiàng)目一停新產(chǎn)生的數(shù)據(jù)繼續(xù)臟幾個(gè)月后又是一輪。更麻煩的是它的成本結(jié)構(gòu)。傳統(tǒng)治理是一個(gè)反向治理的過程并不融入數(shù)據(jù)生產(chǎn)的整個(gè)過程與數(shù)據(jù)開發(fā)、建模、運(yùn)維、安全等環(huán)節(jié)都存在脫節(jié)。要做治理就得改造現(xiàn)有系統(tǒng)和流程改造成本高到讓很多企業(yè)望而卻步。4.2 六處斷點(diǎn)治理為什么總在事后救火第一處斷點(diǎn)在質(zhì)量與開發(fā)之間。質(zhì)量稽核本是用來確認(rèn)開發(fā)結(jié)果符合業(yè)務(wù)邏輯的但規(guī)則覆蓋率只有 10%規(guī)則設(shè)置還各不相同。開發(fā)人員對(duì)業(yè)務(wù)的理解深度參差很多人沒法從開發(fā)結(jié)果上判斷數(shù)據(jù)是否滿足業(yè)務(wù)要求問題只好留到使用方那里暴露。久而久之業(yè)務(wù)方對(duì)開發(fā)團(tuán)隊(duì)的數(shù)據(jù)不再信任。第二處斷點(diǎn)在標(biāo)準(zhǔn)與建模之間。數(shù)據(jù)標(biāo)準(zhǔn)通常包括標(biāo)準(zhǔn)規(guī)劃、標(biāo)準(zhǔn)制定、標(biāo)準(zhǔn)發(fā)布、標(biāo)準(zhǔn)執(zhí)行、標(biāo)準(zhǔn)檢查五項(xiàng)內(nèi)容企業(yè)也會(huì)結(jié)合行業(yè)情況制定自己的標(biāo)準(zhǔn)。但標(biāo)準(zhǔn)定完之后怎么讓開發(fā)人員貫徹是另一回事。標(biāo)準(zhǔn)與建模脫節(jié)結(jié)果就是表的命名不統(tǒng)一、字段命名各行其是數(shù)據(jù)的理解成本和管理成本一起上升。第三處斷點(diǎn)在元數(shù)據(jù)與開發(fā)之間。數(shù)據(jù)開發(fā)時(shí)任務(wù)之間是有依賴的下游要等上游實(shí)例產(chǎn)出?，F(xiàn)網(wǎng)環(huán)境中任務(wù)數(shù)量動(dòng)輒上千甚至上萬靠手工配置依賴關(guān)系極其考驗(yàn)熟練度也極易出錯(cuò)。一旦漏配任務(wù)空跑下游數(shù)據(jù)就是錯(cuò)的。要自動(dòng)推薦上游任務(wù)靠的正是元數(shù)據(jù)里的血緣關(guān)系而元數(shù)據(jù)沒打通時(shí)這件事就只能靠人肉。第四處斷點(diǎn)在元數(shù)據(jù)與運(yùn)維之間。大量任務(wù)同時(shí)異常時(shí)值班人員需要知道處理先后順序讓重要任務(wù)優(yōu)先恢復(fù)也需要知道故障源頭在哪因?yàn)楹芏喙收鲜巧嫌萎惓鲗?dǎo)下來的。這兩件事都離不開元數(shù)據(jù)脫節(jié)之后運(yùn)維只能憑經(jīng)驗(yàn)猜。第五處斷點(diǎn)在標(biāo)準(zhǔn)與安全之間。數(shù)據(jù)權(quán)限怎么設(shè)、密級(jí)怎么定、哪些數(shù)據(jù)要脫敏、哪些人可以被賦權(quán)依據(jù)都來自數(shù)據(jù)標(biāo)準(zhǔn)。標(biāo)準(zhǔn)與安全脫節(jié)企業(yè)對(duì)數(shù)據(jù)安全的管理就失去了抓手變成盲目審批。第六處斷點(diǎn)更宏觀是治理與增量之間的斷點(diǎn)。前面五處都指向同一個(gè)現(xiàn)象治理動(dòng)作發(fā)生在數(shù)據(jù)已經(jīng)生產(chǎn)出來之后。數(shù)據(jù)生產(chǎn)是持續(xù)的治理是陣發(fā)的兩頭節(jié)奏對(duì)不上治理永遠(yuǎn)在追趕。4.3 煙囪式開發(fā)與平臺(tái)割裂斷在架構(gòu)上的那一半斷點(diǎn)不只在流程里也長在架構(gòu)上。早期數(shù)倉建設(shè)多由各業(yè)務(wù)部門自行維護(hù)沒有上升到組織架構(gòu)層面規(guī)劃各部門內(nèi)部都有零散的數(shù)據(jù)開發(fā)和分析人員服務(wù)本團(tuán)隊(duì)需求。結(jié)果就是一堆分裂的小數(shù)倉。這種煙囪式開發(fā)的典型癥狀有三個(gè)。一是指標(biāo)口徑不一致缺少統(tǒng)一的規(guī)范建模標(biāo)準(zhǔn)各部門存在大量名稱相同但口徑不同的指標(biāo)業(yè)務(wù)人員看數(shù)據(jù)像猜謎。二是重復(fù)開發(fā)超過 40% 的表沒有分層開發(fā)人員接到新需求時(shí)無法高效復(fù)用已有的表超過 50% 的任務(wù)直接讀取原始數(shù)據(jù)每次需求都從頭再來。三是資源浪費(fèi)系統(tǒng)里沉淀了大量長期無人訪問的重復(fù)數(shù)據(jù)。平臺(tái)層面的割裂再補(bǔ)一刀。大型企業(yè)的 IT 架構(gòu)里常有關(guān)系型數(shù)據(jù)庫、分析型數(shù)據(jù)庫、數(shù)據(jù)湖等多套系統(tǒng)各自從后端到前端相互獨(dú)立、緊耦合開發(fā)系統(tǒng)臃腫、建設(shè)效率低、響應(yīng)業(yè)務(wù)慢。要建統(tǒng)一的大數(shù)據(jù)開發(fā)與治理平臺(tái)就得面對(duì)歷史數(shù)據(jù)和歷史任務(wù)的遷移成本還得承擔(dān)遷移過程中的數(shù)據(jù)遺失風(fēng)險(xiǎn)以及重新培訓(xùn)人員的成本。這些顧慮堆在一起足以讓企業(yè)對(duì)平臺(tái)化望而卻步。4.4 把治理前置開發(fā)治理一體化的四個(gè)階段既然斷點(diǎn)都在“事后”解法就是把治理動(dòng)作往前挪。開發(fā)治理一體化的核心思想是把數(shù)據(jù)治理的過程融入數(shù)據(jù)開發(fā)的全生命周期遵循“先設(shè)計(jì)、后開發(fā)先標(biāo)準(zhǔn)、后建?！钡脑瓌t追求“規(guī)范即設(shè)計(jì)、設(shè)計(jì)即開發(fā)、開發(fā)即治理”。整個(gè)流程分四個(gè)階段。需求階段先做業(yè)務(wù)調(diào)研和數(shù)據(jù)調(diào)研。表級(jí)調(diào)研包括表范圍、存儲(chǔ)位置、中英文名、來源系統(tǒng)、優(yōu)先級(jí)、更新方式、業(yè)務(wù)場景、數(shù)據(jù)條數(shù)和增量條數(shù)目的是據(jù)此制定接入計(jì)劃確認(rèn)哪些數(shù)據(jù)要實(shí)時(shí)接入、哪些走離線。字段級(jí)調(diào)研包括表結(jié)構(gòu)、字段類型格式、樣例數(shù)據(jù)、有值行、有值率、是否需要制定標(biāo)準(zhǔn)、是否已掛載標(biāo)準(zhǔn)、值域分布這些信息直接決定后續(xù)標(biāo)準(zhǔn)化的效率。同時(shí)把指標(biāo)、模型分層、主題做初步梳理為設(shè)計(jì)鋪路。設(shè)計(jì)階段是最重的一塊包含標(biāo)準(zhǔn)設(shè)計(jì)和指標(biāo)設(shè)計(jì)。標(biāo)準(zhǔn)規(guī)劃可以收集現(xiàn)行標(biāo)準(zhǔn)也可以結(jié)合自身業(yè)務(wù)梳理規(guī)劃時(shí)的優(yōu)先順序應(yīng)圍繞業(yè)務(wù)協(xié)同、監(jiān)管合規(guī)、數(shù)據(jù)共享開放、數(shù)據(jù)分析應(yīng)用來排非交互、非公開的數(shù)據(jù)標(biāo)準(zhǔn)化優(yōu)先級(jí)可以放低。標(biāo)準(zhǔn)制定的三件套是詞根、標(biāo)準(zhǔn)字典、數(shù)據(jù)元詞根是企業(yè)維護(hù)的標(biāo)準(zhǔn)詞庫確保含義相同的中文詞翻譯成相同的英文名制定過程是拆解、去重、定義最終確定中文全稱、英文全稱和英文簡稱標(biāo)準(zhǔn)字典維護(hù)枚舉字段的標(biāo)準(zhǔn)代碼集比如物料類型代碼中 5 代表采購物料、10 代表制造物料各業(yè)務(wù)系統(tǒng)枚舉范圍不同需要在中臺(tái)層統(tǒng)一數(shù)據(jù)元是用一組屬性描述定義、標(biāo)識(shí)、表示和允許值的數(shù)據(jù)單元需要定義中文名稱、英文名稱、數(shù)據(jù)類型、數(shù)據(jù)格式、值域。三者制定完成后整包發(fā)布審核通過即可在全系統(tǒng)使用。指標(biāo)設(shè)計(jì)要把業(yè)務(wù)指標(biāo)拆成原子指標(biāo)、派生指標(biāo)和復(fù)合指標(biāo)同時(shí)明確數(shù)據(jù)域、業(yè)務(wù)過程、修飾詞、時(shí)間周期。舉個(gè)具體例子“最近 1 天 PC 端支付金額”拆開就是業(yè)務(wù)過程為支付修飾詞為 PC 端時(shí)間周期為最近 1 天原子指標(biāo)為支付金額指標(biāo)域歸到訂單域。指標(biāo)要經(jīng)過新建、注冊(cè)、確權(quán)、治理、發(fā)布幾個(gè)環(huán)節(jié)使用中發(fā)現(xiàn)問題可提治理工單業(yè)務(wù)口徑問題派給業(yè)務(wù)部門技術(shù)口徑問題派給開發(fā)部門修完重新發(fā)布并生成新版本。模型設(shè)計(jì)階段定義維表、事實(shí)表和模型關(guān)系把標(biāo)準(zhǔn)落進(jìn)去導(dǎo)入標(biāo)準(zhǔn)后系統(tǒng)自動(dòng)填寫字段名稱、字段描述、數(shù)據(jù)元、數(shù)據(jù)字典建表時(shí)還能用標(biāo)準(zhǔn)化標(biāo)簽把字段綁定到既定的維度和指標(biāo)上保證指標(biāo)和維度不會(huì)被各建各的。開發(fā)階段把設(shè)計(jì)好的模型做物理實(shí)現(xiàn)與技術(shù)元數(shù)據(jù)血緣、質(zhì)量、調(diào)度任務(wù)信息和標(biāo)準(zhǔn)規(guī)范結(jié)合。字段類型這塊有個(gè)容易被忽略的細(xì)節(jié)不同行業(yè)對(duì)精度要求不同金融行業(yè)對(duì)小數(shù)點(diǎn)后保留位數(shù)和制造業(yè)的要求就不一樣因此需要一份可自定義的字段類型標(biāo)準(zhǔn)映射規(guī)范保證入湖后字段類型統(tǒng)一也減少開發(fā)手動(dòng)調(diào)整類型帶來的失誤。安全也在這一層落地。數(shù)據(jù)標(biāo)準(zhǔn)里包含業(yè)務(wù)敏感數(shù)據(jù)的對(duì)象和屬性把敏感類型、安全等級(jí)、脫敏規(guī)則、脫敏算法以及脫敏配置同數(shù)據(jù)元關(guān)聯(lián)就能快速生成字段級(jí)的加密或脫敏規(guī)則。模型設(shè)計(jì)引用了某個(gè)數(shù)據(jù)元數(shù)據(jù)傳輸環(huán)節(jié)就按該數(shù)據(jù)元的規(guī)則做靜態(tài)脫敏離線開發(fā)環(huán)節(jié)按規(guī)則做動(dòng)態(tài)脫敏還能針對(duì)不同用戶下發(fā)不同策略表本身也根據(jù)關(guān)聯(lián)數(shù)據(jù)元的密級(jí)獲得分類分級(jí)依據(jù)走對(duì)應(yīng)的資源申請(qǐng)流程。交付階段把加工好的數(shù)據(jù)以可視化配置的方式開發(fā)成服務(wù)數(shù)據(jù)消費(fèi)方在 API 集市查看調(diào)用說明并申請(qǐng)使用權(quán)權(quán)限、熔斷、限流這些機(jī)制在這里兜住交付質(zhì)量與安全。平臺(tái)還會(huì)統(tǒng)計(jì) API 調(diào)用情況結(jié)合治理模塊盤點(diǎn) API 資產(chǎn)把閑置 API 和異常 API 挖出來通知負(fù)責(zé)人整頓。模型質(zhì)量也需要可量化的標(biāo)尺?？鐚右檬菬焽枋介_發(fā)的典型征兆直接繞過公共層去引用原始層短期省事長期把分層結(jié)構(gòu)徹底沖垮。用跨層引用率這類指標(biāo)盯著它才能知道治理是不是真的在生效。-- 跨層引用率統(tǒng)計(jì)直接引用 ods 層、跳過 dwd/dim 層的下游表數(shù)量 -- 數(shù)值越接近 0 說明分層建模執(zhí)行得越好持續(xù)上升說明又有人繞過公共層抄近道了 SELECT COUNT(DISTINCT downstream_table) AS cross_layer_table_cnt, -- p a hrefhttps://download.csdn.net/download/hedongsu/87740974 stylecolor:#ec7500;font-size:14px; 本文還有配套的精品資源點(diǎn)擊獲取 /a img altmenu-r.4af5f7ec.gif srchttps://csdnimg.cn/release/wenkucmsfe/public/img/menu-r.4af5f7ec.gif stylewidth:16px;margin-left:4px;vertical-align:text-bottom;cursor:text; /p