簡介《主數(shù)據(jù)管理實踐白皮書2.0版》由中國通信標準化協(xié)會大數(shù)據(jù)技術(shù)標準推進委員會CCSA TC601于2023年12月發(fā)布面向企業(yè)數(shù)據(jù)管理者、數(shù)據(jù)架構(gòu)師與數(shù)據(jù)治理從業(yè)者系統(tǒng)闡述主數(shù)據(jù)的定義、特點、管理范圍及核心價值并涵蓋裝備制造、能源化工、金融、通信、地產(chǎn)、政府機構(gòu)等行業(yè)的落地實踐。資源為一份PDF電子文檔壓縮包僅1個文件大小6.21MB適合作為數(shù)據(jù)治理專題學習的便攜參考資料。白皮書在1.0版基礎(chǔ)上進一步梳理了主數(shù)據(jù)識別、標準體系、管理制度、管理平臺和應(yīng)用方式并對編碼規(guī)范、分類體系、質(zhì)量與安全、集中式與聯(lián)邦式應(yīng)用等關(guān)鍵內(nèi)容展開說明同時提煉了主數(shù)據(jù)管理成功要素、常見誤區(qū)以及從自動化到智能化的發(fā)展趨勢有助于讀者系統(tǒng)建立主數(shù)據(jù)管理框架。目前已有75人瀏覽學習可為正在規(guī)劃或優(yōu)化主數(shù)據(jù)體系的企業(yè)與個人提供參考。1. 主數(shù)據(jù)管理為什么一實體一編碼是整個數(shù)據(jù)治理的第一性原理做了幾年數(shù)據(jù)治理的人大概率都遇到過這樣一個荒誕場景同一個客戶在 CRM 里叫北京某科技有限公司在財務(wù)系統(tǒng)里叫北京某科技公司到了供應(yīng)鏈系統(tǒng)里變成了一串內(nèi)部代碼BJ-KJ-001。三個系統(tǒng)各自維護一份客戶檔案誰都不認誰的賬。集團月底對賬幾十個人撲在 Excel 里手工匹配越對越亂。這個問題的根源不在數(shù)據(jù)質(zhì)量而在主數(shù)據(jù)管理——組織里那些被反復共享、跨系統(tǒng)跨流程復用的核心業(yè)務(wù)實體沒有被當作獨立的資產(chǎn)來治理。白皮書 2.0 把一個反直覺的結(jié)論放在最前面主數(shù)據(jù)不是組織里所有的數(shù)據(jù)只是那些跨部門、跨業(yè)務(wù)、跨系統(tǒng)共享的最大公約數(shù)據(jù)。而主數(shù)據(jù)管理的終極目標就是做到一實體一編碼——一個客戶一個碼、一個物料一個碼、一個供應(yīng)商一個碼。這個看似簡單的約束決定了后面積分異構(gòu)系統(tǒng)、降低信息交互成本、支撐數(shù)據(jù)分析的全部可能性。理解主數(shù)據(jù)本質(zhì)上是在理解一個問題為什么數(shù)據(jù)治理的抓手偏偏落在少數(shù)幾類基礎(chǔ)實體身上。2. 主數(shù)據(jù)識別與標準UC 矩陣和編碼規(guī)范如何把哪些數(shù)據(jù)值得管變成可判定的問題2.1 主數(shù)據(jù)識別的三個硬條件核心對象、基礎(chǔ)數(shù)據(jù)、重復使用主數(shù)據(jù)管理的第一步不是建系統(tǒng)也不是定編碼而是回答一個更難的問題哪些數(shù)據(jù)才是主數(shù)據(jù)白皮書 2.0 給出的判定標準非常收斂——一個對象要同時滿足三個特征才能被識別為主數(shù)據(jù)對象核心對象、基礎(chǔ)數(shù)據(jù)、重復使用。核心對象與組織業(yè)務(wù)經(jīng)營直接相關(guān)的最關(guān)鍵對象比如客戶、產(chǎn)品、供應(yīng)商、賬戶、組織機構(gòu)、物料?；A(chǔ)數(shù)據(jù)業(yè)務(wù)經(jīng)營活動發(fā)生的依托屬于支撐性的基礎(chǔ)信息而不是業(yè)務(wù)過程中產(chǎn)生的動態(tài)記錄。重復使用被多個業(yè)務(wù)部門、多個業(yè)務(wù)系統(tǒng)之間共享。這三個條件我一般會這么理解它們本質(zhì)上是在過濾噪音。交易流水、賬單明細、傳感器日志這類數(shù)據(jù)雖然重要但它們不具備跨系統(tǒng)共享的屬性——它們是某個業(yè)務(wù)流程產(chǎn)生的結(jié)果而不是多個流程共同依賴的前提。主數(shù)據(jù)捕獲的是名詞諸如物品中文名稱企業(yè)注冊資金是相對靜止的明細數(shù)據(jù)捕獲的是動詞諸如物流運輸、訂單、售后記錄是實時變化的。這個名詞與動詞的區(qū)分極其關(guān)鍵它解釋了為什么主數(shù)據(jù)系統(tǒng)要高于業(yè)務(wù)系統(tǒng)——名詞是所有動詞句子的主語句子可以千變?nèi)f化但主語必須穩(wěn)定。2.2 UC 矩陣把共享性從定性描述變成可計算的判定特征判定聽起來簡單落到實際項目中就玄學了。重復使用怎么度量一個數(shù)據(jù)被兩個系統(tǒng)用算共享嗎被五個系統(tǒng)用呢白皮書 2.0 給出的方法是 UC 矩陣一種源自業(yè)務(wù)流程分析的系統(tǒng)關(guān)系判定工具。U 代表 Use使用C 代表 Create創(chuàng)建。把數(shù)據(jù)名稱放在行首、系統(tǒng)名稱放在列首某個系統(tǒng)創(chuàng)建了該數(shù)據(jù)就填 C使用了該數(shù)據(jù)就填 U既不創(chuàng)建也不使用就留空。以某金融企業(yè)為例對客戶數(shù)據(jù)做識別數(shù)據(jù)名稱核心系統(tǒng)人力資源系統(tǒng)信用卡系統(tǒng)零售信貸系統(tǒng)ECIF系統(tǒng)客戶數(shù)據(jù)UUU/UU/UC機構(gòu)數(shù)據(jù)UC//U員工信息/C//U存單信息//UU/這張表的解讀邏輯很簡單看每一行的 C 和 U 分布?？蛻魯?shù)據(jù)只有一個 CECIF系統(tǒng)創(chuàng)建但被核心系統(tǒng)、信用卡系統(tǒng)、零售信貸系統(tǒng)等多個系統(tǒng)使用U 的密度最高共享性最強應(yīng)該作為主數(shù)據(jù)管理。存單信息只有信用卡和零售信貸兩個系統(tǒng)在使用U 密度低更像明細數(shù)據(jù)不需要納入主數(shù)據(jù)范疇。UC 矩陣的價值在于把共享性這個抽象特征轉(zhuǎn)化為可以定量比較的指標——統(tǒng)計每個數(shù)據(jù)對象對應(yīng)的 U 的數(shù)量、C 的數(shù)量按共享程度排序再結(jié)合唯一性、穩(wěn)定性、長期性進一步確認。這套方法雖然原始但它給了數(shù)據(jù)治理一個可執(zhí)行的起點不是拍腦袋決定管什么而是用矩陣把數(shù)據(jù)的產(chǎn)生與消費關(guān)系畫出來讓最大公約數(shù)據(jù)自己浮出水面。2.3 主數(shù)據(jù)標準四件套編碼規(guī)范、分類體系、描述與表達、質(zhì)量與安全識別出主數(shù)據(jù)對象之后緊接著的問題是怎么讓各方對同一個實體保持一致的認知這就進入主數(shù)據(jù)標準的范疇。白皮書 2.0 把主數(shù)據(jù)標準拆成四個部分每一部分解決一個層面的一致性問題。編碼規(guī)范解決的是唯一標識問題由編碼規(guī)則、編碼結(jié)構(gòu)、編碼字典三部分組成。編碼規(guī)則定義如何生成唯一編碼比如用數(shù)字、字母或組合編碼結(jié)構(gòu)定義編碼的組成部分和它們之間的關(guān)系編碼字典提供編碼的含義和解釋。常見的實現(xiàn)思路是層次編碼與順序編碼的組合-- 以物料編碼為例分類段(4位) 規(guī)格段(4位) 序列段(6位) -- 例如MAT-1001-AB12-000001 -- 創(chuàng)建編碼校驗函數(shù) CREATE OR REPLACE FUNCTION validate_material_code(p_code VARCHAR(20)) RETURNS BOOLEAN AS $$ BEGIN -- 校驗格式符合 3位前綴-4位分類-4位規(guī)格-6位序列 的規(guī)則 IF p_code !~ ^MAT-[0-9]{4}-[A-Z0-9]{4}-[0-9]{6}$ THEN RETURN FALSE; END IF; -- 校驗序列段有實際值 IF RIGHT(p_code, 6) 000000 THEN RETURN FALSE; END IF; RETURN TRUE; END; $$ LANGUAGE plpgsql;這段校驗邏輯背后的機制是編碼規(guī)范一旦定下來就變成了一個格式約束注入到主數(shù)據(jù)平臺的申請環(huán)節(jié)。任何人新建一個物料必須通過這個函數(shù)校驗否則無法入庫。這就是編碼規(guī)范從紙面文檔變成系統(tǒng)強制的關(guān)鍵步驟——它不是寫在制度里給人看的而是寫進校驗規(guī)則里讓系統(tǒng)執(zhí)行的。分類體系解決的是組織問題包含分類方法、分類層次、分類字典決定了同一組主數(shù)據(jù)在一級分類、二級分類下如何歸屬。描述與表達規(guī)范即主數(shù)據(jù)模型解決的是語義一致性問題定義數(shù)據(jù)格式、字段描述、數(shù)據(jù)關(guān)系確保企業(yè)注冊資金這個字段在不同系統(tǒng)里長度一致、精度一致、含義一致。質(zhì)量與安全規(guī)范則解決底線問題規(guī)定準確性、完整性、一致性、可用性等質(zhì)量要求以及訪問控制、加密、備份等安全要求。四件套拆開看各自獨立合在一起才構(gòu)成完整的標準化閉環(huán)。3. 主數(shù)據(jù)管理落地避坑五個高頻翻車現(xiàn)場與排查思路主數(shù)據(jù)管理這個領(lǐng)域理論框架看起來不復雜真正落地時翻車的頻率卻高得驚人。白皮書 2.0 在管理策略部分列出了幾條典型誤區(qū)我把它們展開成可復現(xiàn)的踩坑記錄。每一條都是現(xiàn)象 → 原因 → 解決的結(jié)構(gòu)看完可以直接對照自家項目排查。誤區(qū)一主數(shù)據(jù)管理無法貫穿源頭系統(tǒng)現(xiàn)象主數(shù)據(jù)平臺建好了編碼規(guī)范也發(fā)布了但業(yè)務(wù)系統(tǒng)該用內(nèi)部編碼還是用內(nèi)部編碼主數(shù)據(jù)平臺成了一座孤島。數(shù)據(jù)不一致的問題從三個系統(tǒng)各自為政變成四個系統(tǒng)各自為政。原因主數(shù)據(jù)管理的本質(zhì)是對源頭系統(tǒng)的改造但很多項目把它當作一個獨立的平臺建設(shè)項目來推。源頭系統(tǒng)的數(shù)據(jù)入口沒有被管控主數(shù)據(jù)平臺的輸出就只是一份參考數(shù)據(jù)對生產(chǎn)系統(tǒng)沒有約束力。白皮書的說法很直白主數(shù)據(jù)系統(tǒng)服務(wù)于但高于其他業(yè)務(wù)系統(tǒng)。如果組織不給主數(shù)據(jù)平臺這個高于的授權(quán)平臺再先進也落不了地。解決在項目啟動階段就明確主數(shù)據(jù)管理的管控邊界——哪些系統(tǒng)的哪些字段必須以主數(shù)據(jù)平臺為唯一來源。常見的實現(xiàn)思路是入口管控新客戶建檔必須調(diào)用主數(shù)據(jù)平臺接口查不到就新建新建完回傳主數(shù)據(jù)編碼不允許業(yè)務(wù)系統(tǒng)自行生成客戶編碼。這個約束要從制度和技術(shù)兩個層面同時落實制度上寫明責任技術(shù)上封死繞過路徑。誤區(qū)二混淆業(yè)務(wù)實體數(shù)據(jù)和主數(shù)據(jù)范圍現(xiàn)象項目組討論主數(shù)據(jù)范圍時越擴越大把訂單、交易流水、審批記錄全部納進來主數(shù)據(jù)平臺的數(shù)據(jù)量暴漲但真正用于跨系統(tǒng)共享的核心實體反而被淹沒。建出來的主數(shù)據(jù)系統(tǒng)看起來更像一個數(shù)據(jù)倉庫。原因主數(shù)據(jù)不是組織內(nèi)所有的數(shù)據(jù)只是有必要在各系統(tǒng)間共享的數(shù)據(jù)才是主數(shù)據(jù)。大部分交易數(shù)據(jù)、賬單數(shù)據(jù)都不是主數(shù)據(jù)。把動態(tài)的明細數(shù)據(jù)當作主數(shù)據(jù)來管既違背了主數(shù)據(jù)穩(wěn)定性、長期性的特征也浪費了管控資源——明細數(shù)據(jù)的變化頻率遠高于主數(shù)據(jù)用管理主數(shù)據(jù)的流程去管理明細數(shù)據(jù)流程會卡死。解決回到 UC 矩陣方法對候選數(shù)據(jù)對象做共享性定量分析。U 密度低的數(shù)據(jù)一律排除。一個簡單的手感如果一份數(shù)據(jù)描述的是某時刻發(fā)生的事情它不是主數(shù)據(jù)如果它描述的是一個持續(xù)存在的對象的狀態(tài)屬性它才有可能是主數(shù)據(jù)。誤區(qū)三同時維護多套主數(shù)據(jù)編碼體系現(xiàn)象集團下屬的幾個子公司各自建了主數(shù)據(jù)編碼物料編碼、客戶編碼各有一套。集團層面整合時發(fā)現(xiàn)同一個供應(yīng)商在 A 公司編碼是 00123在 B 公司編碼是 AB-T-456需要維護一張龐大的映射表才能對上賬。原因主數(shù)據(jù)管理的核心價值之一就是消除映射表。白皮書明確提出各系統(tǒng)交互數(shù)據(jù)時能直接使用主數(shù)據(jù)無需額外維護映射表和翻譯處理。多套編碼體系并存等于把主數(shù)據(jù)管理退回到了翻譯階段映射表的維護成本會隨著數(shù)據(jù)量增長呈指數(shù)級上升。解決由集團層面統(tǒng)一發(fā)布主數(shù)據(jù)編碼規(guī)范各子公司必須遵循。具體的實施策略可以借鑒離散型制造企業(yè)的兩級應(yīng)用模式集團統(tǒng)一制定標準、統(tǒng)一編碼、統(tǒng)一發(fā)布成員單位對集團管轄范圍內(nèi)的主數(shù)據(jù)只有使用權(quán)對管轄范圍外的數(shù)據(jù)可以自管。既有統(tǒng)一又有靈活度。誤區(qū)四組織內(nèi)主數(shù)據(jù)編碼沿用外部編碼現(xiàn)象直接把上游供應(yīng)商提供的編碼、外部權(quán)威機構(gòu)發(fā)布的編碼當作內(nèi)部主數(shù)據(jù)編碼來用。外部編碼一旦調(diào)整或廢棄內(nèi)部系統(tǒng)全部受牽連。原因外部編碼服務(wù)于外部機構(gòu)的業(yè)務(wù)語境不一定滿足組織內(nèi)部跨系統(tǒng)共享的需求。白皮書指出主數(shù)據(jù)實體要求唯一的數(shù)據(jù)識別但這個唯一是相對于組織內(nèi)部的。沿用外部編碼等于把內(nèi)部主數(shù)據(jù)管理的穩(wěn)定性建立在了外部因素之上。解決內(nèi)部主數(shù)據(jù)編碼必須自成體系外部編碼可以作為屬性字段掛在主數(shù)據(jù)模型里但不能作為主鍵。這樣外部編碼怎么變不影響內(nèi)部系統(tǒng)的穩(wěn)定引用。誤區(qū)五將主數(shù)據(jù)作為孤立項目推行現(xiàn)象主數(shù)據(jù)系統(tǒng)上線后缺少持續(xù)的運營機制。數(shù)據(jù)質(zhì)量沒人考核編碼標準沒人維護組織架構(gòu)調(diào)整后認責關(guān)系隨之失效。兩年后回頭看主數(shù)據(jù)平臺的數(shù)據(jù)又變得陳舊混亂。原因主數(shù)據(jù)管理不是一次性項目而是一套需要長期運轉(zhuǎn)的管理機制。白皮書提到主數(shù)據(jù)管理要覆蓋數(shù)據(jù)的申請、校驗、審核、發(fā)布、維護、變更、停用等環(huán)節(jié)實現(xiàn)全生命周期管理。沒有流程、組織、績效考核配套支撐平臺就是個空殼。解決在項目規(guī)劃階段就把運營體系設(shè)計進來——明確主數(shù)據(jù)管理組織哪個部門是權(quán)威數(shù)據(jù)源、明確工作流程申請、審核、發(fā)布的節(jié)點和角色、明確考核指標規(guī)范性、完整性、準確性、一致性、調(diào)用系統(tǒng)數(shù)量等。把主數(shù)據(jù)管理納入數(shù)據(jù)治理的常規(guī)運營節(jié)奏定期稽核、通報、整改。4. 主數(shù)據(jù)管理平臺與三種應(yīng)用模式從生命周期到集成服務(wù)的工程化拆解4.1 主數(shù)據(jù)管理平臺的九大能力不是一套軟件是一套管控邏輯白皮書 2.0 把主數(shù)據(jù)管理平臺的功能拆成九大模塊標準管理、編碼管理、建模管理、生命周期管理、集成管理、質(zhì)量管理、安全管理、工作流程管理、用戶權(quán)限管理。這九項拆開看是功能清單合起來看是一套完整的管控邏輯。標準管理和編碼管理是地基對應(yīng)前面講的主數(shù)據(jù)標準四件套的落地標準管理負責維護編碼規(guī)范、分類體系、描述與表達規(guī)范的版本化發(fā)布編碼管理負責執(zhí)行編碼生成與校驗確保一實體一編碼。建模管理解決的是數(shù)據(jù)模型設(shè)計問題允許按照不同主數(shù)據(jù)對象的特征定制屬性字段和關(guān)系。生命周期管理是核心覆蓋主數(shù)據(jù)從申請、校驗、審核、發(fā)布、維護、變更到停用的全過程。生命周期管理在實現(xiàn)上通常走流程引擎申請業(yè)務(wù)系統(tǒng)提交主數(shù)據(jù)新增/變更請求 → 校驗格式校驗 去重校驗 業(yè)務(wù)規(guī)則校驗 → 審核數(shù)據(jù)管理部門審核 業(yè)務(wù)歸屬部門審核 → 發(fā)布生成主數(shù)據(jù)編碼同步到全量訂閱系統(tǒng) → 維護屬性修正、狀態(tài)更新 → 停用標記失效保留歷史引用關(guān)系這個流程中有兩個很容易被忽略的細節(jié)。第一校驗必須包含去重邏輯——不是簡單地查有沒有相同的編碼而是查有沒有相同業(yè)務(wù)含義的實體。比如新增客戶時系統(tǒng)要按統(tǒng)一社會信用代碼或企業(yè)名稱模糊匹配已有的主數(shù)據(jù)記錄如果已存在則直接返回已有編碼而不是再生成一個新碼。這是一實體一編碼的技術(shù)保障。第二發(fā)布動作必須聯(lián)動集成管理同步到所有訂閱系統(tǒng)而不是只在平臺內(nèi)部生效。主數(shù)據(jù)只有被消費才有價值。集成管理解決的是數(shù)據(jù)同步問題常見的有實時接口ESB/消息隊列和批量導入兩種方式。金融行業(yè)的做法很有代表性渠道系統(tǒng)負責采集數(shù)據(jù)中心系統(tǒng)統(tǒng)一集成實時廣播用數(shù)業(yè)務(wù)系統(tǒng)訂閱廣播信息同步數(shù)據(jù)。這種采集-集成-廣播-訂閱的架構(gòu)本質(zhì)上是把主數(shù)據(jù)當作一個消息源來運營保證數(shù)據(jù)變更在秒級內(nèi)觸達所有消費方。質(zhì)量管理負責監(jiān)控六性——規(guī)范性、完整性、準確性、一致性、及時性、可用性并生成質(zhì)量報告驅(qū)動整改。安全管理與用戶權(quán)限管理則保障主數(shù)據(jù)只能被有權(quán)限的角色和系統(tǒng)訪問避免核心實體數(shù)據(jù)泄露和未授權(quán)修改。4.2 三種應(yīng)用模式集中式、聯(lián)邦式與分析式的不同哲學平臺建好之后主數(shù)據(jù)如何被業(yè)務(wù)系統(tǒng)使用白皮書 2.0 給出了三種應(yīng)用模式我一般會這樣理解它們的技術(shù)取舍。集中式應(yīng)用是最嚴格的模式所有主數(shù)據(jù)統(tǒng)一存儲在主數(shù)據(jù)平臺業(yè)務(wù)系統(tǒng)不維護自己的主數(shù)據(jù)副本需要時實時調(diào)用平臺接口獲取。它的優(yōu)勢是數(shù)據(jù)高度一致沒有副本就沒有不一致的可能。代價是業(yè)務(wù)系統(tǒng)對網(wǎng)絡(luò)的依賴性強接口性能和可用性要求極高。適合管控需求強、系統(tǒng)數(shù)量可控的組織典型的如金融行業(yè)以客戶信息管理系統(tǒng)為中心的集中式管理架構(gòu)。聯(lián)邦式應(yīng)用是折中模式業(yè)務(wù)系統(tǒng)可以保留本地副本但主數(shù)據(jù)平臺是權(quán)威數(shù)據(jù)源通過集成機制把數(shù)據(jù)變更同步到各系統(tǒng)副本。這對應(yīng)離散型制造企業(yè)的兩級部署形態(tài)——集團主數(shù)據(jù)系統(tǒng)兩級部署、集團集中管控和成員單位多方接入。好處是各系統(tǒng)讀的是本地副本性能有保障代價是同步鏈路增加了數(shù)據(jù)不一致的風險窗口需要做變更稽核來兜底。這種模式適合多業(yè)態(tài)集團集團管總、成員單位管分標準統(tǒng)一與局部靈活兼得。分析式應(yīng)用不直接服務(wù)業(yè)務(wù)系統(tǒng)而是面向分析場景主數(shù)據(jù)平臺為數(shù)據(jù)倉庫、BI 系統(tǒng)提供一致的維度數(shù)據(jù)確保不同主題域分析時客戶維度、產(chǎn)品維度、機構(gòu)維度口徑一致。分析式應(yīng)用是容易被忽視的部分——很多組織把主數(shù)據(jù)管理等同于業(yè)務(wù)系統(tǒng)集成忽略了它作為分析數(shù)據(jù)基石的作用。通信行業(yè)定期開展主數(shù)據(jù)稽核對主數(shù)據(jù)總量、新增量、調(diào)用系統(tǒng)數(shù)量、規(guī)范性、完整性、準確性、一致性進行考核評價本質(zhì)上就是把分析式應(yīng)用納入常態(tài)化管理的范例。4.3 行業(yè)差異背后的管控哲學為什么各家做法不一樣白皮書 2.0 用了大量篇幅描述各行業(yè)的主數(shù)據(jù)管理實踐。表面上看是行業(yè)特色底層其實是管控強度和數(shù)據(jù)特性的不同組合。能源化工行業(yè)的強管控與弱管控模式對比最有啟發(fā)。強管控模式下集團制定統(tǒng)一標準并要求下屬企業(yè)按規(guī)范執(zhí)行并上報數(shù)據(jù)集團擁有管理權(quán)限進行集中管控適合集團財務(wù)、人力資源和供應(yīng)鏈集中管理的場景。弱管控模式下集團只做財務(wù)合并不干預下屬企業(yè)的人財物產(chǎn)供銷數(shù)據(jù)權(quán)限下放到各企業(yè)集團可能只制定統(tǒng)一的會計科目規(guī)范。這兩種模式的選擇本質(zhì)上取決于集團和成員單位之間的業(yè)務(wù)耦合度——財務(wù)合并只需要會計科目一致供應(yīng)鏈協(xié)同則需要物料編碼一致。管控模式不與技術(shù)先進性掛鉤只與業(yè)務(wù)需求的剛性程度掛鉤。通信行業(yè)的注冊、審批、報備三級管理方法也值得一提。注冊對應(yīng)低風險高共享數(shù)據(jù)流程最輕量審批對應(yīng)高影響數(shù)據(jù)需要嚴格審核報備對應(yīng)事后監(jiān)督數(shù)據(jù)允許先使用后登記。這套分類是根據(jù)主數(shù)據(jù)對象的穩(wěn)定性、業(yè)務(wù)影響程度、共享調(diào)用頻率等因素綜合確定的。政務(wù)領(lǐng)域的主數(shù)據(jù)管理則依托基礎(chǔ)庫、主題庫兩類資源庫建設(shè)資源庫上接國家、下通市州、橫聯(lián)廳局集數(shù)據(jù)歸集、治理、管理、應(yīng)用、共享、開放于一體。不同行業(yè)的差異說明一個道理主數(shù)據(jù)管理的架構(gòu)設(shè)計沒有標準答案但判定邏輯是共通的——圍繞共享頻度、管控力度與數(shù)據(jù)特性三者做取舍。5. 從主數(shù)據(jù)與周邊數(shù)據(jù)的關(guān)系看未來演進的方向與取舍5.1 名詞與動詞主數(shù)據(jù)、元數(shù)據(jù)、明細數(shù)據(jù)、參考數(shù)據(jù)的邊界直覺主數(shù)據(jù)管理容易混淆的另一組概念是它和元數(shù)據(jù)、參考數(shù)據(jù)的關(guān)系。白皮書 2.0 的劃分邏輯值得反復琢磨。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的描述性信息提供數(shù)據(jù)的定義、結(jié)構(gòu)、來源、格式等說明是數(shù)據(jù)的數(shù)據(jù)說明書。主數(shù)據(jù)包含實際的業(yè)務(wù)實體信息是業(yè)務(wù)活動和決策的基礎(chǔ)。兩者是互為表里的關(guān)系——元數(shù)據(jù)描述主數(shù)據(jù)的屬性、類型、來源、創(chuàng)建日期幫助理解和管理主數(shù)據(jù)主數(shù)據(jù)則承載元數(shù)據(jù)所描述的實質(zhì)內(nèi)容。從這個角度理解元數(shù)據(jù)與主數(shù)據(jù)是數(shù)據(jù)治理的一體兩面主數(shù)據(jù)平臺的建模管理在落地時必然產(chǎn)生元數(shù)據(jù)而元數(shù)據(jù)管理又是主數(shù)據(jù)標準持續(xù)維護的依據(jù)。參考數(shù)據(jù)是主數(shù)據(jù)的一種特殊子集。參考數(shù)據(jù)是定義其他數(shù)據(jù)字段使用的一組允許值比如國家代碼、幣種代碼、訂單狀態(tài)枚舉通常包含附加的文本描述。主數(shù)據(jù)與參考數(shù)據(jù)都是為業(yè)務(wù)數(shù)據(jù)的創(chuàng)建和使用提供上下文語境但參考數(shù)據(jù)的范圍更窄價值密度更集中。真正難處理的是與明細數(shù)據(jù)的邊界——明細數(shù)據(jù)是動詞主數(shù)據(jù)是名詞這個區(qū)分在前面章節(jié)已經(jīng)講過但它有一個值得延伸的推論主數(shù)據(jù)管理的未來必然要處理更多半名詞半動詞的復雜對象。一個設(shè)備同時有靜態(tài)屬性型號、供應(yīng)商、安裝位置和動態(tài)狀態(tài)運行溫度、負載率哪些屬性應(yīng)該進主數(shù)據(jù)哪些應(yīng)該留給明細數(shù)據(jù)這不是概念問題而是模型設(shè)計問題。5.2 從四大演進方向看設(shè)計取舍主數(shù)據(jù)管理正在從管數(shù)據(jù)走向管對象關(guān)系白皮書 2.0 在展望部分提出四個演進方向從結(jié)構(gòu)化到非結(jié)構(gòu)化、從自動化到智能化、從組織級到行業(yè)級、從有到無。這四個方向看起來是趨勢預測實際上反映了主數(shù)據(jù)管理底層邏輯的四次轉(zhuǎn)向。從結(jié)構(gòu)化到非結(jié)構(gòu)化意味著主數(shù)據(jù)的對象范圍要從客戶、物料、賬戶擴展到文檔、圖片、音視頻中的核心實體信息。這里的取舍是非結(jié)構(gòu)化數(shù)據(jù)的實體抽取當前仍然有準確率上限把抽取結(jié)果直接當作權(quán)威主數(shù)據(jù)使用會有風險——更穩(wěn)妥的做法是抽取結(jié)果先進入候選池經(jīng)過審核再發(fā)布把 AI 的能力局限在輔助識別置信判斷仍然留給人工。從自動化到智能化對應(yīng)的是主數(shù)據(jù)質(zhì)量監(jiān)控從規(guī)則校驗走向機器學習異常識別但智能化的前提是足夠的歷史質(zhì)量數(shù)據(jù)積累沒有標注數(shù)據(jù)的組織直接上模型只會收獲一堆誤報。從組織級到行業(yè)級意味著主數(shù)據(jù)標準的制定主體從單個企業(yè)上升到行業(yè)組織這對標準的管理機制提出了更高要求——跨企業(yè)的認責、稽核、爭議仲裁如何設(shè)計目前還在探索期。從有到無指的是主數(shù)據(jù)作為一種獨立可見的管理對象逐漸融入到數(shù)據(jù)底座中變成水一般的基礎(chǔ)設(shè)施——這恰恰是主數(shù)據(jù)管理成熟度最高的形態(tài)而不是主數(shù)據(jù)概念的消亡。這些方向都暗示同一個設(shè)計取舍主數(shù)據(jù)管理越成熟管控應(yīng)該越隱形。管控體現(xiàn)在每一次編碼申請的校驗里、每一條同步消息的廣播里、每一個質(zhì)量指標的監(jiān)控里而不是體現(xiàn)為一個需要業(yè)務(wù)側(cè)反復配合的流程負擔。做過主數(shù)據(jù)項目的開發(fā)者大都有類似的體會主數(shù)據(jù)管理最好的狀態(tài)是業(yè)務(wù)系統(tǒng)感知不到它的存在卻離不開它的約束。從我個人的習慣來說每次設(shè)計主數(shù)據(jù)集成方案我都會強制把鏈路失敗時數(shù)據(jù)如何恢復和數(shù)據(jù)不一致時由誰負責糾正這兩個問題過一遍——前者看同步機制的兜底設(shè)計后者看認責體系的真實落地。這兩個問題問不清楚的項目代碼寫得再漂亮上線后也免不了踩坑。希望幫到你。本文還有配套的精品資源點擊獲取