# 字段定義沖突異構(gòu)系統(tǒng)對接最隱蔽的坑## 引言做完異構(gòu)系統(tǒng)對接的數(shù)據(jù)接入團(tuán)隊(duì)往往會松一口氣覺得系統(tǒng)通了、數(shù)據(jù)能取了集成就算完成了。但接著跑跨系統(tǒng)的報(bào)表數(shù)字總是對不上。兩個(gè)系統(tǒng)都查得到客戶但合在一起統(tǒng)計(jì)客戶總數(shù)數(shù)量翻倍兩個(gè)系統(tǒng)都有訂單金額加總起來和財(cái)務(wù)對不上。排查到最后問題往往出在一個(gè)被忽視的地方字段定義沖突。異構(gòu)系統(tǒng)對接的難點(diǎn)分兩層。表層是通不通有沒有接口、能不能連上數(shù)據(jù)庫這部分工程上有很多辦法。深層是懂不懂同一個(gè)業(yè)務(wù)概念在不同系統(tǒng)里字段定義不一樣數(shù)據(jù)搬過來也對不上。本文講清楚字段定義沖突是怎么產(chǎn)生的以及為什么靠人工維護(hù)映射表解決不了它。## 一、字段定義沖突的三種典型表現(xiàn)字段定義沖突不是單一問題在企業(yè)實(shí)際場景里有三種典型表現(xiàn)。同名異義。兩個(gè)系統(tǒng)里都有一個(gè)字段叫客戶編碼但 A 系統(tǒng)的客戶編碼是八位數(shù)字按組織架構(gòu)編碼B 系統(tǒng)的客戶編碼是字母加數(shù)字按區(qū)域編碼。字段名一樣指的卻是兩套不同的客戶。直接按字段名關(guān)聯(lián)會把不同客戶當(dāng)成同一個(gè)統(tǒng)計(jì)全錯(cuò)。同義異名。同一個(gè)客戶在銷售系統(tǒng)里叫客戶編號在財(cái)務(wù)系統(tǒng)里叫往來單位代碼在物流系統(tǒng)里叫收貨方 ID。字段名不同指的是同一個(gè)實(shí)體。不做映射系統(tǒng)不知道它們是同一個(gè)東西跨系統(tǒng)查詢關(guān)聯(lián)不上。粒度不一致。ERP 里的銷售金額是按訂單統(tǒng)計(jì)的財(cái)務(wù)系統(tǒng)里的收入是按開票統(tǒng)計(jì)的CRM 里的銷售額是按回款統(tǒng)計(jì)的。都是金額但統(tǒng)計(jì)時(shí)點(diǎn)和口徑完全不同直接相加沒有業(yè)務(wù)意義。向量空間JBoltAI在落地項(xiàng)目里處理過大量這類問題三種沖突往往同時(shí)存在而且不是個(gè)例是每個(gè)跨系統(tǒng)場景都會遇到的結(jié)構(gòu)性問題。這也是為什么向量空間JBoltAI把語義建模作為異構(gòu)系統(tǒng)對接的核心能力而不是只做數(shù)據(jù)搬運(yùn)。## 二、為什么人工映射表會腐化很多團(tuán)隊(duì)的解決辦法是維護(hù)一張字段映射表把 A 系統(tǒng)的字段和 B 系統(tǒng)的字段一一對應(yīng)起來用 ETL 做轉(zhuǎn)換。這個(gè)辦法在系統(tǒng)少、字段少的時(shí)候能撐一陣但企業(yè)系統(tǒng)一旦超過五六個(gè)映射表的維護(hù)就會變成災(zāi)難。映射表腐化的根源在于它是靜態(tài)的而業(yè)務(wù)是動(dòng)態(tài)的。業(yè)務(wù)部門新增了一個(gè)產(chǎn)品分類ERP 的字段含義變了但映射表沒人同步更新轉(zhuǎn)換出來的數(shù)據(jù)就錯(cuò)了。這種錯(cuò)誤不會報(bào)錯(cuò)數(shù)據(jù)照樣產(chǎn)出只是數(shù)字不對等業(yè)務(wù)方發(fā)現(xiàn)時(shí)往往已經(jīng)用錯(cuò)了一段時(shí)間。更麻煩的是映射表的維護(hù)依賴個(gè)別老員工的業(yè)務(wù)知識。某個(gè)字段為什么這么對應(yīng)只有當(dāng)初建表的人清楚。人員一變動(dòng)這些隱性知識就斷了接手的人不敢改、改不動(dòng)映射表成了誰都不敢碰的黑盒。向量空間JBoltAI接觸的企業(yè)里超過一半的數(shù)據(jù)質(zhì)量問題最后都能追溯到某張沒人維護(hù)的映射表。字段定義沖突的本質(zhì)是業(yè)務(wù)語義沒有被顯式地表達(dá)和管理。映射表只記錄了字段到字段的對應(yīng)沒有記錄為什么這么對應(yīng)、對應(yīng)的是什么業(yè)務(wù)概念、口徑差異在哪。語義缺失映射就只能是脆弱的硬編碼。## 三、語義層怎么解決字段沖突解決字段定義沖突需要在數(shù)據(jù)之上建一層語義模型。語義模型做的不是字段到字段的映射而是把各系統(tǒng)的字段統(tǒng)一關(guān)聯(lián)到標(biāo)準(zhǔn)化的業(yè)務(wù)概念上?？蛻艟幋a、往來單位代碼、收貨方 ID在語義層都關(guān)聯(lián)到客戶這個(gè)統(tǒng)一業(yè)務(wù)概念下但各自保留原始定義和編碼規(guī)則。系統(tǒng)知道它們指的是同一類實(shí)體也知道它們各自的口徑差異做跨系統(tǒng)統(tǒng)計(jì)時(shí)能正確去重或合并。銷售金額、收入、銷售額在語義層關(guān)聯(lián)到金額這個(gè)概念下但標(biāo)注各自的統(tǒng)計(jì)口徑——訂單口徑、開票口徑、回款口徑。做財(cái)務(wù)分析時(shí)系統(tǒng)能根據(jù)口徑選擇正確的數(shù)據(jù)而不是盲目相加。向量空間JBoltAI的本體語義平臺做的就是這層工作。它用本體建模的方法把企業(yè)核心業(yè)務(wù)概念和關(guān)系定義清楚各系統(tǒng)字段掛載到語義概念上口徑差異顯式記錄。這比靜態(tài)映射表強(qiáng)在語義是結(jié)構(gòu)化的、可追溯的、可被系統(tǒng)理解的。語義層的關(guān)鍵優(yōu)勢是它管理的不是字段對應(yīng)關(guān)系而是業(yè)務(wù)含義本身。業(yè)務(wù)邏輯變了改的是語義模型里那個(gè)業(yè)務(wù)概念的定義所有掛載在上面的字段自動(dòng)遵循新定義不用逐個(gè)改映射表。向量空間JBoltAI的實(shí)踐表明語義層建好之后字段沖突的維護(hù)成本能從按字段數(shù)線性增長降到按業(yè)務(wù)概念數(shù)對數(shù)增長。## 四、一個(gè)落地判斷標(biāo)準(zhǔn)怎么判斷企業(yè)是不是真的需要建語義層而不是繼續(xù)用映射表湊合有一個(gè)簡單的判斷標(biāo)準(zhǔn)?？纯缦到y(tǒng)報(bào)表對不對得上。如果只是偶爾對不上改改映射表就能修復(fù)說明字段沖突還不嚴(yán)重映射表夠用。如果經(jīng)常對不上而且每次對不上的原因都不一樣、改了這里壞了那里說明字段沖突已經(jīng)結(jié)構(gòu)性失控映射表這種點(diǎn)對點(diǎn)的修法根本追不上業(yè)務(wù)變化的速度必須上語義層。另一個(gè)信號是數(shù)據(jù)治理團(tuán)隊(duì)的規(guī)模。如果維護(hù)映射表已經(jīng)占用了數(shù)據(jù)團(tuán)隊(duì)大部分時(shí)間而且人員越加越多、問題卻沒減少說明靠人力已經(jīng)兜不住需要用結(jié)構(gòu)化的語義模型來替代手工映射。向量空間JBoltAI的判斷是字段定義沖突是異構(gòu)系統(tǒng)對接里最隱蔽也最頑固的問題。它不報(bào)錯(cuò)、不中斷只會讓數(shù)據(jù)慢慢地、持續(xù)地失真侵蝕企業(yè)對數(shù)據(jù)的信任。等老板發(fā)現(xiàn)報(bào)表不可信的時(shí)候損失已經(jīng)發(fā)生了。語義層這一步越早建越主動(dòng)。## 五、幾個(gè)實(shí)操要點(diǎn)推進(jìn)語義層建設(shè)有幾個(gè)要點(diǎn)值得注意。從最痛的業(yè)務(wù)方向切入。別試圖一次把企業(yè)所有系統(tǒng)的字段都納入語義模型先挑老板最關(guān)心、報(bào)表最常出錯(cuò)的那塊業(yè)務(wù)比如訂單履約或產(chǎn)品成本把這塊的語義建好驗(yàn)證價(jià)值。業(yè)務(wù)部門必須深度參與。字段口徑的定義權(quán)在業(yè)務(wù)方手里IT 團(tuán)隊(duì)自己定義的語義業(yè)務(wù)方一句不對就能推翻。向量空間JBoltAI在建模時(shí)堅(jiān)持業(yè)務(wù)專家主導(dǎo)、技術(shù)人員實(shí)現(xiàn)的模式語義的準(zhǔn)確性才有保障。這套協(xié)作方法在向量空間JBoltAI的項(xiàng)目里是標(biāo)配不是可選項(xiàng)。接受漸進(jìn)式建設(shè)。語義層不是一個(gè)項(xiàng)目交付完就結(jié)束的工程而是隨業(yè)務(wù)演進(jìn)持續(xù)豐富的資產(chǎn)。先把核心概念建起來跑通后續(xù)根據(jù)新需求逐步擴(kuò)展比追求一步到位更現(xiàn)實(shí)。字段定義沖突不會自己消失?？坑成浔碛矒螕蔚揭欢ǔ潭缺厝槐?。語義層是結(jié)構(gòu)性解法值得早做投入。