編者按：
隨著數(shù)字化轉(zhuǎn)型、數(shù)據(jù)要素市場(chǎng)化、高質(zhì)量發(fā)展等宏觀導(dǎo)向，數(shù)據(jù)價(jià)值愈發(fā)得到重視。從最基礎(chǔ)的數(shù)據(jù)架構(gòu)到上層的數(shù)據(jù)應(yīng)用，無論是金融機(jī)構(gòu)還是金融科技廠商，都有著各自的理解與實(shí)踐。長(zhǎng)亮科技在大數(shù)據(jù)領(lǐng)域始終保持足夠的技術(shù)敏銳度，將以本篇關(guān)于“數(shù)據(jù)架構(gòu)”的探討為始，后續(xù)推出系列文章，與您一起探索更適合當(dāng)下行業(yè)發(fā)展的數(shù)據(jù)觀，歡迎大家持續(xù)關(guān)注。
作者｜長(zhǎng)亮科技大數(shù)據(jù)研究院
內(nèi)容｜本篇共3170字，預(yù)計(jì)閱讀時(shí)間10分鐘
很久以來，數(shù)據(jù)架構(gòu)一詞的影響一直局限于很狹小的專業(yè)領(lǐng)域范圍之內(nèi)，國(guó)內(nèi)的數(shù)據(jù)治理工作基本都圍繞著數(shù)據(jù)標(biāo)準(zhǔn)開展。2021年2月9日人民銀行發(fā)布《金融業(yè)數(shù)據(jù)能力建設(shè)指引》，對(duì)數(shù)據(jù)架構(gòu)的認(rèn)識(shí)正式提升到了行業(yè)高度，而把數(shù)據(jù)標(biāo)準(zhǔn)改為數(shù)據(jù)規(guī)范，也算是各歸其位了。
數(shù)據(jù)架構(gòu)是什么
按照ISO/IEC/IEEE 42010:2011的架構(gòu)定義：系統(tǒng)的基本組織，體現(xiàn)在其組件、它們之間的關(guān)系和環(huán)境，以及管理其設(shè)計(jì)和演變的原則。
架構(gòu)一詞來源于建筑行業(yè)。如果說杜甫當(dāng)年蓋茅屋不需要設(shè)計(jì)，那么建造現(xiàn)代廣廈不可能沒有設(shè)計(jì)圖就開工了。
管理數(shù)據(jù)也需要架構(gòu)。數(shù)據(jù)架構(gòu)定義管理數(shù)據(jù)資產(chǎn)的藍(lán)圖，描述應(yīng)該如何組織與管理數(shù)據(jù)，內(nèi)容包括數(shù)據(jù)模型、數(shù)據(jù)定義、數(shù)據(jù)映射規(guī)范、數(shù)據(jù)流、結(jié)構(gòu)化數(shù)據(jù)應(yīng)用接口規(guī)范（DAMA DMBOK2）。數(shù)據(jù)架構(gòu)需要持續(xù)動(dòng)態(tài)地維護(hù)，并不比建筑架構(gòu)設(shè)計(jì)簡(jiǎn)單。
國(guó)家標(biāo)準(zhǔn)GB/T36073—2018《DCMM數(shù)據(jù)管理能力成熟度評(píng)估模型》關(guān)于數(shù)據(jù)架構(gòu)的描述為：通過組織級(jí)數(shù)據(jù)模型定義數(shù)據(jù)需求，指導(dǎo)對(duì)數(shù)據(jù)資產(chǎn)的分布控制和整合，部署數(shù)據(jù)的共享和應(yīng)用環(huán)境，以及元數(shù)據(jù)管理的規(guī)范。
那么如何解讀數(shù)據(jù)架構(gòu)？有哪些組件？組件之間的關(guān)系是什么？與哪些環(huán)境有關(guān)系？
數(shù)據(jù)架構(gòu)有哪些組件
企業(yè)數(shù)據(jù)架構(gòu)設(shè)計(jì)包括企業(yè)數(shù)據(jù)模型設(shè)計(jì)以及數(shù)據(jù)流設(shè)計(jì)（DAMA DMBOK2），這也是數(shù)據(jù)架構(gòu)比較經(jīng)典的內(nèi)容。從零開始設(shè)計(jì)企業(yè)數(shù)據(jù)架構(gòu)需要很長(zhǎng)的時(shí)間、很大的資金投入，并存在潛在的失敗風(fēng)險(xiǎn)。在企業(yè)數(shù)據(jù)架構(gòu)實(shí)踐中，業(yè)界已有一些成熟的行業(yè)數(shù)據(jù)模型可以參考， 因此，一般情況下，最詳細(xì)的數(shù)據(jù)架構(gòu)設(shè)計(jì)文件是一個(gè)正式的企業(yè)數(shù)據(jù)模型。物理數(shù)據(jù)模型也是數(shù)據(jù)架構(gòu)文件，但物理數(shù)據(jù)模型是數(shù)據(jù)建模和設(shè)計(jì)的產(chǎn)物，而不是數(shù)據(jù)架構(gòu)。
DCMM的數(shù)據(jù)架構(gòu)能力域包括數(shù)據(jù)模型、數(shù)據(jù)分布、元數(shù)據(jù)管理、數(shù)據(jù)集成與共享能力項(xiàng)，DCMM把在DAMA數(shù)據(jù)管理知識(shí)體系中獨(dú)立的元數(shù)據(jù)管理、數(shù)據(jù)集成兩個(gè)領(lǐng)域也包含進(jìn)去了。DCMM標(biāo)準(zhǔn)已被廣泛認(rèn)可，一些領(lǐng)先的機(jī)構(gòu)獲得了數(shù)據(jù)管理能力成熟度四級(jí)或五級(jí)認(rèn)證。
如何理解DCMM定義的數(shù)據(jù)架構(gòu)組件關(guān)系
數(shù)據(jù)架構(gòu)的核心組件是數(shù)據(jù)模型，指導(dǎo)數(shù)據(jù)分布與數(shù)據(jù)集成。
數(shù)據(jù)分布也是數(shù)據(jù)集成的必要輸入。為提升數(shù)據(jù)集成與交互的效率，數(shù)據(jù)集成反過來對(duì)數(shù)據(jù)分布提出要求。
企業(yè)的數(shù)據(jù)模型、數(shù)據(jù)分布以及數(shù)據(jù)集成的設(shè)計(jì)文檔都是元數(shù)據(jù)，如果沒有這些元數(shù)據(jù)，組件之間的關(guān)系無法展現(xiàn)，用戶就無法使用數(shù)據(jù)。
數(shù)據(jù)架構(gòu)與應(yīng)用架構(gòu)、技術(shù)架構(gòu)的關(guān)系
數(shù)據(jù)架構(gòu)不能獨(dú)立存在，站在企業(yè)架構(gòu)的高度，與企業(yè)應(yīng)用架構(gòu)、技術(shù)架構(gòu)有緊密的環(huán)境關(guān)系。
應(yīng)用架構(gòu)是數(shù)據(jù)架構(gòu)的輸入。數(shù)據(jù)的分布是數(shù)據(jù)在業(yè)務(wù)應(yīng)用與數(shù)據(jù)應(yīng)用系統(tǒng)中的分布，這些系統(tǒng)的業(yè)務(wù)功能決定了將產(chǎn)生哪些數(shù)據(jù)以及需要哪些數(shù)據(jù)，因此，應(yīng)用架構(gòu)設(shè)計(jì)決定了數(shù)據(jù)的分布，指導(dǎo)數(shù)據(jù)架構(gòu)中數(shù)據(jù)定義、數(shù)據(jù)集成與交互等規(guī)劃和管控工作。數(shù)據(jù)架構(gòu)設(shè)計(jì)對(duì)應(yīng)用架構(gòu)的輸入不應(yīng)照單全收，應(yīng)用系統(tǒng)中的數(shù)據(jù)模型設(shè)計(jì)應(yīng)遵循企業(yè)數(shù)據(jù)架構(gòu)，數(shù)據(jù)分布與集成的原則要求影響應(yīng)用系統(tǒng)的功能分布。
數(shù)據(jù)架構(gòu)是技術(shù)架構(gòu)的輸入。數(shù)據(jù)的集成交互與存儲(chǔ)規(guī)劃的需求是對(duì)技術(shù)架構(gòu)提出的要求。技術(shù)架構(gòu)是數(shù)據(jù)架構(gòu)的落實(shí)基礎(chǔ)支撐，基于可靠性、性能·、實(shí)施的復(fù)雜性、成本等考慮的數(shù)據(jù)庫(kù)軟件、數(shù)據(jù)存儲(chǔ)等技術(shù)選型可能反過來制約應(yīng)用架構(gòu)與數(shù)據(jù)架構(gòu)。
數(shù)據(jù)管理領(lǐng)域的反思
自金標(biāo)委成立三十多年以來，在推動(dòng)金融數(shù)據(jù)標(biāo)準(zhǔn)化方面取得了巨大成就，金融行業(yè)的數(shù)據(jù)管理水平一直處于領(lǐng)先地位。回顧數(shù)據(jù)管理領(lǐng)域具體實(shí)踐歷程，仍有一些問題值得反思。
數(shù)據(jù)架構(gòu)管理簡(jiǎn)單粗放
因?yàn)橛斜阋说拇鎯?chǔ)設(shè)備可以選擇，過度強(qiáng)調(diào)應(yīng)采盡采（甚至有些企業(yè)主張實(shí)時(shí)采集全域數(shù)據(jù)，數(shù)據(jù)采集無差別“大而全” ），過度強(qiáng)調(diào)非結(jié)構(gòu)化數(shù)據(jù)的價(jià)值，沒有對(duì)數(shù)據(jù)進(jìn)行精細(xì)化區(qū)別管理，沒考慮過其中大部分?jǐn)?shù)據(jù)可能沒有任何價(jià)值，沒有考慮TCO與ROI，放任數(shù)據(jù)的膨脹。
數(shù)據(jù)管理與治理沒有建立在企業(yè)數(shù)據(jù)架構(gòu)基礎(chǔ)之上
有些企業(yè)數(shù)據(jù)架構(gòu)的管理不包括數(shù)據(jù)模型，僅限于數(shù)據(jù)分析平臺(tái)（數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)中臺(tái)）的分布流轉(zhuǎn)，數(shù)據(jù)集成僅限于從數(shù)據(jù)采集開始到數(shù)據(jù)應(yīng)用。
在數(shù)據(jù)模型設(shè)計(jì)與數(shù)據(jù)集成過程中，忽視了企業(yè)數(shù)據(jù)分布（應(yīng)用架構(gòu)）的輸入，可能導(dǎo)致所用數(shù)據(jù)并非權(quán)威數(shù)據(jù)源，甚至可能使用了錯(cuò)誤的數(shù)據(jù)，無法保證數(shù)據(jù)質(zhì)量。
數(shù)據(jù)治理體系化與深度有待提升
有些企業(yè)數(shù)據(jù)的治理停留在建章立制方面，有些企業(yè)建立了數(shù)據(jù)標(biāo)準(zhǔn)但沒有落地，意識(shí)到“同義不同名、同名不同義”，要統(tǒng)一術(shù)語概念，但沒有上升到數(shù)據(jù)架構(gòu)體系層面，很難取得實(shí)質(zhì)性進(jìn)展。
許多企業(yè)花大力氣打通數(shù)據(jù)應(yīng)用“最后一公里”，而不關(guān)注數(shù)據(jù)生產(chǎn)“最前十公里”。如果忽視數(shù)據(jù)問題產(chǎn)生的源頭，事倍功半，最后一公里的應(yīng)用很難有高質(zhì)量的數(shù)據(jù)基礎(chǔ)。
強(qiáng)調(diào)可用性，質(zhì)量被忽略
有些金融企業(yè)在引入互聯(lián)網(wǎng)解決方案時(shí)忽視了行業(yè)差異，為了提高可用性，不斷提高數(shù)據(jù)不一致性等質(zhì)量問題容錯(cuò)率。互聯(lián)網(wǎng)行業(yè)許多業(yè)務(wù)場(chǎng)景對(duì)數(shù)據(jù)質(zhì)量的要求不高，從統(tǒng)計(jì)角度只要滿足一定程度的相似性。而金融行業(yè)財(cái)務(wù)報(bào)表、合規(guī)監(jiān)管等需求對(duì)數(shù)據(jù)質(zhì)量的要求遠(yuǎn)高于互聯(lián)網(wǎng)行業(yè)。
應(yīng)該怎么做：
以企業(yè)級(jí)的架構(gòu)視角來管理與使用數(shù)據(jù)
許多企業(yè)有數(shù)據(jù)，無數(shù)據(jù)架構(gòu)。數(shù)據(jù)架構(gòu)處于無感的被動(dòng)地位，技術(shù)選型后才談數(shù)據(jù)架構(gòu)，應(yīng)用系統(tǒng)不考慮數(shù)據(jù)架構(gòu)基本要求。當(dāng)技術(shù)平臺(tái)窮于應(yīng)付，不能給客戶帶來好的體驗(yàn)時(shí)，不從數(shù)據(jù)架構(gòu)、應(yīng)用架構(gòu)方面進(jìn)行反思。
架構(gòu)設(shè)計(jì)的本質(zhì)是企業(yè)級(jí)頂層視角與體系化設(shè)計(jì)
清晰理解企業(yè)數(shù)據(jù)架構(gòu)的本質(zhì)，無論是數(shù)據(jù)治理或數(shù)據(jù)資產(chǎn)管理，還是數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)中臺(tái)或數(shù)字化轉(zhuǎn)型，都應(yīng)該站在企業(yè)級(jí)頂層視角，進(jìn)行架構(gòu)層面的體系化設(shè)計(jì)。
數(shù)據(jù)生命周期每個(gè)階段的生產(chǎn)者、加工者都應(yīng)該對(duì)自己設(shè)計(jì)的數(shù)據(jù)產(chǎn)品負(fù)責(zé)，對(duì)自己的用戶負(fù)責(zé)。設(shè)計(jì)者的眼光不但要向前看，還要注意到左右的應(yīng)用架構(gòu)與技術(shù)架構(gòu)，還要向后看，認(rèn)識(shí)到自己的設(shè)計(jì)工作是非常重要的環(huán)節(jié)。
穩(wěn)定的架構(gòu)來自抽象思維
架構(gòu)應(yīng)該是穩(wěn)定的。解決“同義不同名、同名不同義”的問題只是數(shù)據(jù)架構(gòu)管理萬里長(zhǎng)征的第一步。即使數(shù)據(jù)模型的設(shè)計(jì)遵循數(shù)據(jù)標(biāo)準(zhǔn)，仍解決不了本質(zhì)問題，只有采用抽象的思維，剝離數(shù)據(jù)的噪聲，抽象出業(yè)務(wù)的本體，才能產(chǎn)生穩(wěn)定的框架，并以結(jié)構(gòu)化、體系化來表達(dá)或展現(xiàn)。
與數(shù)據(jù)治理協(xié)同
數(shù)據(jù)治理是數(shù)據(jù)架構(gòu)的另一關(guān)鍵環(huán)境因素。數(shù)據(jù)架構(gòu)的目標(biāo)最終需要通過與數(shù)據(jù)治理的協(xié)調(diào)一致才能實(shí)現(xiàn)，數(shù)據(jù)架構(gòu)負(fù)責(zé)正確地做事，數(shù)據(jù)治理確保（按照數(shù)據(jù)架構(gòu)）做正確的事。
把企業(yè)數(shù)據(jù)模型作為數(shù)據(jù)治理工作的產(chǎn)出物
從建立企業(yè)概念數(shù)據(jù)模型入手，讓各干系人認(rèn)識(shí)到企業(yè)數(shù)據(jù)模型的重要性，在數(shù)據(jù)建模中體系化治理數(shù)據(jù)，在數(shù)據(jù)治理中逐步完善形成企業(yè)數(shù)據(jù)模型，指導(dǎo)數(shù)據(jù)在企業(yè)各系統(tǒng)的分布與集成，支持應(yīng)用系統(tǒng)的數(shù)據(jù)重用與敏捷開發(fā)。
管理數(shù)據(jù)資產(chǎn)的全生命周期
建立數(shù)據(jù)即資產(chǎn)的數(shù)據(jù)資產(chǎn)觀，在日常工作中建立成本與收益意識(shí)，從數(shù)據(jù)的產(chǎn)生開始管理，使數(shù)據(jù)的設(shè)計(jì)者、生產(chǎn)者、加工者與管理者都認(rèn)識(shí)到在數(shù)據(jù)的全生命周期中都投入了成本，優(yōu)化數(shù)據(jù)管理生態(tài)，實(shí)現(xiàn)企業(yè)級(jí)的數(shù)據(jù)集成，驅(qū)動(dòng)數(shù)據(jù)資產(chǎn)價(jià)值的最大化。
建立數(shù)據(jù)分析生態(tài)體系
結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)有不同的價(jià)值密度，需要不同的處理技術(shù)與流程。數(shù)據(jù)不同的生命周期，價(jià)值密度也不一樣。需要建立完善的數(shù)據(jù)分析生態(tài)體系 ，有效管理各種不同形態(tài)、不同生命周期的數(shù)據(jù)，為不同用戶提供高質(zhì)量的數(shù)據(jù)以及友好的體驗(yàn)。
結(jié)語
企業(yè)數(shù)據(jù)的管理是一項(xiàng)持續(xù)的工作，不可能畢其功于一役。業(yè)務(wù)在發(fā)展變化中，數(shù)據(jù)架構(gòu)也要同步更新。許多企業(yè)實(shí)施數(shù)據(jù)中臺(tái)并沒有帶來數(shù)據(jù)管理能力的提升，也沒能給用戶提供高質(zhì)量的數(shù)據(jù)，如果不站在企業(yè)的架構(gòu)視角，數(shù)據(jù)治理與數(shù)據(jù)架構(gòu)脫鉤，各行其是，再換個(gè)馬甲也無用。
