數(shù)據(jù)治理體系綜合介紹
01
數(shù)據(jù)治理定義
數(shù)據(jù)治理是一個系統(tǒng),用于定義組織內(nèi)誰有權(quán)和控制數(shù)據(jù)資產(chǎn)以及如何使用這些數(shù)據(jù)資產(chǎn)。它包含管理和保護數(shù)據(jù)資產(chǎn)所需的人員、流程和技術(shù)。
數(shù)據(jù)治理研究所將其定義為“信息相關(guān)流程的決策權(quán)和責任系統(tǒng),根據(jù)商定的模型執(zhí)行,該模型描述了誰可以對什么信息采取什么行動,以及何時、在什么情況下、使用什么方法?!?/span>
國際數(shù)據(jù)管理協(xié)會 (DAMA) 將其定義為“對數(shù)據(jù)管理以及數(shù)據(jù)和數(shù)據(jù)相關(guān)來源的使用進行規(guī)劃、監(jiān)督和控制”。
02
數(shù)據(jù)治理與數(shù)據(jù)管理
數(shù)據(jù)治理只是數(shù)據(jù)管理整個學科的一部分,盡管很重要。數(shù)據(jù)治理是關(guān)于確保數(shù)據(jù)資產(chǎn)的問責制和所有權(quán)的角色、職責和流程,而 DAMA 將數(shù)據(jù)管理定義為“一個總體術(shù)語,描述用于規(guī)劃、指定、啟用、創(chuàng)建、獲取、維護、使用、存檔、檢索、控制和清除數(shù)據(jù)?!?/span>
雖然數(shù)據(jù)管理已成為該學科的通用術(shù)語,但有時也稱為數(shù)據(jù)資源管理或企業(yè)信息管理 (EIM)。Gartner 將 EIM 描述為“跨組織和技術(shù)邊界構(gòu)建、描述和管理信息資產(chǎn)以提高效率、提高透明度和實現(xiàn)業(yè)務(wù)洞察力的綜合學科?!?/span>
03
數(shù)據(jù)治理框架
最好將數(shù)據(jù)治理視為支持組織總體數(shù)據(jù)管理策略的功能。這樣的框架為您的組織提供了一種收集、管理、保護和存儲數(shù)據(jù)的整體方法。為了幫助理解框架應涵蓋的內(nèi)容,DAMA 將數(shù)據(jù)管理設(shè)想為一個輪子,以數(shù)據(jù)治理為中心,輻射出以下 10 個數(shù)據(jù)管理知識領(lǐng)域:
數(shù)據(jù)架構(gòu)
數(shù)據(jù)和數(shù)據(jù)相關(guān)資源的整體結(jié)構(gòu),作為企業(yè)架構(gòu)的一個組成部分
數(shù)據(jù)建模和設(shè)計
分析、設(shè)計、構(gòu)建、測試和維護
數(shù)據(jù)存儲與運營
結(jié)構(gòu)化物理數(shù)據(jù)資產(chǎn)存儲部署與管理
數(shù)據(jù)安全
確保隱私、機密性和適當?shù)脑L問
數(shù)據(jù)集成和互操作性
獲取、提取、轉(zhuǎn)換、移動、交付、復制、聯(lián)合、虛擬化和操作支持
文檔和內(nèi)容
存儲、保護、索引和訪問非結(jié)構(gòu)化來源中的數(shù)據(jù),并使這些數(shù)據(jù)可用于與結(jié)構(gòu)化數(shù)據(jù)的集成和互操作性
參考和主數(shù)據(jù)
管理共享數(shù)據(jù)以通過標準化定義和使用數(shù)據(jù)值來減少冗余并確保更好的數(shù)據(jù)質(zhì)量
數(shù)據(jù)倉庫和商業(yè)智能 (BI)
管理分析數(shù)據(jù)處理并允許訪問決策支持數(shù)據(jù)以進行報告和分析
元數(shù)據(jù)
收集、分類、維護、集成、控制、管理和交付元數(shù)據(jù)
數(shù)據(jù)質(zhì)量
定義、監(jiān)控、維護數(shù)據(jù)完整性和提高數(shù)據(jù)質(zhì)量
在制定策略時,應考慮數(shù)據(jù)收集、管理、存檔和使用的上述各個方面。
商業(yè)應用研究中心 (BARC) 警告說,這不是一個“大爆炸計劃”。作為一個高度復雜的、持續(xù)的項目,數(shù)據(jù)治理冒著參與者隨著時間的推移失去信任和興趣的風險。為了解決這個問題,BARC 建議從一個可管理的或特定于應用程序的原型項目開始,然后根據(jù)經(jīng)驗教訓在整個公司范圍內(nèi)擴展。
BARC 建議執(zhí)行以下步驟:
01
定義目標并了解收益
02
分析當前狀態(tài)和增量分析
03
導出路線圖
04
說服利益相關(guān)者參與預算項目
05
制定和規(guī)劃數(shù)據(jù)治理計劃
06
實施數(shù)據(jù)治理計劃
07
實現(xiàn)監(jiān)控
04
數(shù)據(jù)治理的目標
目標是建立標準化、集成、保護和存儲企業(yè)數(shù)據(jù)的方法、職責和流程。根據(jù) BARC,一個組織的主要目標應該是:
01
最小化風險
02
建立內(nèi)部數(shù)據(jù)使用規(guī)則
03
實施合規(guī)要求
04
改善內(nèi)部和外部溝通
05
增加數(shù)據(jù)的價值
06
促進上述管理
07
減少開支
08
通過風險管理和優(yōu)化幫助確保公司的持續(xù)存在
BARC 指出,此類計劃始終跨越企業(yè)的戰(zhàn)略、戰(zhàn)術(shù)和運營層面,必須將它們視為持續(xù)的、迭代的過程。
05
數(shù)據(jù)治理的好處
大多數(shù)公司已經(jīng)對單個應用程序、業(yè)務(wù)單元或功能進行了某種形式的治理,即使流程和職責是非正式的。作為一種實踐,它是關(guān)于對這些流程和責任建立系統(tǒng)的、正式的控制。這樣做可以幫助公司保持響應能力,尤其是當公司規(guī)模擴大到個人執(zhí)行跨職能任務(wù)不再有效時。數(shù)據(jù)管理的幾個整體效益只有在企業(yè)建立系統(tǒng)的數(shù)據(jù)治理后才能實現(xiàn)。其中一些好處包括:
01
來自整個組織一致、統(tǒng)一的數(shù)據(jù)的更好、更全面的決策支持
02
更改流程和數(shù)據(jù)的明確規(guī)則,幫助業(yè)務(wù)和 IT 變得更加敏捷和可擴展
03
通過提供中央控制機制降低其他數(shù)據(jù)管理領(lǐng)域的成本
04
通過重用流程和數(shù)據(jù)的能力提高效率
05
提高對數(shù)據(jù)質(zhì)量和數(shù)據(jù)過程文檔的信心
06
更好地遵守數(shù)據(jù)法規(guī)
06
數(shù)據(jù)治理原則
根據(jù)數(shù)據(jù)治理研究所的說法,八項原則是所有成功的數(shù)據(jù)治理和管理計劃的核心:
01
所有參與者在與對方打交道時都必須保持誠信。在討論與數(shù)據(jù)相關(guān)的決策的驅(qū)動因素、約束、選項和影響時,他們必須真實和坦率。
02
數(shù)據(jù)治理和管理流程需要透明度。所有參與者和審計員都必須清楚如何以及何時將與數(shù)據(jù)相關(guān)的決策和控制引入流程中。
03
受數(shù)據(jù)治理約束的與數(shù)據(jù)相關(guān)的決策、流程和控制必須是可審計的。它們必須附有文件以支持基于合規(guī)性和操作的審計要求。
04
必須定義誰對跨職能數(shù)據(jù)相關(guān)的決策、流程和控制負責。
05
定義誰對管理活動負責,這些活動是個人貢獻者和數(shù)據(jù)管理員組的職責。
06
程序必須以一種在業(yè)務(wù)和技術(shù)團隊之間、創(chuàng)建/收集信息的人員、管理信息的人員、使用信息的人員以及引入標準和合規(guī)要求的人員之間建立制衡的方式定義責任。
07
該計劃必須引入和支持企業(yè)數(shù)據(jù)的標準化。
08
計劃必須支持針對參考數(shù)據(jù)值以及主數(shù)據(jù)和元數(shù)據(jù)的結(jié)構(gòu)/使用的主動和被動變更管理活動。
07
數(shù)據(jù)治理角色
每個企業(yè)都以不同的方式構(gòu)建其數(shù)據(jù)治理,但存在一些共性。
01
指導委員會
治理計劃跨越整個企業(yè),通常從一個由高級管理人員組成的指導委員會開始,通常是 C 級個人或負責業(yè)務(wù)線的副總裁。Morgan Templar 是Get Governed: Building World Class Data Governance Programs 的作者,他說指導委員會成員的職責包括制定具有特定結(jié)果的整體治理策略、支持數(shù)據(jù)管理員的工作以及讓治理組織對時間表和結(jié)果負責。
02
數(shù)據(jù)擁有者
Templar 表示,數(shù)據(jù)所有者是負責確保特定數(shù)據(jù)域中的信息跨系統(tǒng)和業(yè)務(wù)線進行管理的個人。他們通常是指導委員會的成員,但可能不是投票成員。數(shù)據(jù)所有者負責:
01
批準數(shù)據(jù)詞匯表和其他數(shù)據(jù)定義
02
確保整個企業(yè)信息的準確性
03
直接的數(shù)據(jù)質(zhì)量活動
04
審查和批準主數(shù)據(jù)管理方法、結(jié)果和活動
05
與其他數(shù)據(jù)所有者合作解決數(shù)據(jù)問題
06
對數(shù)據(jù)管理員發(fā)現(xiàn)的問題進行二級審查
07
向指導委員會提供有關(guān)其數(shù)據(jù)領(lǐng)域的軟件解決方案、政策或監(jiān)管要求的意見
03
數(shù)據(jù)管家
數(shù)據(jù)管理員負責數(shù)據(jù)的日常管理。Templar 說,他們是主題專家 (SME),了解和傳達信息的含義和使用,并且他們與整個組織的其他數(shù)據(jù)管理員合作,作為大多數(shù)數(shù)據(jù)決策的管理機構(gòu)。數(shù)據(jù)管理員負責:
01
成為數(shù)據(jù)領(lǐng)域的中小企業(yè)
02
識別數(shù)據(jù)問題并與其他數(shù)據(jù)管理員合作解決這些問題
03
作為數(shù)據(jù)管家委員會的成員
04
數(shù)據(jù)政策和委員會活動的提議、討論和投票
05
向數(shù)據(jù)所有者和數(shù)據(jù)域內(nèi)的其他利益相關(guān)者報告
06
跨業(yè)務(wù)線跨職能工作,以確保管理和理解其域的數(shù)據(jù)
08
數(shù)據(jù)治理工具
數(shù)據(jù)治理是一個持續(xù)的計劃而不是技術(shù)解決方案,但有一些工具可以幫助支持該計劃。適合您企業(yè)的工具取決于您的需求、數(shù)據(jù)量和預算。根據(jù)IT Central Station 的說法,一些比較流行的解決方案包括:
Collibra 治理
Collibra 是一種企業(yè)范圍的解決方案,可自動執(zhí)行許多治理和管理任務(wù)。它包括一個策略管理器、數(shù)據(jù)幫助臺、數(shù)據(jù)字典和業(yè)務(wù)詞匯表。
SAS 數(shù)據(jù)管理
SAS 數(shù)據(jù)管理基于 SAS 平臺構(gòu)建,提供基于角色的 GUI 來管理流程,包括集成的業(yè)務(wù)詞匯表、SAS 和第三方元數(shù)據(jù)管理以及沿襲可視化。
用于數(shù)據(jù)治理的 erwin 數(shù)據(jù)智能 (DI)
erwin DI 結(jié)合了數(shù)據(jù)目錄和數(shù)據(jù)素養(yǎng)功能,以提供對可用數(shù)據(jù)資產(chǎn)的感知和訪問。它提供有關(guān)使用這些數(shù)據(jù)資產(chǎn)的指導,并確保遵循數(shù)據(jù)政策和最佳實踐。
Informatica Axon
Informatica Axon 是支持程序的收集中心和數(shù)據(jù)市場。主要功能包括協(xié)作業(yè)務(wù)詞匯表、可視化數(shù)據(jù)沿襲的能力以及根據(jù)業(yè)務(wù)定義生成數(shù)據(jù)質(zhì)量度量。
SAP Data Hub
SAP Data Hub 是一種數(shù)據(jù)編排解決方案,旨在幫助您發(fā)現(xiàn)、優(yōu)化、豐富和管理整個數(shù)據(jù)環(huán)境中的所有類型、種類和數(shù)量的數(shù)據(jù)。它幫助組織為用戶、組和角色建立安全設(shè)置和身份控制策略,并簡化策略管理和安全日志記錄的最佳實踐和流程。
Alation
Alation 是一個企業(yè)數(shù)據(jù)目錄,可按源自動索引數(shù)據(jù)。TrustCheck 是其關(guān)鍵功能之一,可為工作流程提供實時“護欄”。TrustCheck 專門用于支持自助式分析,為數(shù)據(jù)資產(chǎn)附加了指導方針和規(guī)則。
Varonis 數(shù)據(jù)治理套件
Varonis 的解決方案利用可擴展的元數(shù)據(jù)框架自動執(zhí)行數(shù)據(jù)保護和管理任務(wù),該框架使組織能夠管理數(shù)據(jù)訪問、查看每個文件和電子郵件事件的審計跟蹤、識別不同業(yè)務(wù)部門的數(shù)據(jù)所有權(quán)以及查找和分類敏感數(shù)據(jù)和文件。
IBM 數(shù)據(jù)治理
IBM 數(shù)據(jù)治理利用機器學習來收集和管理數(shù)據(jù)資產(chǎn)。集成數(shù)據(jù)目錄可幫助企業(yè)查找、管理、分析、準備和共享數(shù)據(jù)。
09
數(shù)據(jù)治理認證
數(shù)據(jù)治理是一個系統(tǒng),但有一些認證可以幫助您的組織獲得優(yōu)勢,包括:
01
DAMA 認證數(shù)據(jù)管理專家 (CDMP)
02
數(shù)據(jù)治理和管理專業(yè)人員 (DGSP)
03
EDX 企業(yè)數(shù)據(jù)管理
04
SAP 認證應用程序助理
|