案例名稱

數據開發平臺數據治理項目

(相關資料圖)

案例簡介

數據開發平臺從業務數據使用角度出發，在寧波銀行行內獨立部署，著力于數據治理工作。

項目在數據治理功能上有三個方向的創新：一是實現數據質量的自動化巡檢，提升數據價值；二是實現數據血緣的可視化，直觀地看到數據從哪兒來往哪兒去；三是實現權限隔離及脫敏基礎上的數據共享，保障數據安全。數據治理使得寧波銀行的數據資產更加高質量、優架構，達到數據的高效使用。

該項目創新點在于將三大數據治理功能，從原先的復雜數據探查和加工工作打包成可一鍵生成的插件，在前端即可滿足業務人員的日常使用。

創新技術/模式應用

一、數據質量

數據質量關系到數據應用的效果，能夠實現高效的數據質量管理是數據治理的重要部分。數據開發平臺自建數據質量功能，支持針對平臺內數據設置質量監測規則、質量警戒線，同時支持手動/定時等多種調度方式，滿足基礎的數據質量自動化檢測。

一是質量規則設置，為了降低對業務使用者的代碼要求，簡單的質量規則可以通過選擇類型后，輸入閾值的方式實現，例如表粒度的行數檢查、字段粒度的唯一值檢查。此外也支持復雜邏輯的自定義檢查。

二是質量警戒線設置，為了方便進行報警后處置，可以選擇“通過”、“告警”、“不通過”等多種警戒線類型，同時也支持短信、郵件等多渠道的推送。對于觸及警戒線的規則，可以一鍵查看報告明細，快速定位問題數據。

三是調度類型設置，考慮到平臺資源配置和質量監測實際情況，平臺設計了單次、按周期、伴隨數據更新等多種觸發模式，更加符合實際使用場景。

此外，數據質量模塊還配備了可視化看板，方便日常監測。

二、數據血緣

數據血緣可以體現數據的生命周期，厘清數據之間的關系與脈絡，協助規范數據的設計。區別于傳統的通過閱讀代碼定位上游數據，數據開發平臺數據血緣模塊將血緣分析與影響分析可視化，不僅可以追溯數據血緣，查清數據處理過程，還可以尋找依賴該數據的下游，評估數據更新時的影響范圍。

除了數據表之間的血緣，該模塊也能夠支持展示表與bi可視化終端（儀表板/大屏/移動端等）的血緣關系，進一步擴大了功能范圍。

三、數據安全

數據安全是在數據集成及共享的過程中需要格外注意的事項，在總分聯動、獲取更多數據的同時，也需要注意各機構對于數據的訪問范圍。數據安全模塊主要包括權限隔離及數據脫敏兩部分。

一是權限隔離設置。區別于拆分數據定向發放的舊模式，數據開發平臺支持對同一張數據表進行權限隔離，分為行列兩個級別。完成設置后，不同用戶可見范圍不同，在做到一人一表個性化訪問的同時，并沒有增加數據加工者的工作量。

二是數據脫敏設置，即對敏感信息通過脫敏規則進行數據的變形，實現對隱私數據的保護。針對身份證號等信息，數據脫敏可以使數據信息保持在可控內部，提高數據應用的合規性。區別于傳統的底層數據庫脫敏方式，數據開發平臺可以做到更快速地響應脫敏需求，同時也有更高的兼容性，脫敏后的數據依然可以用于分析和測試。

此外，權限隔離與數據脫敏都具備模板方式，支持在不同數據上復用設置，提高數據應用的效率。

項目效果評估

數據開發平臺數據治理項目弱化對代碼的要求，更加方便業務人員的日常使用，同時也有效地縮短了各環節所需時間，提升工作效率。

1、自動化數據質量巡檢，提高運維效率

近一年以來，數據開發平臺已新增2000余個數據表，針對常見數據質量問題定制數據質量規則，實現了對關鍵表的日常巡檢，通過智能化的方式對新增及每日跑批數據做出及時的診斷，批量化提高準確性，同時也解放了大量數據運維人力，降低人力成本。

2、改變傳統模式，實現數據找人

相比較以往通過翻看代碼定位上下游數據的“人找數據”方式，依靠數據血緣功能，能夠清晰地展示數據的層級架構，實現數據追蹤，快速鎖定目標數據，展開全面的數據治理工作。

此外，數據血緣功能還能對數據使用情況進行統計，展示“熱點數據”，為數據的進一步使用提供參考及指引，做到“數據找人”。

3、多維度的數據共享

數據開發平臺建設以來，接入行內各類數據庫的數據，進行定向化的權限限制和數據脫敏后，向不同機構、不同崗位的約900名行員開放，做到了“一人一表”，擴大數據共享范圍的同時兼顧了數據安全規范。

項目牽頭人

朱劍俊 寧波銀行總行風險管理部副總經理

項目團隊成員

周堅、韋達、吳旻龍、徐曉寧、王鈞、顏偉斌、龔家穎、章莎莎、尤晨、林方鵬、李施雨、呂笛、鄭超男、錢威、林鑫、李欣陽

關鍵詞：