《電子技術應用》
您所在的位置:首頁 > 通信與網絡 > 設計應用 > 基于數據地圖的大型電網企業數據資產管理體系構建與實現
基于數據地圖的大型電網企業數據資產管理體系構建與實現
2018智能電網增刊
孟祥君1,李 劍2,張偉昌1
1. 國網山東省電力公司運監中心,山東 濟南 250001; 2. 山東魯能軟件技術有限公司,山東 濟南 250001
摘要: 企業級數據地圖是對數據資產體系化、結構化的管控視圖,提供一個完整統一的視角,清晰明確展示公司級數據資產的分布、存儲和流動情況,動態反映數據流與業務流的交錯支撐關聯,從而有效幫助管理者總覽數據資產全局?;谄髽I級數據地圖,構建大型電網企業數據資產管理體系,加強數據資產質量監督,推進數據全局共享,實現數據資產的統一管理,為數據資產的增值利用提供良好生態環境,促進數據資產的利用變現,為企業運營管理提供有效的決策支撐。
中圖分類號: TM73
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.2018.S1.063
Abstract:
Key words :

0  引言

    電力數據與經濟發展緊密聯系,其變化態勢能反映國民經濟的發展走向,支撐政府部門科學決策。對電網企業數據的有效分析和價值挖掘,是有效應對資源有限、環境壓力,實現綠色可持續性發展的關鍵,更是經濟發展及社會進步的強大推動力。大型電網企業在管理運營中已積累了海量的數據,但是大量數據應用不足、釋放能量有限,因此,喚醒沉睡數據,從海量數據中挖掘高價值的信息,實現數據與公司運營管理的深度融合,就成為電網企業優化運營管理,建設最好的電網的迫切需要。

1  數據資產管理體系的構建

1.1  定義電網企業數據資產

    數據資源是電網企業的戰略資產,為解決當前存在的數據管理問題,有效發揮數據資產價值,建立企業級數據標準及業務流程標準,構建面向服務的系統架構,以構建公司運營數據資產管理體系為目標,以業務部門各單位為責任主體,以信息系統深化應用為基礎,建立業務系統應用監控工作機制,開展運營監測數據核查與溯源工作,夯實數據基礎,提升數據質量,實現能用、好用的目標。 

    電網企業數據資產是指在電網企業主要運營活動過程中自主產生和外部獲取的,能夠客觀、真實描述企業運營管理活動,并能為電網企業帶來價值的數據資源。這些數據資源無論是結構化的形式還是非結構化,都能夠通過各種途徑、各種關聯進行分析解讀,轉化為高價值的信息,為電網企業運營管理提供有效支撐。

    有別于傳統的數據管理,數據資產不再將數據局限于單一的業務部門或領域,而是從總體視角重新構建數據與數據之間的綜合關聯和潛在聯系,修補以往基于單個數據領域而導致的數據斷層。

1.2  構建企業級數據地圖

    企業級數據地圖是對數據資產體系化、結構化的管控視圖,提供一個完整統一的視角,清晰明確展示公司級數據資產的分布、存儲和流動情況,動態反映數據流與業務流的交錯支撐關聯,從而有效幫助管理者總覽數據資產全局,實現數據資產的統一檢索、監測和維護等全方位管理。

    數據地圖從業務信息、技術信息、管理信息3個層面明晰指標數據與源業務系統明細數據間對應的概念實體、物理實體、取數字段及屬性、數據實體間的流轉關系。并且基于數據中心側和業務系統側的運營數據梳理的工作成果,構建出數據資源地圖,以拓撲圖的形式對運營數據的實體、數據處理過程進行分層次的圖形化展現,支撐數據的業務溯源、數據溯源、系統溯源。同時,通過定義數據的管控角色,明晰各個運營數據責任人之間關系,定義相應的職責、明確任務,制定相應的運營數據管理流程和規范,規范運營數據創建、使用、變更等管理流程。

1.3  基于數據地圖,數據資產管控模型

    根據公司總體部署,運營監控中心是公司數據資產的管理者,將基于企業級數據地圖,加強數據資產質量監督,推進數據全局共享,從而為數據資產的增值利用提供良好生態環境。促進數據資產的利用變現,為企業運營管理提供有效的決策支撐。在這個目標的指引下,設計出了電網企業數據資產管理模型,如圖1所示。

mxj-t1.gif

    數據資產管理模型的核心是企業級數據地圖,運監中心基于數據地圖能夠總覽公司數據資產的產生、分布與使用情況,為數據資產管理行為提供依據。

    質量管理、共享管理是運監中心在開展數據資產管理工作的“二個抓手”。

    數據資產質量監督:由業務部門提供數據質量校驗規則,運監中心負責建立數據質量監督計劃,對業務源頭數據與業務實際的匹配和及時情況進行稽查,及時發現問題,提出數據治理的要求,督促業務部門按要求進行整改。

    數據資產共享管理:業務部門提出數據資產共享需求,運監中心負責整合需求,協調和推進數據資產共享,使用數據地圖共享平臺確保實現共享,最后運監中心對共享效果給予評價,推動數據資產共享。

     “一項保障”是指數據資產質量評價考核機制,主要通過對數據資產質量的評價考核保障數據資產管理工作規范、常態化開展。主要工作內容包括:

    (1)評價與考核設計:圍繞電網企業數據資產管理目標,由運監中心設計數據資產質量管理考核指標、辦法、標準。

    (2)評價與考核執行:基于考核指標、辦法與標準,由運監中心定期對各業務部門數據資產質量進行綜合評價。

2  主要做法

    以實現企業級數據資產規范、集中、有序管理為目標,以完善的組織架構為支撐,以數據價值密度提升為導向,通過“全員參與、明確定義、有序識別、全景透視、規范管控、探索變現”的方式,清晰識別出公司數據資產,全景透視管控數據資產,建立統一規范管理體系,創新探索未來數據資產價值變現模式,打造了數據資產價值應用的良好生態環境,對公司優化管理運營起到關鍵支撐。主要做法如下。

2.1  成立全覆蓋的組織機構

    目前,公司已經對數據資產管理職能在公司的戰略、管理和執行層面進行了重新布局,通過對各級職能的清晰設置和重新定義,構建了符合自身特點、層級分明的金字塔式三級數據資產管理組織架構。

    在戰略層,構建了數據資產管理委員會,成員包括公司領導,主要負責公司數據資產管理工作的整體規劃、戰略部署以及宏觀目標的制定等工作。

    在管理層,構建了數據資產管理組,成員包括運監中心和科信部。運監中心是數據資產管理歸口管理部門,負責設置數據資產管理流程、制度和評價考核機制、協調和推進數據資產管理工作執行、解決數據資產管理相關問題、評估數據資產管理效果等工作;科信部是數據資產管理的技術支撐和保障部門,負責數據資產安全管理、數據資產管理技術支撐與保障等工作。

    執行層,構建了數據資產管理工作組,成員包括各業務部門和信通公司,其中業務部門負責執行數據資產管理工作、反饋數據資產管理活動信息、提交數據資產管理改進建議等工作;信通公司負責具體技術平臺的搭建和技術保障的實施等工作。

2.2  建立全業務的數據臺賬

    通過對公司數據指標關聯的三元素(業務、系統、數據)進行梳理分析,明晰指標數據源自的權威業務系統、關鍵業務節點、對應的概念實體、物理實體、取數的字段及屬性、數據實體間的流轉關系、指標數據計算邏輯及過程等信息,構建完整詳盡的運營監測數據臺賬,從業務層面、系統層面、數據層面對運營監測數據進行管理,如圖2所示。

mxj-t2.gif

    業務信息主要反映數據資產的業務內涵,具體包括基本信息、監測信息和關聯信息,如圖3所示。

mxj-t3.gif

    技術信息主要反映數據資產的存儲、分布和流轉等技術參數,具體包括數據字典和數據溯源等,其中數據溯源可關聯至數據資產地圖,如圖4所示。

mxj-t4.gif

    管理信息主要反映數據資產運營過程中所發生的變化和使用情況,具體包括數據質量概況、數據使用情況和數據變更情況,其中數據質量概況可關聯至詳細的數據質量報告,如圖5所示。

mxj-t5.gif

2.3  開展全過程的溯源管理

    通過定義數據資源框架、構建指標臺賬,進行業務溯源系統溯源,形成數據資產地圖,體現運營數據的業務背景、業務關聯關系、計算邏輯、數據產生源頭及更新周期等整個運營數據流程詳細信息,形成一套結構清晰、全面覆蓋的數據資源統一視圖,直觀、詳盡地展示數據資源在其流程各環節的狀態,強化運營數據流程管理能力,并為后續的數據監控、評估與改進等工作奠定基礎。

    按照指標關聯的三元素(業務、系統、數據)的拓撲關系構建出數據地圖,并可視化地對拓撲關系進行維護調整,保持數據地圖與實際情況相符。以地圖中“點、線、面”作為繪制數據地圖的基礎,“點”中包含系統信息、數據庫信息、區域信息、文件信息、報表信息、表信息、字段信息、維度信息、指標信息,“線”中包含系統間關系信息、數據庫間關系、 ETL加工關系(表間關系、字段間關系)、基礎指標和復雜指標的關系、指標和指標主題的關系,“面”主要基于數據關系的系統組織信息。

    業務溯源主要是從運監監測指標體系中選取指標進行梳理?;跇I務分類和業務主題對指標進行分析拆解,厘清各級指標間的業務關聯關系,明確指標計算和匯總過程涉及的關鍵業務定義和業務節點,形成指標的業務溯源視圖,如圖6所示?;跇I務溯源視圖可了解指標數據的來龍去脈,并可自底向上進行指標數據情況跟蹤。

mxj-t6.gif

    系統溯源主要是收集數據流轉于各個系統的記錄,并且將現有成果進行分析整理,盡量自動化收集數據系統流轉類信息。通過系統溯源,明晰指標數據源所屬業務系統,厘清其系統內和系統間的數據分布和數據流轉關系以及指標在其歸屬系統上的核心應用場景和展示環節,構建完整詳盡的指標數據系統溯源過程,如圖7所示。

mxj-t7.gif

    在業務溯源和系統溯源的基礎上,進一步明確指標數據流轉全過程和記錄與各個層次的系統物理存儲對應的映射關系,梳理數據流轉過程中所涉及的概念實體、物理表、物理字段、指標計算過程等關鍵信息,如圖8所示。

mxj-t8.gif

    整合以上3項溯源工作的梳理成果,應用可視化技術,設計效果直觀、詳盡實用的數據地圖展示界面,如圖9所示,體現出運營數據的業務背景、業務關聯關系、計算邏輯、數據產生源頭及更新周期等整個運營數據全壽命詳細信息。數據資產地圖作為運營數據資產管理的基礎平臺,促進后續的運營數據接入與整合、數據監控、評估與改進等工作。

mxj-t9.gif

2.4  進行全角度的數據監控

    基于數據地圖,對數據資產全鏈條各環節設置監控規則和監控指標,便于及時定位數據質量問題至具體環節,如圖10所示。一方面,對于數據從產生到使用的各個過程環節設置監控規則,建立核查模板,對數據資產進行全過程監控,及時定位數據問題并整改,保障數據資產及時可靠地流轉和使用;另一方面,通過建立閉環的數據問題跟蹤管理流程,對于無法立即解決,需由相關各方協同解決的問題,由專人負責提交、溝通、跟蹤和關閉,從而確保數據資產的質量和效率。

mxj-t10.gif

3  實施效果

3.1  建立了完整的電網企業數據資產管理體系

    目前,公司已建立了完整的數據資產管理體系,從組織、職能、流程、標準、制度等方面全面規范了數據資產管理行為,成立了數據資產管理委員會,下設推進組和執行組共16人。在數據資產管理體系運行過程中,已發布《數據質量報告》8份,實現了對175億條數據的監測,監測到153個業務場景的數據質量異動,治理數據474 350條,整改完成率達98.34%;推進數據共享,實現多部門協同共享143 361條數據,共享完成率達91.27%。

    通過從企業級視角對數據資產統一規劃、建設、運維管理,提升了數據資產質量,促進了數據資產跨部門的流動,引導各部門對數據資產的深化應用,為數據資產的價值釋放提供了良好的生態環境。同時,電力數據同國民經濟緊密耦合,是社會經濟發展的基礎性數據,高效的電力數據資產管理體系,為政府社會經濟規劃提供基礎數據支撐,有力提升政府決策的科學化水平。

3.2  構建了層層級聯的數據地圖

    通過深入剖析公司業務流和數據流的交互關系,基于電網企業通用的業務結構,梳理出10個數據領域、8個數據應用場景,設計了“指數層-指標層-明細數據層”三層級的數據地圖。

    目前公司可基于數據地圖,從完整統一的視角透視數據資產全貌,洞察數據資產分布與流動狀況,實時監控數據質量,發現數據異動,實現對數據資產的動態巡航監控;同時,還能通過比對業務流與數據流的流向,甄別共享需求,不斷促進數據的共享,推進業務的融合。

3.3  消除運營診斷盲點

    通過對數據資產的全盤掌握和有效管理,串聯起數據孤島,利用跨部門數據多視角還原業務過程,消除了因數據匱乏導致的運營診斷盲點,實現了企業級的運營深度分析,有力支撐了公司運營管理決策。

3.4  創新探索公用事業數據資產管理模式

    成功構建出一套可量化、可被復用、可持續發展的數據資產管理模式,并進行了充分驗證,為總部部署、推廣數據資產管理起到了積極的借鑒與支撐?;诠檬聵I業務模式的相似性以及數據管理的通用性和延展性,這套管理模式不僅適用于電網企業,也適用于其他公用事業企業,通過這套管理模式的復用,可以引領公用事業共同營造數據資產發展的良性生態環境。由于電力系統是中國社會的基礎能源設施,通過數據資產管理帶來的行業理念的提升和創新效果,經過社會的反饋和發酵,其倍增效應將極大地推動國家大數據戰略的跨越式發展。



作者信息:

孟祥君1,李  劍2,張偉昌1

(1. 國網山東省電力公司運監中心,山東 濟南 250001;

2. 山東魯能軟件技術有限公司,山東 濟南 250001)

此內容為AET網站原創,未經授權禁止轉載。
微信群里卖衣服的怎么赚钱 深圳风采开奖日期 广东11选5遗漏-真准 私募分级基金配资 幸运农场免费计划 股票直播平台排名 极速快3彩票网站 好运快三大小技巧 如何在手机上看股市的动态 加拿大快乐8软件走势图 海南体彩4十1中奖规则