數(shù)據(jù)和生命周期管理原則和策略ppt課件

《數(shù)據(jù)和生命周期管理原則和策略ppt課件》由會員分享，可在線閱讀，更多相關(guān)《數(shù)據(jù)和生命周期管理原則和策略ppt課件（36頁珍藏版）》請在裝配圖網(wǎng)上搜索。

數(shù)據(jù)生命周期管理 理論與實踐,0,目錄,,一、工行數(shù)據(jù)管理的總體情況 二、數(shù)據(jù)生命周期管理理論與方法 三、工行數(shù)據(jù)生命周期管理實踐,工行數(shù)據(jù)管理的指導思想,,構(gòu)建合理的數(shù)據(jù)管理組織架構(gòu)和數(shù)據(jù)架構(gòu)體系，做好數(shù)據(jù)治理，促進各應用系統(tǒng)信息高度共享，充分發(fā)揮數(shù)據(jù)價值，為經(jīng)營決策提供科學依據(jù) 做好信息標準化管理，提高數(shù)據(jù)有效性、一致性和規(guī)范性 做好數(shù)據(jù)質(zhì)量管理，確保數(shù)據(jù)的準確性 做好數(shù)據(jù)生命周期管理，實現(xiàn)數(shù)據(jù)從產(chǎn)生到銷毀的全過程規(guī)范化管理 做好信息安全管理，確保信息不被泄露,,一、工行數(shù)據(jù)管理的總體情況,構(gòu)建了分層的數(shù)據(jù)架構(gòu)體系,,數(shù)據(jù)采集層,數(shù)據(jù)集成層,指標模型層,管理操作層,交易信息,客戶信息,管理信息,外部信息,,數(shù)據(jù)倉庫,風險集市,,數(shù)據(jù)指標,,績效等經(jīng)營管理系統(tǒng),營銷等業(yè)務管理系統(tǒng),信息獲取,信息整合,信息加工,信息展現(xiàn),,,,,信息反饋及應用,,,,,,,績效考核,客戶關(guān)系管理,,,客戶經(jīng)理,各級管理人員,高級分析用戶 （靈活查詢） （數(shù)據(jù)挖掘）,模型,用戶統(tǒng)一操作界面,,,,資本管理、操作風險管理等風險管理系統(tǒng),靈活查詢,一、工行數(shù)據(jù)管理的總體情況,數(shù)據(jù)采集層 采集的數(shù)據(jù)主要包括客戶信息、交易信息、管理信息和外部信息，這些信息有些是客戶和行內(nèi)人員手工錄入，有些是從外部批量導入。。 客戶信息、交易信息主要從對客和自營業(yè)務系統(tǒng)收集，包括存貸結(jié)算基本業(yè)務、銀行卡業(yè)務、代理與投資業(yè)務、金融市場業(yè)務、信貸管理與單證業(yè)務、托管業(yè)務、投行業(yè)務等系統(tǒng)。 管理信息主要從內(nèi)部管理系統(tǒng)收集，包括資訊平臺、制度園地、人力資源管理、分支機構(gòu)管理、辦公管理等系統(tǒng)。 外部信息主要包括監(jiān)管機構(gòu)提供的信息（如征信信息、風險提示信息等）、行業(yè)信息、外部報價信息等。,一、工行數(shù)據(jù)管理的總體情況,數(shù)據(jù)基礎(chǔ)層（建立數(shù)據(jù)倉庫和數(shù)據(jù)集市） 為了對客戶行為和業(yè)務管理進行科學分析和預測，需要建立集合各類業(yè)務數(shù)據(jù)為一體的數(shù)據(jù)倉庫，進行面向各類主題的數(shù)據(jù)統(tǒng)計和挖掘分析，為市場營銷和管理決策提供科學依據(jù)。 工商銀行在2002年完成數(shù)據(jù)大集中之后，就已經(jīng)意識到數(shù)據(jù)對于銀行經(jīng)營管理的重要作用，在姜建清董事長等行領(lǐng)導的關(guān)心指導下，開始著手數(shù)據(jù)倉庫建設工作。10來年，工商銀行數(shù)據(jù)倉庫建設穩(wěn)扎穩(wěn)打，已成為各類業(yè)務數(shù)據(jù)集中存儲的重要載體和關(guān)鍵基礎(chǔ)平臺。,一、工行數(shù)據(jù)管理的總體情況,,指標模型層 指標模型層主要包括指標和模型兩部分 指標部分目前主要建立了面向績效的全行指標庫，包含總行、分行的指標需求，支持分行自行定制分行特色指標。,一、工行數(shù)據(jù)管理的總體情況,,指標模型層（模型部分） 模型是實現(xiàn)各類共用指標成熟的計算方法，主要用來規(guī)范和統(tǒng)一各類指標的計算，達到方法共享和提高數(shù)據(jù)一致性的目的。 目前已經(jīng)實現(xiàn)的模型包括如下內(nèi)容： 客戶評價模型 產(chǎn)品定價模型 績效評估模型 風險計量模型 財務預算模型 。。。,一、工行數(shù)據(jù)管理的總體情況,,管理操作層 主要面向客戶服務和內(nèi)部經(jīng)營管理，包括客戶營銷、資本管理、資產(chǎn)與負債管理、信用風險管理、操作風險管理、市場風險管理、績效考核管理、內(nèi)部審計與合規(guī)管理等。管理操作層的基礎(chǔ)數(shù)據(jù)主要來自各個業(yè)務系統(tǒng)，有些統(tǒng)計指標類數(shù)據(jù)是經(jīng)數(shù)據(jù)倉庫加工提供。 為滿足日常經(jīng)營管理，提供了以固定報表為主的綜合報表統(tǒng)計平臺。 為便于突發(fā)性和臨時查詢需要，提供了基于數(shù)據(jù)倉庫的靈活查詢功能。 為規(guī)范對外數(shù)據(jù)報送，建立了統(tǒng)一的對外數(shù)據(jù)報送平臺。,一、工行數(shù)據(jù)管理的總體情況,一、工行數(shù)據(jù)管理的總體情況,信息標準化管理 工行信息標準化工程 工行從2010年開始啟動工行信息標準化工程，目標是建立 “定義統(tǒng)一、口徑統(tǒng)一、名稱統(tǒng)一、來源統(tǒng)一、參照統(tǒng)一”的工行信息標準，使各個應用系統(tǒng)內(nèi)部、及系統(tǒng)間的數(shù)據(jù)交互能夠遵循相同的數(shù)據(jù)標準，從而顯著降低信息使用成本，增強信息的一致性、標準性、權(quán)威性和共享性。 目前已建立700多項基礎(chǔ)信息標準，900多項指標標準。,一、工行數(shù)據(jù)管理的總體情況,信息標準化建設總體目標,,總體目標：通過統(tǒng)一信息標準制定、發(fā)布使用、制度約束、系統(tǒng)控制等手段，實現(xiàn)工行信息的完整性、有效性、一致性、規(guī)范性、開放性和共享性管理，提高工行信息化水平。,,4,來源統(tǒng)一,對于已經(jīng)標準化的數(shù)據(jù)，其來源應該有且只有一個,,2,口徑統(tǒng)一,對于有數(shù)量表達的信息標準，計算口徑必須要統(tǒng)一,,3,名稱統(tǒng)一,各信息項應該采用統(tǒng)一規(guī)范的命名,,定義統(tǒng)一,同一信息項的業(yè)務含義和所適用的業(yè)務場景保持一致,1,,5,參照統(tǒng)一,工行標準和行外各類標準的銜接應建立明確的對應關(guān)系,一、工行數(shù)據(jù)管理的總體情況,信息標準化建設原則 信息標準化是“統(tǒng)一語言、統(tǒng)一計量”的過程，遵循“五統(tǒng)一”原則,一、工行數(shù)據(jù)管理的總體情況,數(shù)據(jù)質(zhì)量管理,3、做好規(guī)范管理 完善制度、規(guī)范流程、系統(tǒng)硬控制，把好數(shù)據(jù)質(zhì)量“流轉(zhuǎn)關(guān)”。,2、督促問題治理 部署檢查規(guī)則，實現(xiàn)問題數(shù)據(jù)發(fā)現(xiàn)、分發(fā)、治理、監(jiān)督、考核閉環(huán)管理，把好數(shù)據(jù)質(zhì)量“治理關(guān)”。,1、從源頭治理 從數(shù)據(jù)錄入、內(nèi)部處理入手，把好數(shù)據(jù)質(zhì)量“入口關(guān)”。,一、工行數(shù)據(jù)管理的總體情況,數(shù)據(jù)質(zhì)量管理流程,數(shù)據(jù)安全管理 為了加強數(shù)據(jù)安全管理，工行制定了《數(shù)據(jù)管理辦法》和《數(shù)據(jù)管理辦法實施細則》，明確了各環(huán)節(jié)的數(shù)據(jù)安全管理要求，并采取了一些技術(shù)手段進行硬控制。 數(shù)據(jù)安全的主要管理要求： 使用生產(chǎn)數(shù)據(jù)必須經(jīng)過申請和審批，開發(fā)測試環(huán)境使用生產(chǎn)數(shù)據(jù)必須進行數(shù)據(jù)變形。 涉及敏感信息的生產(chǎn)數(shù)據(jù)的傳輸必須采用加密處理或使用專用郵箱、專用FTP服務器傳輸?shù)?。 對生產(chǎn)用戶進行嚴格授權(quán)管理，防范非授權(quán)訪問生產(chǎn)數(shù)據(jù) 。 對生產(chǎn)數(shù)據(jù)建立和實施嚴格的備份機制。對數(shù)據(jù)保存介質(zhì)進行分類登記，及時進行清理和轉(zhuǎn)存。,一、工行數(shù)據(jù)管理的總體情況,目錄,,一、工行數(shù)據(jù)管理的總體情況 二、數(shù)據(jù)生命周期管理理論與方法 三、工行數(shù)據(jù)生命周期管理實踐,二、數(shù)據(jù)生命周期管理理論與方法,背景情況 早期銀行的金融產(chǎn)品相對較少，主要是以存貸匯為主，且數(shù)據(jù)是以?。ㄊ校閱挝环植即娣牛瑪?shù)據(jù)量相對較少；此外由于還還沒有數(shù)據(jù)集中分析挖掘的需求，日常處理對象主要是短期之內(nèi)的數(shù)據(jù)，時間跨度小，處理的數(shù)據(jù)規(guī)模相對可控。 隨著各家銀行實施了數(shù)據(jù)大集中，集中存放和處理的數(shù)據(jù)量急劇增加，例如工行目前核心銀行數(shù)據(jù)已達150T，數(shù)據(jù)倉庫存放的數(shù)據(jù)已達185T；同時隨著各類業(yè)務的快速發(fā)展，銀行每天都在產(chǎn)生大量的數(shù)據(jù)，并需要對這些數(shù)據(jù)進行分析挖掘，系統(tǒng)資源開銷和運行效率都面臨著越來越大的壓力。 為控制在線數(shù)據(jù)規(guī)模、保證應用系統(tǒng)健康高效運行，對數(shù)據(jù)從創(chuàng)建到最終銷毀的生命周期進行全程管理顯得越來越迫切 。,數(shù)據(jù)生命周期管理的目標 通過規(guī)范數(shù)據(jù)的生命周期管理，提高數(shù)據(jù)的整體管理水平。 優(yōu)化數(shù)據(jù)存儲結(jié)構(gòu)，有效控制在線數(shù)據(jù)規(guī)模，提高生產(chǎn)數(shù)據(jù)訪問效率。 提高系統(tǒng)資源使用效率，確保系統(tǒng)安全、穩(wěn)定、高效運行。 做好歷史數(shù)據(jù)管理，為客戶服務和經(jīng)營分析提供數(shù)據(jù)支撐。,二、數(shù)據(jù)生命周期管理理論與方法,二、數(shù)據(jù)生命周期管理理論與方法,數(shù)據(jù)生命周期的基本原理 數(shù)據(jù)訪問頻度與數(shù)據(jù)量的變化會隨著時間的遷移而呈反比例變化,,利用隨時間積累，數(shù)據(jù)訪問頻次變化和數(shù)據(jù)量累積變化成反比這一客觀規(guī)律，對數(shù)據(jù)根據(jù)訪問頻次進行數(shù)據(jù)價值評估，對大量低價值信息采取低成本的數(shù)據(jù)保存手段，使數(shù)據(jù)的價值和存儲的技術(shù)和管理相匹配，進而大幅降低整體數(shù)據(jù)存儲成本；,數(shù)據(jù)生命周期管理的總體原則 在數(shù)據(jù)的整個生命周期中，不同階段的數(shù)據(jù)其性能、可用性、保存等要求也不一樣。 通常情況下，在其生命周期初期，數(shù)據(jù)的使用頻率較高，需要使用高速存儲，確保數(shù)據(jù)的高可用性。 隨著時間的推移，數(shù)據(jù)重要性會逐漸降低，使用頻率會隨之下降，應將數(shù)據(jù)進行不同級別的存儲，為其提供適當?shù)目捎眯?、存儲空間，以降低管理成本和資源開銷。 最終大部分數(shù)據(jù)將不再會被使用，可以將數(shù)據(jù)清理后歸檔保存，以備臨時需要時使用。,二、數(shù)據(jù)生命周期管理理論與方法,數(shù)據(jù)生命周期管理流程,二、數(shù)據(jù)生命周期管理理論與方法,說明： 在線歸檔階段（也被稱為近線階段）：將訪問頻度較低且應用需求不高的數(shù)據(jù)從應用中分離出來，保存在另外的磁盤并提供相應的查詢； 離線歸檔階段：將訪問頻度較低且應用需求不高的數(shù)據(jù)從應用中分離出來，保存在磁帶、光盤及低端磁盤上。離線歸檔后不提供信息聯(lián)機訪問接口，如有相應的查詢要求，需特定的查詢工具或?qū)w檔數(shù)據(jù)導入相應系統(tǒng),數(shù)據(jù)生命周期管理流程 數(shù)據(jù)各生命階段的管理策略,二、數(shù)據(jù)生命周期管理理論與方法,目錄,,一、工行數(shù)據(jù)管理的總體情況 二、數(shù)據(jù)生命周期管理理論與方法 三、工行數(shù)據(jù)生命周期管理實踐,建立了數(shù)據(jù)生命周期管理體系 工行數(shù)據(jù)生命周期管理從組織建設、制度規(guī)范、系統(tǒng)工具、日常管理各方面開展相關(guān)工作。 制定了全行統(tǒng)一的《數(shù)據(jù)生命周期管理技術(shù)規(guī)范》，并配套發(fā)布了一系列數(shù)據(jù)清理工具，根據(jù)規(guī)范制定的策略定期進行清理，并將清理的數(shù)據(jù)歸檔到歷史數(shù)據(jù)管理應用中。,三、工行數(shù)據(jù)生命周期管理實踐,三、工行數(shù)據(jù)生命周期管理實踐,《數(shù)據(jù)生命周期管理技術(shù)規(guī)范》總體情況 《規(guī)范》建立了統(tǒng)一的對所有數(shù)據(jù)的有效期管理的具體標準、方案、指引和制度，是數(shù)據(jù)管理的指導方針，提高了數(shù)據(jù)管理工作的統(tǒng)一性、系統(tǒng)性、全面性和科學性 《規(guī)范》改變了以往根據(jù)磁盤容量和依賴于技術(shù)人員經(jīng)驗的狀況，使全行有了科學統(tǒng)一的數(shù)據(jù)管理標準，減少了因數(shù)據(jù)保留時間不當而出現(xiàn)應用風險，使中國工行的各類業(yè)務系統(tǒng)可以更好、更穩(wěn)定地為廣大客戶提供優(yōu)質(zhì)地服務。,三、工行數(shù)據(jù)生命周期管理實踐,規(guī)范主要內(nèi)容 借鑒國際先進數(shù)據(jù)模型,對工行的各應用系統(tǒng)數(shù)據(jù)進行提煉和分類，在數(shù)據(jù)生命周期的各個階段制定了有效的管理策略 。 將工行的應用系統(tǒng)按產(chǎn)品線（共20類）進行劃分，并在此基礎(chǔ)上對各產(chǎn)品線的數(shù)據(jù)類別進行了確認；規(guī)定了各產(chǎn)品線各類數(shù)據(jù)的數(shù)據(jù)有效期，建立了完整的數(shù)據(jù)有效期管理工作規(guī)范體系，確立指導工行各類數(shù)據(jù)的基本管理原則和具體應遵循執(zhí)行的各種辦法,三、工行數(shù)據(jù)生命周期管理實踐,規(guī)范主要內(nèi)容 數(shù)據(jù)清理原則 業(yè)務處理層聯(lián)機交易數(shù)據(jù)不應直接進行物理刪除操作，要通過相關(guān)標志位、最后更新時間等字段實現(xiàn)邏輯刪除，對于無法實現(xiàn)邏輯刪除的聯(lián)機交易數(shù)據(jù)，應重新設計以滿足邏輯刪除要求；物理刪除要通過本規(guī)范制定的數(shù)據(jù)生命周期按統(tǒng)一策略進行清理。 數(shù)據(jù)進行清理時，各應用應記錄清理的相關(guān)信息（包括清理的表名、清理時間、清理數(shù)據(jù)量）。 數(shù)據(jù)清理時，應考慮清理數(shù)據(jù)對系統(tǒng)的影響，比如考慮重建索引、重組等相關(guān)事項。,三、工行數(shù)據(jù)生命周期管理實踐,規(guī)范主要內(nèi)容 數(shù)據(jù)清理周期 對于進行批量清理的數(shù)據(jù)，按固定周期進行清理； 對保留時間在1月以內(nèi)的數(shù)據(jù)，清理周期不宜超過1月； 對于保留時間在2年以內(nèi)的數(shù)據(jù)，清理周期不應超過保留時間的1/2； 對于保留時間在2年以上的數(shù)據(jù)，清理周期不應超過1年。,三、工行數(shù)據(jù)生命周期管理實踐,數(shù)據(jù)生命周期規(guī)范的執(zhí)行 工行應用系統(tǒng)的建設從需求編制開始就關(guān)注數(shù)據(jù)生命周期的管理，在系統(tǒng)設計、開發(fā)、測試、運維各個始終按照規(guī)范要求，有效貫徹數(shù)據(jù)清理工作的精神。,主要數(shù)據(jù)表的生命周期管理策略制定,所有新建和修改表的數(shù)據(jù)生命周期管理策略的等級和修改,清理工具和程序的編制、策略的導入以及測試,數(shù)據(jù)清理工作的執(zhí)行、清理信息的收集、分析和展現(xiàn),,,,,清理工作的確認和檢查,,,,設計人員,設計、開發(fā)人員,開發(fā)、測試人員,運維人員,,,,,,清理后數(shù)據(jù)的查詢、展現(xiàn)和導出。,技術(shù)管理人員,三、工行數(shù)據(jù)生命周期管理實踐,數(shù)據(jù)生命周期規(guī)范的執(zhí)行（續(xù)） 清理工作的確認和檢查 工行會定期對數(shù)據(jù)生命周期管理相關(guān)工作進行檢查、確認。 對于數(shù)據(jù)生命周期管理策略，每季度會對設計情況、數(shù)據(jù)生命周期管理策略填寫情況進行抽查，確保策略的正確性； 每月在進行新的數(shù)據(jù)表的清理工作時，會對涉及的表的生命周期管理策略進行確認，以確保數(shù)據(jù)清理的正確、合理。,三、工行數(shù)據(jù)生命周期管理實踐,系統(tǒng)工具 工行開發(fā)了相關(guān)系統(tǒng)和工具，確?？梢愿鶕?jù)規(guī)范制定的數(shù)據(jù)生命周期管理策略進行統(tǒng)一執(zhí)行； 工行在各個環(huán)節(jié)注重數(shù)據(jù)生命周期管理，并對工具和系統(tǒng)不斷進行優(yōu)化，提升數(shù)據(jù)清理工作成效； 對清理后的數(shù)據(jù)陸續(xù)納入系統(tǒng)，實現(xiàn)清理數(shù)據(jù)的在線歸檔，并提供有效查詢。 工行擬建立清理集中管理平臺，實現(xiàn)清理信息的有效收集，提供分析和統(tǒng)計。,元數(shù)據(jù)及軟件資源管理系統(tǒng)（SEAS） SEAS實現(xiàn)了填寫的數(shù)據(jù)生命周期管理在提交前會自動進行策略校驗，對于不符合邏輯的策略會進行提醒要求修改； SEAS實現(xiàn)了數(shù)據(jù)表新增時各項信息的審批功能，在系統(tǒng)控制的基礎(chǔ)上再增加人工確認，進一步確保信息的準確性。,三、工行數(shù)據(jù)生命周期管理實踐,電子影像及文檔服務平臺及綜合檔案管理 電子影像及文檔服務平臺是工行各類事中、事后類業(yè)務系統(tǒng)電子影像檔案的統(tǒng)一存儲平臺，并為各類業(yè)務產(chǎn)生的各種非結(jié)構(gòu)化數(shù)據(jù)（主要是影像資料、word、excel）進行集中保管，并提供了查詢服務。 綜合檔案管理系統(tǒng)存儲的結(jié)構(gòu)化數(shù)據(jù)主要為非結(jié)構(gòu)化數(shù)據(jù)的查詢索引服務，與電子影像及文檔服務平臺進行配合，完成非結(jié)構(gòu)化數(shù)據(jù)的歸檔、存儲、查詢、調(diào)閱等功能； 綜合檔案服務于有非結(jié)構(gòu)化數(shù)據(jù)的業(yè)務處理系統(tǒng)和相應業(yè)務部門，實現(xiàn)業(yè)務處理的非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一管理并提供了查詢服務。,三、工行數(shù)據(jù)生命周期管理實踐,數(shù)據(jù)清理工具與清理集中管理平臺 數(shù)據(jù)清理工具從企業(yè)數(shù)據(jù)的角度，對各個平臺（主機和開放平臺）各種類型的數(shù)據(jù)庫（DB2，ORACLE，SAS，TERADATA等）應用數(shù)據(jù)進行統(tǒng)一的數(shù)據(jù)生命周期管理，建立一套通用的、參數(shù)化的、基于數(shù)據(jù)驅(qū)動的數(shù)據(jù)生命周期管理系統(tǒng)，分為主機平臺一個版本和開放平臺多個版本，數(shù)據(jù)清理工具作為技術(shù)支撐產(chǎn)品線下的一個工具被部署到各個數(shù)據(jù)庫系統(tǒng) ； 數(shù)據(jù)清理工具采用參數(shù)化控制，通過在參數(shù)表中設置清理條件、清理日期等，實現(xiàn)下載和清理數(shù)據(jù)的可控性、靈活性，為后期的升級維護工作提供了很大的方便。 清理集中管理平臺將從各數(shù)據(jù)清理工具收集清理信息，作為后續(xù)統(tǒng)計和分析的依據(jù)和基礎(chǔ)。 。,三、工行數(shù)據(jù)生命周期管理實踐,三、工行數(shù)據(jù)生命周期管理實踐,歷史數(shù)據(jù)管理平臺 保存各應用系統(tǒng)超出在線保存期限的結(jié)構(gòu)化數(shù)據(jù)，提供歸檔階段在線查詢和離線查詢功能。 客戶通過各種渠道可訪問客戶賬戶歷史明細；內(nèi)部柜員查詢內(nèi)部登記簿數(shù)據(jù)等數(shù)據(jù)； 滿足審計署、人民銀行、銀監(jiān)會、稅務等監(jiān)管機構(gòu)對工行進行的審計、監(jiān)管及反洗錢協(xié)查的數(shù)據(jù)查詢需求。,,,,,謝 謝！,