CTG-MBOSS EDA-ODS技術規(guī)范

《CTG-MBOSS EDA-ODS技術規(guī)范》由會員分享，可在線閱讀，更多相關《CTG-MBOSS EDA-ODS技術規(guī)范（83頁珍藏版）》請在裝配圖網上搜索。

技術規(guī)范 版本 007 年 7 月 范 版權所有，注意保密 i 術規(guī)范 目 錄 1 文檔說明 ..................................................... 1 制說明 ..................................................... 1 用范圍 ..................................................... 2 草單位 ..................................................... 2 釋權 ....................................................... 2 權 ......................................................... 2 2 系統(tǒng)技術架構 ................................................. 3 統(tǒng)技術架構 ................................................. 3 統(tǒng)技術特點 ................................................. 4 量數據加載和實時數據更新并存 ........................... 4 范式模型、星型模型、寬表模型并存 ....................... 5 粒度數據和匯總數據并存 ................................. 5 務查詢和統(tǒng)計查詢的并存 ................................. 5 據保存周期介于生產系統(tǒng)和 ....................... 5 統(tǒng)總體技術要求 ............................................. 5 3 系統(tǒng)功能框架 ................................................. 7 述 ......................................................... 7 據整合域 ................................................... 8 ................................................. 8 據更新配置 ............................................ 11 據質量管理域 .............................................. 12 據質量檢查 ............................................ 13 據質量執(zhí)行 ............................................ 15 據共享域 .................................................. 19 享配置管理 ............................................ 19 范 版權所有，注意保密 術規(guī)范 據 /服務提供 ........................................... 19 享權限控制 ............................................ 20 據應用域 .................................................. 20 據查詢 ................................................ 20 定報表 ................................................ 20 算應用 ................................................ 21 態(tài)報表 ................................................ 21 共管理域 .................................................. 22 統(tǒng)管理 ................................................ 22 統(tǒng)監(jiān)控 ................................................ 30 數據管理 .............................................. 32 4 系統(tǒng)技術要求 ................................................ 35 據整合 .................................................... 35 術要求 ................................................ 35 術建議 ................................................ 36 據存儲 .................................................... 37 術要求 ................................................ 37 術建議 ................................................ 38 據應用 .................................................... 39 術要求 ................................................ 39 術建議 ................................................ 40 據共享 .................................................... 40 術要求 ................................................ 41 術建議 ................................................ 41 數據管理 .................................................. 41 術要求 ................................................ 41 范 版權所有，注意保密 術規(guī)范 術建議 ................................................ 42 5 系統(tǒng)實施 .................................................... 43 施原則 .................................................... 43 施建議 .................................................... 44 要系統(tǒng)改造建議 ........................................ 44 程和崗位調整建議 ...................................... 46 ......................................... 46 施步驟 .................................................... 47 施進度 ................................................ 47 施步驟 ................................................ 48 6 系統(tǒng)部署 .................................................... 50 統(tǒng)部署的參考因素 .......................................... 50 統(tǒng)部署模式 ............................................ 51 式一：集團 集中 ............................ 51 式二：集團 集中 地運營數據平臺 ........... 54 式演進 .................................................... 56 7 附錄 ........................................................ 56 制人員 .................................................... 56 統(tǒng)物理架構、硬件配置估算及硬件配置示例 ................ 57 統(tǒng)物理架構圖示例 ....................... 錯誤 !未定義書簽。 統(tǒng)硬件 配置估算方法 ..................... 錯誤 !未定義書簽。 統(tǒng)存儲規(guī)劃 ............................. 錯誤 !未定義書簽。 件配置示例 ............................. 錯誤 !未定義書簽。 三方工具評價標準及產品比較 ................................ 63 ................................................ 63 表工具 ................................................ 68 范 版權所有，注意保密 術規(guī)范 數據管理工具 .......................................... 75 范 版權所有，注意保密 1 術規(guī)范 1 文檔說明 制說明 中國電信集團明確提出了客戶品牌統(tǒng)領市場經營工作的要求，在市場經營的各項具體工作中細化和逐步落實客戶化經營思路，適應以“產品”為中心向以“客戶”為中心的轉變，要求在市場經營的各項具體工作中細化和逐步落實客戶化經營思路。市場的轉型對于銷策劃、銷售、服務、統(tǒng)計分析等工作提出了更高的要求，需要相關流程的變更和優(yōu)化，需要建立和應用 360度客戶統(tǒng)一視圖信息，在各環(huán)節(jié)中應用客戶統(tǒng)一視圖信息，同時實現信息在各渠道和前后端的進一步共享。在客戶化流程的設計中我們發(fā)現 客戶服務和營銷過程越來越依賴于頻繁地查詢集成的客戶信息，這些都需要跨系統(tǒng)運營數據的支撐；同時，由于各系統(tǒng)數據標準不一致，存在同樣信息在不同系統(tǒng)中取值不同的現象，帶來了信息的不一致，無法取得一致的統(tǒng)計分析數據，不利于企業(yè)的精確化管理，給業(yè)務發(fā)展帶來一定影響。 中國電信 營數據倉儲）對于解決以上問題是及時和有效的。 數據整合（承載客戶統(tǒng)一視圖 ）、數據共享、跨系統(tǒng)數據應用和數據質量檢查。隨著 費、服務開通、資源等核心 其是 費省集中系統(tǒng)的逐步到位以及客戶品牌統(tǒng)領市場經營工作對 得 為承載企業(yè)數據模型及數據標準，并據此整合各系統(tǒng)數據以實現企業(yè)跨系統(tǒng)數據共享，提供跨系統(tǒng)數據應用，提升數據質量的最好承載平臺。 因此，作為對中國電信 一各省和系統(tǒng)集成商的認識， 解決 以上 問題， 我們 制定了中國電信運營數據倉儲（簡稱 關規(guī)范，主要包含《 體規(guī)范 以下簡稱 《 技術 規(guī)范 以下簡稱 。 范 版權所有，注意保密 2 術規(guī)范 范 主要 介紹了 業(yè)務 目標 、系統(tǒng)目標、 系統(tǒng) 架構、 系統(tǒng)邊界 及系統(tǒng)演進等方面的內容，明確指出了中國電信 能及與其它周邊系統(tǒng)的邊界劃分原則。 術 規(guī)范主要介紹了 統(tǒng)技術架構、功能框架、系統(tǒng)總體及各功能域各自的技術特點和技術要求以及 統(tǒng)實施與 系統(tǒng)部署等方面的內容。 術規(guī)范從技術和實施角度指導各省 建設。 與此規(guī)范配套下發(fā)的還有中國電信 型 中 部分作為 接作為 用范圍 本規(guī)范適用的范圍為 中國電信集團公司 。 草單位 本規(guī)范起草單位為中國電信集團公司。 （參加編寫 術規(guī)范 的人員名單見附錄一。） 釋權 本規(guī)范的解釋權屬于中國電信集團公司。 權 本規(guī)范的版權屬于中國電信集團公司。 范 版權所有，注意保密 3 術規(guī)范 2 系統(tǒng)技術架構 統(tǒng)技術架 構 遵照《 體規(guī)范 對 成統(tǒng)一的企業(yè)運營數據。 統(tǒng)一方面承擔提供跨系統(tǒng)運營數據的共享職能，另一方面承擔基于運營數據的查詢、統(tǒng)計報表和批量計算功能，同時作為數據倉庫的主要數據來源。 統(tǒng)需實現的功能需要由相應的技術架構實現支撐。 費、網上客服中心、 10000 號等系統(tǒng)通過 過對源數據的清洗、轉換在 礎數據，根據應用需要， 基于系統(tǒng)中整合與匯總好的數據， 統(tǒng)上以 B/表等數據應用， 據視圖、數據服務等形式向外圍的生產系統(tǒng)提供共享數據，與生產系統(tǒng)配合完成跨域應用支撐。 范 版權所有，注意保密 4 術規(guī)范 圖 2統(tǒng)技術特點 依照 不同于以統(tǒng)計分析為主的數據倉庫系統(tǒng)。系統(tǒng)需要支撐跨域數據查詢功能，還需要支撐生產系 統(tǒng)對一定周期內運營數據數據統(tǒng)計與計算功能。 系統(tǒng)的定位決定了 量數據加載和實時數據更新并存 需要從生產系統(tǒng)準實時同步客戶、產品實例、賬戶等數據，并對 范 版權所有，注意保密 5 術規(guī)范 范式模型、星型模型、寬表模型并存 口層數據和源系統(tǒng)數據采用相同的基于 3 了加快外系統(tǒng)查詢 性能，整合數據層數據需要做部分反范式處理。 整合層數據經過匯總和整理后，進入匯總數據層。匯總數據層主要面向報表應用，需要部分采用星型模型設計方法，對于部分復雜查詢應用可以采用寬表設計模型。 粒度數據和匯總數據并存 要提供面向單個客戶的查詢和統(tǒng)計功能，因此需要保存單個客戶、清單、帳單等細粒度數據；同時， 需要保存部分運營匯總數據。 務查詢和統(tǒng)計查詢的并存 時需要提供基于渠道經理、地域等維度的匯總數據的統(tǒng)計查詢應用。 據保存周期介于生產系統(tǒng)和 間 生產系統(tǒng)不需要支撐大量的分析應用，所以只需要保存當前最新的業(yè)務數據；數據倉庫需要提供經營決策分析功能，所以需要存儲較長周期的業(yè)務數據。 統(tǒng)結合了兩者的特點，既需要提供準實時的運營數據的查詢，也需要提供基于一定周期運營數據的統(tǒng)計報表和批量計算應用。因此， 統(tǒng)總體技術要求 生產系統(tǒng)和 負著客戶統(tǒng)一 視圖、跨域數據共享、運營報表展示和查詢統(tǒng)計等功能。從上節(jié)“系統(tǒng)總體技術特點”描述可以看出 統(tǒng)的雙重特征，因 范 版權所有，注意保密 6 術規(guī)范 此系統(tǒng)配置的軟硬件需要兼顧到在線處理的性能和批量數據更新、匯總與查詢的效率。另外作為中國電信 撐系統(tǒng)之一，系統(tǒng)的實現應參考國際標準 內 結合中國電信 用先進可靠的設備和技術，確保系統(tǒng)的先進性和成熟性，保證投資的有效性和延續(xù)性。 網絡與硬件方面： 1. 采用安全可靠的高速磁盤陣 列設備，支持多機高可用群集系統(tǒng)，磁盤陣列與主機系統(tǒng)采用 2. 采用高速可靠的網絡設備，提供高速的 I/ 3. 主機支持多機群集或海量并行處理技術， 支持分區(qū)技術 ； 4. 主機采用高可用性 (負載均衡的方式， 防止單點故障，提高系統(tǒng)可用性和系統(tǒng)資源的使用率。 軟件方面： 1. 選擇對 2. 選擇能對數據整合過程進行有效監(jiān)控和管理的數據整合工具或技術； 3. 數據質量管理是 統(tǒng)承擔的重要任務， 擇的數據質量管理工具或者自行開發(fā)的數據質量管理功能需要對進入 統(tǒng)的數據實施全程閉環(huán)的數據質量審核和修正，提高中國電信運營數據質量； 4. 選擇提供各種接入方式的報表查詢和統(tǒng)計分析功能的報表工具； 5. 選擇為業(yè)務處理、技術實現等環(huán)節(jié)提供清晰的系統(tǒng)導航功能的元數據管理工具，； 6. 采用能對系統(tǒng)內的軟硬件節(jié)點進行監(jiān)控和自動預警的系統(tǒng)監(jiān)控軟件； 7. 制定完善的備份與恢復策略，采用成熟的備份軟硬件，提供快速備份與恢復功能； 范 版權所有，注意保密 7 術規(guī)范 8. 由于 同時滿足前端應用的快速響應和后端數據的實時及批量更新，因此 模型應該采用分層設計方法，兼容兩類特征，其中 整合層也會做適度的反范式處理來滿足 系統(tǒng)的建設要求； 9. 為了滿足數據的高速加載， 系統(tǒng)需進行相關優(yōu)化操作， 優(yōu)化數據 抽取調度策略 ，避免 資源的爭搶 ，設計 良好的數據文件 /表空間 /數據表存儲規(guī)劃， 保證數據在磁盤的優(yōu)化分布； 10. 對于數據共享層的訪問應采用獨立接口的原則，將 數據 封裝為獨立 接口層 提供外部 訪問， 避免 高數據安全性。 3 系統(tǒng)功能框架 述 為了在業(yè)務和 于中國電信 承中國電信 以 定此功能框架，以明確界定 作為 本框架遵循 系統(tǒng)服務對象和支撐對象的角度，將 據整合域、數據共享域、數據應用域、數據質量管理域、公共管理域，如圖 3示： 范 版權所有，注意保密 8 術規(guī)范 圖 3統(tǒng)功能框架 據整合域 數據整合域是 統(tǒng)的關鍵部分， 過多種 技術準實時或實時地 從源系統(tǒng)中 抽取 數據 ，抽取過來的數據首先到達 后經過轉換等 工作到達整合數據層，形成 合層的數據通過整合、計算、匯總形成匯總層的數據。數據整合 域 功能主要 包括 合 據抽取 實施時需要綜合考慮業(yè)務需求、抽取效率、源系統(tǒng)代價等因素確定抽取策略，抽取策略包括抽取方式（增量、全量）、抽取時機、抽取周期等。 范 版權所有，注意保密 9 術規(guī)范 [功能要求 ] 1. 支持增量、全量、異步和同步抽取方式； 2. 支持多種不同系統(tǒng)平臺和數據類型的數據抽取。包括各種關系型數據庫系統(tǒng)、各種文件格式的源數據等。 據映射 源系統(tǒng)數據通過整合從源系統(tǒng)進 入到 據的格式和定義都有不同程度的變化，因此需要在數據整合過程中通過數據映射方式進行轉換，數據映射主要定義數據結構、數據定義方面的映射關系。 [功能要求 ] 1. 提供圖形化可操作數據映射界面； 2. 提供多種關系的數據映射方式，如 一對一 、 一對多 、 多對一 、多對多。 據轉換 數據轉換包括格式和類型轉換、數據翻譯、數據匹配、數據聚合以及其他復雜計算等。多數情況下，數據源到 據翻譯、數據匹配，而數據聚合以及其他復雜計算主要在數據匯總時出現。 [功能要求 ] 1. 支持在不同業(yè)務系統(tǒng)之間數據轉換。 2. 支持不同的數據源系統(tǒng)平臺。 3. 支持數據的定義、數據結構和錯誤數據的轉換處理。 據檢查 對于文件接口的數據的檢查，主要從接口數據的完整性、及時性和正確性三個方面進行檢查，系統(tǒng)根據接收文件的時間、入庫是否異常等角度進行分析；對于業(yè)務應用系統(tǒng)的 范 版權所有，注意保密 10 術規(guī)范 數據庫接口，系統(tǒng)主要從接口的及時性和一致性方面進行檢查，通過比較源系統(tǒng)的相關指標，分析數據的可信度。 [功能要求 ] 1. 支持接口文件檢查，包括文件名、記錄數、實體完整性檢查等； 2. 支持接口數據檢查，包括數據類型、實體完整性等。 據加載 數據加載 是指將抽取轉換后的數據加載到 括數據行加載和數據塊加載。在綜合考慮效率和業(yè)務實現等因素基礎上確定數據加載周期和數據追加策略。 [功能要求 ] 1. 支持批量數據的數據庫直接加載； 2. 支持多個數據庫連接，能夠進行大量數據的并行加載； 3. 支持自動與手工預加載的流程。當日常數據加載出錯，一般采用人工干預的方式來進行，這時需提供一個數據重新接收、加載的操作界面； 4. 支持多種加載數據的方式，如直接追加、全部覆蓋、更新追加。 ?？刂? 主要通過計數／統(tǒng)計數平衡、拒絕數據量等方便評估數據復制、 具體運行情況，以發(fā)現數據 整合過程中有關數據的問題，并進行必要的處理。 [功能要求 ] 1. 支持校驗點。當外部數據記錄特別龐大時，如果因為某種原因發(fā)生故障中斷后，可以從最近的校驗點開始處恢復處理； 2. 支持外部數據記錄的錯誤限制定義，同時將發(fā)生錯誤的數據記錄輸出。 業(yè)管理 業(yè)管理主要包括初始化作業(yè)、日常 業(yè)、日常復制作業(yè)、異常處理作業(yè) 范 版權所有，注意保密 11 術規(guī)范 等，同時要求對并發(fā)作業(yè)、高負載作業(yè)有良好的管理。 對于基于 數據質量檢查和稽核，應該考慮采用統(tǒng)一的作業(yè)控制工具進行作業(yè)調度和管理。 [功能要求 ] 1. 提供圖形化可操作任務調度與 管理配置界面； 2. 支持任務屬性配置，可以對各項任務的屬性進行配置，并保存在后臺配置文件中，以備任務調度按序執(zhí)行； 3. 支持總任務的調度，使其按照設置條件自動按序執(zhí)行任務； 4. 支持分任務的調度，可按照任務類型、時間、區(qū)域等按照各自設置好的條件進行任務的調度； 5. 支持任務的回退，需要對某幾項任務進行重新調度時，可以將任務回退到需要重新調度的周期。 據更新配置 需要整合的源系統(tǒng)比較多，其中系統(tǒng)架構、數據提供能力、以及提供的源數據使用要求各有不同，因此在數據更新功能方面需要提供靈活的配置能力，提高數據整合的效率和便利。 新規(guī)則 配置 提供多種數據更新規(guī)則，根據規(guī)則特點和業(yè)務需要，進行更新規(guī)則的配置。 [功能要求 ] 1. 提供圖形化的操作配置界面； 2. 支持按照源數據的生產特性進行有針對性地規(guī)則配置。 范 版權所有，注意保密 12 術規(guī)范 新方式配置 提供多種數據更新實現方式，并且針對不同的數據源系統(tǒng)和不同的數據需要，進行更新方式的配置。 [功能要求 ] 1. 提供圖形化的操作配置界面； 2. 支持直接追加方式； 3. 支持全部覆蓋方式； 4. 支持更新追加方式。 新頻度配置 在確定更新方式之后，同樣需要提供更新方式的頻度配置能力，需要從數據源系統(tǒng)的生產壓力、系統(tǒng)架構等方面來考慮頻度。 [功能要 求 ] 1. 提供圖形化的操作配置界面； 2. 提供不同級別的數據更新頻度，如秒級、分鐘級、小時級、天或更長時間（包括周和月）。 據質量管理域 數據質量管理域的功能是為了解決目前普遍的數據質量頑疾，通過建立數據質量管理組織機構，制定質量管理規(guī)范，確定相應的工作流程方法，并在系統(tǒng)中實現質量檢查、修正、考核功能，形成數據質量修正閉環(huán)的機制，確保數據質量問題由發(fā)散狀態(tài)轉為收斂狀態(tài)，并隨著時間的積累逐步逼近真實狀態(tài)。數據質量問題不可能在一夜之間解決，突擊檢查只能短期內改善數據質量，徹底的解決方式是將其作為一項日常的工作由固定的 組織機構來執(zhí)行 。 范 版權所有，注意保密 13 術規(guī)范 據質量檢查 數據質量檢查是對數據本身執(zhí)行合法性等方面檢查的過程，主要通過設置業(yè)務邏輯規(guī)則來實現對數據屬性、數據屬性關系、數據表關系的檢查。 系統(tǒng)數據質量 檢查 障源系統(tǒng)數據質量的改進， 如：對客戶名稱進行檢查、帳戶名稱檢查、用戶名稱檢查、客戶地址檢查、身份證號碼檢查等等。 [功能要求 ] 1. 支持對質量檢查的規(guī)則進行配置，支持按照不同源業(yè)務系統(tǒng)進行配置； 2. 提供按照數據質量規(guī)則進行數據檢查功能； 3. 提供數據檢查結果展示功能； 4. 提供數據檢查結果分析統(tǒng)計功能。 系統(tǒng) 數據質量檢查 對不同系統(tǒng)之間的相同屬性數據進行一致性進行檢查，實現跨系統(tǒng)數據質量檢查： [功能要求 ] 1. 提供對一致性的檢查規(guī)則進行配置； 2. 提供按照數據一致性檢查規(guī)則進行數據質量檢查功能； 3. 提供數據檢查結果展示功能； 4. 提供數據檢查結果進行分析統(tǒng)計功能； 范 版權所有，注意保密 14 術規(guī)范 據質量預警告警 當發(fā)現數據質量問題，需要及時地將質量問題形成報告，提供相應的預告警信息，便于針對這些預告警信息進行處理。 [功能要求 ] 1. 支持對一定時間段 內的數據質量告警 /預警信息進行列表顯示； 2. 告警 /預警信息應包括數據質量審核問題單相關信息； 3. 針對每條數據質量檢查規(guī)則可以設置是否作為告警 /預警信息出現在告警 /預警界面。 據 質量評估分析 數據質量評估分析是指通過配置數據質量問題分析解決過程中的各項考核指標，對數據質量問題處理情況進行分析，使管理層能以直觀（報表查詢界面）的方式了解通過 [功能要求 ] 1. 支持總量評估功能，以報告模式對連續(xù)幾個周期（或某個固定周期）的需要評估總量的數據質量檢查 /稽核報告（可配置），統(tǒng)計各類錯誤數，從總體上對數據質量的收斂度進行評估 ； 2. 支持源系統(tǒng)數據質量問題評估功能，以報告模式提供按源系統(tǒng)匯總連續(xù)幾個周期（或某個固定周期）的各數據質量問題報告，統(tǒng)計各類錯誤，對各源系統(tǒng)的質量的收斂度進行評估； 3. 支持專項數據質量問題評估功能，根據連續(xù)幾個周期（或某個固定周期）的質量問題報告，以報告模式對重點關注的質量專題，制定專題規(guī)則進行分析并對結果予以評估。 范 版權所有，注意保密 15 術規(guī)范 務規(guī)則檢查 源系統(tǒng)數據質量表現出來的問題，可能是業(yè)務規(guī)則設置、業(yè)務理解或實現的問題，那么對這些問題的修正，需要源系統(tǒng)修改業(yè)務 處理規(guī)則。系統(tǒng)通過提供業(yè)務規(guī)則檢查功能，發(fā)現數據質量問題，對該問題進行解決。 [功能要求 ] 1. 支持業(yè)務規(guī)則設定，能夠隨著業(yè)務的發(fā)展進行擴展； 2. 支持按照業(yè)務規(guī)則對數據進行檢查，并能夠生成檢查報告； 據閥值監(jiān)控 數據閥值監(jiān)控是指 數據在 理過程中，對于抽取、轉換、加載、匯總等環(huán)節(jié)提供閥值監(jiān)控功能；提供環(huán)節(jié)和數據處理方式的不同設定閥值功能，同時根據設定閥值進行監(jiān)控，并顯示監(jiān)控信息。 [功能要求 ] 1. 支持數據閥值的設定，閥值的觸發(fā)點可以設置到不同的環(huán)節(jié)，或者不同的數據處理方式； 2. 支持閥值觸發(fā)點的擴充，以適應監(jiān)控 的需求擴展； 3. 支持閥值的動態(tài)監(jiān)控，能夠實時地顯示監(jiān)控報告。 據質量執(zhí)行 則調度策略 規(guī)則通過規(guī)則調度引擎來調度執(zhí)行，調度引擎可以是 具，也可以是工作流產品或者單獨開發(fā)的程序，根據規(guī)則特點和業(yè)務需要，配置對規(guī)則的調度策略。規(guī)則調度策略：事件策略、時間策略、頻度策略、控制順序策略等。 [功能要求 ] 1. 支持事件策略：只有當某事件發(fā)生時才會調度執(zhí)行某規(guī)則。比如 程對文件 范 版權所有，注意保密 16 術規(guī)范 檢查規(guī)則、記錄檢查規(guī)則的設定。 2. 支持時間策略：某些規(guī)則執(zhí)行耗時長，資源占用量大，可以考慮安排特殊事件予以調度執(zhí)行； 3. 支持頻度策略：重要 數據重要業(yè)務檢查內容，可以安排頻度較高的調用； 4. 支持控制順序策略：某些規(guī)則之間具有調用的先后順序，故需要預先設定。 則執(zhí)行日志 對規(guī)則執(zhí)行結果必須通過日志、報告予以詳盡記錄。 規(guī)則執(zhí)行日志是質量管理文檔化的一部分，主要記錄異常數據的狀況，這些異常數據是質量分析的主要依據。 通過規(guī)則執(zhí)行日志，可以把握數據質量宏觀、微觀、收斂性等各方面情況。比如宏觀上，了解數據質量匯總后的狀況；微觀上，清楚每一個質量問題涉及的記錄；質量收斂性方面，把握前后兩次檢查稽核中錯誤重復出現的記錄數、新增錯誤數、已改正錯誤數，以及錯誤 發(fā)展的趨勢狀況。 [功能要求 ] 1. 支持定義錯誤類型和錯誤代碼：通過錯誤分類和錯誤代碼，可以更好地描述和理解錯誤； 2. 支持定義源表與目標表映射關系：定義源系統(tǒng)表與 統(tǒng)目標表之間的映射關系，便于跟蹤錯誤； 3. 支持定義滿足日志記錄的錯誤表群：每個錯誤必須能記錄到記錄級，并且能詳盡記錄稽核時間、批次等信息。如：執(zhí)行批次表、錯誤匯總表、錯誤記錄表、錯誤比對表等； 4. 支持記錄每次規(guī)則執(zhí)行的匯總信息，作為稽核報告的數據基礎：規(guī)則執(zhí)行結束后，適時對執(zhí)行結果進行匯總記錄，并形成對應執(zhí)行報告。規(guī)則的每次執(zhí)行，都必須有詳盡的記錄， 必須滿足對執(zhí)行結果的分析。 范 版權所有，注意保密 17 術規(guī)范 常通知機制 異常通知機制是指對于數據在處理過程中，對于抽取、轉換、加載、匯總等各個環(huán)節(jié)中產生的異常進行通知功能。 [功能要求 ] 1. 支持處理多種異常的觸發(fā)方式，主要包括數據異常、操作異常等； 2. 支持多種異常通知方式：支持通過瀏覽器方式顯示異常信息，支持通過郵件方式發(fā)送異常信息，支持通過短信方式發(fā)送異常信息。 常數據報告 異常數據報告是指對于數據在 理過程中，對于抽取、整合、加載、匯總等各個環(huán)節(jié)中產生的異常數據提供分類統(tǒng)計功能。 [功能要求 ] 1. 支持按照產品、業(yè)務、時間等多個維度 進行異常數據分類統(tǒng)計和分析； 2. 支持按照產品、業(yè)務、時間等多個維度進行異常數據分類展現功能。 量管理流程 數據質量管理總體上來說，是遵循發(fā)現問題、分析問題、制定解決方案、解決問題的閉環(huán)循環(huán)過程。逐步地提高數據質量。 [功能要求 ] 1. 要求提供流程工具來支持質量管理流程的實現； 2. 支持質量管理流程模板的制定，能夠按照質量問題分類、源系統(tǒng)等屬性進行配置； 3. 支持數據質量管理流程閉環(huán)，保證各種質量問題有對應的處理機制； 4. 要向源系統(tǒng)提供異常數據清單； 5. 支持質量問題發(fā)現、分析、解決、確認的持續(xù) 改進過程； 范 版權所有，注意保密 18 術規(guī)范 6. 提供各個環(huán)節(jié)的監(jiān)控和操作功能。 則庫管理 規(guī)則庫是一系列規(guī)則的集合，每一個規(guī)則的制定都是為了完成一個特定的數據稽核 /檢查任務，通過執(zhí)行規(guī)則可以找出數據質量存在的問題。規(guī)則根據需要而制定，既可以是技術規(guī)則，也可以是業(yè)務規(guī)則；既可以針對數據總量（總量級規(guī)則），也可以針對具體記錄（記錄級規(guī)則）。 [功能要求 ] 1. 支持在統(tǒng)一的模塊中，能夠實現多種業(yè)務規(guī)則、技術規(guī)則的配置； 2. 支持規(guī)則的版本管理。 據修正考核 數據問題是指數據記錄個體的問題，是由于歷史原因、操作失誤、或信息不全等導致的，如： ? 不正確數據： 數據無效或錯誤，違反數據約束規(guī)則、業(yè)務規(guī)則等； ? 不完整數據：某些信息缺失或未填充，雖然不影響源系統(tǒng)正常運轉，但這些信息的缺失會影響 ? 不一致數據：源系統(tǒng)彼此間信息存在沖突和差異，或者同一源系統(tǒng)內部的冗余信息之間存在沖突。 數據問題需在源系統(tǒng)中對問題數據進行補錄、修改，數據問題修正后就能得到改進，避免重復發(fā)生，可提升源系統(tǒng)的數據質量。 夠對源系統(tǒng)數據修正情況進行考核。 [功能要求 ] 1. 支持對不同源系統(tǒng)數據問題修正率的分析與展示。 范 版權所有，注意保密 19 術規(guī)范 據共享域 數據共享域的功能是基于數據整合域所形成的統(tǒng)一數據 視圖，通過集中的數據 /服務提供功能，為各業(yè)務應用系統(tǒng)提供非自有數據的共享，優(yōu)化目前各業(yè)務應用系統(tǒng)間網狀的數據流轉方式，簡化數據共享邏輯，降低數據不一致的風險。數據共享域的功能包括共享配置管理、數據 /服務提供和共享權限控制。 享配置管理 共享配置管理對共享數據的內容和共享接口規(guī)則進行配置。 [功能要求 ] 1. 支持對使用共享數據的系統(tǒng)范圍進行配置，定制對其他系統(tǒng)提供的接口數據的數據結構和語義描述； 2. 支持對共享數據訪問頻率和訪問允許時間段進行配置管理； 3. 支持對數據直接提供、數據服務提供、界面集成等各種共享數據的發(fā)布 方式的配置管理。 據 /服務提供 據庫物理共享、接口表、視圖、數據高級復制等技術手段向外部系統(tǒng)直接提供數據。 [功能要求 ] 1. 支持通過服務調用實現 跨平臺應用程序之間 的 應用到應用 (成。 包括 應用程序接口 ( 端方法調用 (面向消息的中間件以及 務等多 種技術 手段； 2. 要求提供數據服務定義、數據服務目錄、服務參數定義的功能； 3. 支持業(yè)務應用系統(tǒng)直接 集成 統(tǒng)的界面 ，以 建立一 些 跨 系統(tǒng)的綜合應用 。 在界面構件的合理規(guī)劃和設計下，通過界面集成可以提高開發(fā) 部署效率、提高構件的重用性、有利于系統(tǒng)的健壯性和穩(wěn)定性。 范 版權所有，注意保密 20 術規(guī)范 享權限控制 作為企業(yè)運營數據的共享中心， 是，不同的業(yè)務應用系統(tǒng)所需訪問的數據內容不同，這就要求根據共享數據的 制各個業(yè)務應用系統(tǒng)對共享數據的訪問權限。 [功能要求 ] 1. 支持共享域中提供的數據和數據服務的授權訪問機制，支持對用戶 /角色權限的定制和對數據 /數據服務的使用權限的限制； 2. 支持訪問的日志記錄機制。 據應用域 數據應用域通過基于 供查詢、固定報表、動態(tài)報表和批量計算 等應用。 據查詢 數據查詢是一種條件不固定、不可預見、格式靈活的動態(tài)查詢功能，是按需查詢，與預定義的常用查詢相對。用戶可以選擇任意維度（一或多個）進行查詢，它的使用人員無需了解數據庫和 需通過系統(tǒng)提供的各種向導式界面和聯(lián)機幫助，按照業(yè)務邏輯規(guī)則即可快速、簡潔的定義查詢需求，系統(tǒng)自動完成連接操作、條件定義等 [功能要求 ] 1. 支持客戶統(tǒng)一視圖查詢功能； 2. 等。 定報表 固定報表是基于指標型的報表，對于實時性要求高的報表采用即時生成的模式，而對于實時性要求不高的報表，基于性能影響和資源開 銷兩方面的考慮，應采用后臺通過作業(yè) 范 版權所有，注意保密 21 術規(guī)范 的方式先自動生成，在需要時可以立即展現結果。報表展現應支持多種圖表方式，如餅圖、柱圖、線圖等；支持報表數據導出為其他文件類型，如 持報表精確打印控制。 [功能要求 ] 1. 支持客戶品牌統(tǒng)計； 2. 企業(yè)數據應用門戶的部分報表 ； 3. 支持 4. 等。 算應用 此可以支撐跨系統(tǒng)的數據計算方面的業(yè)務要求。但是 是專注于數據方面的計算過程。 [功能要求 ] 1. 支持客戶 評價的計算； 2. 支持客戶品牌的標簽； 3. 支持代理商等級計算； 4. 支持代理商傭金計算； 5. 等。 態(tài)報表 基于 以利用報表工具對數據進行各主題性的統(tǒng)計。 [功能要求 ] 1. 報表參數化的定制，針對報表主題可以進行指定條件的內容定制，使管理人員能根據自己的需要生成各種報表，提高應用支撐的靈活性； 2. 支持市場計劃類的統(tǒng)計與監(jiān)控； 3. 支持營銷類活動統(tǒng)計； 范 版權所有，注意保密 22 術規(guī)范 4. 支持商機類分析統(tǒng)計與監(jiān)控； 5. 支持訂單統(tǒng)計與監(jiān)控； 6. 支持銷售活動統(tǒng)計； 7. 支持 8. 支持合作伙伴考評； 9. 支持客戶用戶數、產品使用量、業(yè)務收入、欠費、競 爭統(tǒng)計； 10. 等。 共管理域 公共管理域是屬于系統(tǒng)公用的功能，作為其他功能模塊的支撐。 包括三塊功能： 1. 系統(tǒng)管理：系統(tǒng)管理是為保證 統(tǒng)正常運行所需要的基本功能，主要包括系統(tǒng)用戶管理、角色管理、權限管理、組織管理、備份與恢復、系統(tǒng)日志管理等方面。 2. 系統(tǒng)監(jiān)控：系統(tǒng)監(jiān)控提供一種通用的機制與服務，監(jiān)視組成系統(tǒng)各部件的運行狀態(tài)，當發(fā)生異常時能夠主動地向特定目標通知異常。 3. 元數據管理： 數據管理為用戶正確理解和操作數據提供支撐，它貫穿 行和維護的整個生命周期。 統(tǒng)管理 統(tǒng)用戶管理、權限管理、角色管理等，確保 統(tǒng)用戶管理 用戶是指授權訪問 戶管理用來記錄用戶相關信息，如賬戶、密碼等。用戶要擁有對某個主題的操作權限，必須通過角色去關聯(lián)。 范 版權所有，注意保密 23 術規(guī)范 1. 用戶名稱（ 全企業(yè)唯一，缺省為員工工號； 2. 用戶的初始密碼由安全管理員設置，統(tǒng)一在系統(tǒng)管理的個人資料錄入中完成； 3. 安全管理員能夠修改用戶的密碼，統(tǒng)一在系統(tǒng)管理的個人資料修改中完成； 4. 各級管理員在本人權限范圍內能夠對用戶進行增加、刪除、修改等操作； 5. 各級管理員在本人權限范圍 內能夠對用戶密碼進行修改； 6. 用戶缺省能夠修改本人的密碼；用戶首次登錄后，系統(tǒng)提示用戶必須進行密碼的修改； 7. 對密碼的要求： ； ? 長度要求： 6 1. 創(chuàng)建角色：當用戶所需的角色不在系統(tǒng)原有 角色中時，可由系統(tǒng)管理員創(chuàng)建新的角色，以滿足用戶的需要； 2. 授予用戶角色：當用戶建立好后，要給用戶授予適當的角色獲取一定的權限； 3. 修改用戶角色：可以對用戶的角色進行重新分配，即修改。角色具有以下主要屬性： ? 編號：在系統(tǒng)中唯一； ? 名稱：在系統(tǒng)中唯一； ? 注釋：描述角色信息。 4. 可以刪除角色； 5. 可以根據角色進行查詢統(tǒng)計。 限管理 權限指訪問 統(tǒng)的用戶根據角色獲得對系統(tǒng)某些功能的操作，例如讀、寫、修改和刪除等功能。 授權管理的基本操作：進行系統(tǒng)管理員身份認證后，為角色分配相應的權限，修改角色的權限等操作，相關的 操作結果存入角色 _權限表中；并可以在模塊對象發(fā)生變化后，創(chuàng)建對象權限，相關的操作結果存入權限表中。 1. 能夠創(chuàng)建對象權限：當增加系統(tǒng)對象時，應創(chuàng)建該對象的權限； 2. 能夠分配角色權限：給不同的角色分配相應的權限； 3. 能夠修改角色權限：根據需要，可以修改角色的權限； 4. 權限設置必須由被授權的系統(tǒng)管理員完成，管理員不能設置大于自身權限的權 范 版權所有，注意保密 25 術規(guī)范 限；權限管理采用分級的管理方式。上一級可以設置下一級的管理權限； 5. 權限具有以下主要屬性： ? 編號，在系統(tǒng)中唯一； ? 名稱，在系統(tǒng)中唯一； ? 注釋，描述權限信息。 6. 權限、角色、用戶之 間具有如下關系： 1）用戶與角色的多對多關系 一個用戶可以隸屬于多個角色，一個角色組也可擁有多個用戶，用戶角色就是用來描述它們之間隸屬關系的對象。用戶通過角色關聯(lián)所擁有對某種資源的權限。 2）權限與角色的多對多關系 權限是一個二元組關系，包括對象和對對象的操作。對象包括用戶操作的系統(tǒng)模塊和數據對象，通過權限與角色的關系來設定角色操作對象的權限。一個角色可以擁有多個權限，同樣一個權限可分配給多個角色。 織管理 組織機構包括省、市、縣（區(qū)）各級各類部門、班、組等。組織管理完成對其按組織結構進行統(tǒng)一編碼和維護。 1. 系統(tǒng)按照組織結構對省、市、縣（區(qū)）各級各類部門、班、組等進行統(tǒng)一編碼，按人員的組織結構從上往下進行管理，具體編碼方式和位長可根據實際情況進行編排； 2. 具有相應權限的用戶可對省、市、縣（區(qū)）各級各類部門、班、組等進行編碼并進行增加、修改、刪除等操作，并對上下級關系等進行增加、修改、刪除； 3. 系統(tǒng)支持組織機構的樹狀層次管理，一個組織機構可以有多個子節(jié)點； 范 版權所有，注意保密 26 術規(guī)范 4. 可以對編碼和組織結構進行查詢統(tǒng)計。 份與恢復 統(tǒng)中的數據按既定的策略備份到指定介質上。 期或不定期的系統(tǒng)備份，對可能出現的系統(tǒng)故障或錯誤操作有足夠的恢復能力。 數據備份系統(tǒng)應以不影響 質損壞、人為誤操作等原因引起數據丟失后，備份系統(tǒng)應能提供快速的數據恢復手段。 1. 數據備份要求 ? 數據 備份包括操作系統(tǒng)備份、應用系統(tǒng)備份和業(yè)務數據備份； ?