《數(shù)據(jù)化運維構(gòu)筑智能運維能力》由會員分享,可在線閱讀,更多相關(guān)《數(shù)據(jù)化運維構(gòu)筑智能運維能力(28頁珍藏版)》請在裝配圖網(wǎng)上搜索。
1、
智能運維
數(shù)據(jù)化運維構(gòu)筑智能運維能力
K運維進化
2、 數(shù)據(jù)倉庫
3、 知識圖譜
4、 智能監(jiān)控
5、運籌優(yōu)化
HUmanOps
scr i ptops
devops
AI ops
DATAOps
要做AI,先做Bl
數(shù)據(jù)規(guī)范與工具
數(shù)據(jù)分層
DWS/ADS
DWD
ODS
數(shù)據(jù)工具
數(shù)據(jù)地圖
數(shù)據(jù)血緣
開發(fā)平臺
DataOps之架構(gòu)
數(shù)據(jù)應用
運籌優(yōu)化
運維捜索
業(yè)務(wù)數(shù)據(jù)化
排布優(yōu)化性能優(yōu)化資源調(diào)度
知識圖譜+ES Chatops
全鏈
2、路診斷健康分紅黑榜
智能監(jiān)控
系統(tǒng)自愈
數(shù)據(jù)可視化
異常檢測根因分析故障預測
感知 決策 執(zhí)行
支持多數(shù)據(jù)源+ Grafana
數(shù)據(jù)倉庫
公共數(shù)據(jù)
業(yè)務(wù)數(shù)據(jù)
公共元數(shù)據(jù)公共運行時
業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)運行時
認知運維數(shù)據(jù)
服務(wù)器
應用
日志
機房
交換機
集群
事件
指標
(元數(shù)據(jù))
維度
認知運維數(shù)據(jù)
數(shù)據(jù)倉庫模型選擇-> 維度模型
+
3、
(運行時)
度量
服務(wù)器交換機集群應用 機房
日志指標事件
分層設(shè)計
解決:
數(shù)據(jù)加工難 重復勞動
出錯概率高
k
DWS/ADS層(匯總/應用級數(shù)據(jù))
DWD層(明細層)
ODS層(度量)DIM層(維度)
?ODS (Operational Data Store)
如從DB、API、日志等系統(tǒng)抽取過來的數(shù)據(jù)
?DIM (Dimension)
如機器維度表 監(jiān)控部署維度表等
?DWD (Data Warehouse Detail)
基于ODS層,按照業(yè)務(wù)領(lǐng)域進行整合的明細數(shù)據(jù)層
?DWS (Da
4、ta Warehouse Summary)
基于DWD的統(tǒng)計層,一般根據(jù)DWD的某個維度來統(tǒng)計
?ADS (Application Data Service)
基于DWS、DWD的應用展示層
如何用阿里云技術(shù)棧構(gòu)建運維數(shù)倉?
DataWorks + MaxCompte
MaxCompte
離線數(shù)倉
離線存儲 OSS…
實時數(shù)倉
實時存儲 Log Service RDS
StreamCompute
AnalyticDB TSDB...
LogService 數(shù)據(jù)采集
知識圖譜+搜索二索引運維世界
圖數(shù)據(jù)寫入El sticsearch
搜索+釘釘二
5、Chatops
對話即搜索
服務(wù)狀態(tài)
運維操作
命令執(zhí)行
事件
指標異常檢測
與歷史比較 與同類比較
原始指標[=> 預處理&象征抽取匚二> 算法檢測匚二> 結(jié)果抑制
單個or多個指標(=> DBSCAN匚二〉異常結(jié)果
如何發(fā)現(xiàn)日志異常?
運維之“運”-> 運籌
運維何領(lǐng)域存在較多的規(guī)劃問題,需要用運籌優(yōu)化的方法來解決
-多集群的容量如何均衡
-如何為用戶分配合理的配額
-如何優(yōu)化應用間傳輸流量
元數(shù)據(jù)
運行時
服務(wù)器
網(wǎng)絡(luò)
應用???
日志
指標事件
運維之“運”-> 運籌
運維何領(lǐng)域存在較多的規(guī)劃問題,需要用運籌優(yōu)化的方法來解決
-多集群的容量如何均衡
-如何為用戶分配合理的配額
-如何優(yōu)化應用間傳輸流量
元數(shù)據(jù)
運行時
服務(wù)器
網(wǎng)絡(luò)
應用???
日志
指標事件
知識圖譜
數(shù)據(jù)倉庫
回顧
DataOps
智能監(jiān)控
運籌優(yōu)化