《數(shù)據(jù)化運(yùn)維構(gòu)筑智能運(yùn)維能力》由會員分享,可在線閱讀,更多相關(guān)《數(shù)據(jù)化運(yùn)維構(gòu)筑智能運(yùn)維能力(28頁珍藏版)》請在裝配圖網(wǎng)上搜索。
1、
智能運(yùn)維
數(shù)據(jù)化運(yùn)維構(gòu)筑智能運(yùn)維能力
K運(yùn)維進(jìn)化
2、 數(shù)據(jù)倉庫
3、 知識圖譜
4、 智能監(jiān)控
5、運(yùn)籌優(yōu)化
HUmanOps
scr i ptops
devops
AI ops
DATAOps
要做AI,先做Bl
數(shù)據(jù)規(guī)范與工具
數(shù)據(jù)分層
DWS/ADS
DWD
ODS
數(shù)據(jù)工具
數(shù)據(jù)地圖
數(shù)據(jù)血緣
開發(fā)平臺
DataOps之架構(gòu)
數(shù)據(jù)應(yīng)用
運(yùn)籌優(yōu)化
運(yùn)維捜索
業(yè)務(wù)數(shù)據(jù)化
排布優(yōu)化性能優(yōu)化資源調(diào)度
知識圖譜+ES Chatops
全鏈
2、路診斷健康分紅黑榜
智能監(jiān)控
系統(tǒng)自愈
數(shù)據(jù)可視化
異常檢測根因分析故障預(yù)測
感知 決策 執(zhí)行
支持多數(shù)據(jù)源+ Grafana
數(shù)據(jù)倉庫
公共數(shù)據(jù)
業(yè)務(wù)數(shù)據(jù)
公共元數(shù)據(jù)公共運(yùn)行時
業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)運(yùn)行時
認(rèn)知運(yùn)維數(shù)據(jù)
服務(wù)器
應(yīng)用
日志
機(jī)房
交換機(jī)
集群
事件
指標(biāo)
(元數(shù)據(jù))
維度
認(rèn)知運(yùn)維數(shù)據(jù)
數(shù)據(jù)倉庫模型選擇-> 維度模型
+
3、
(運(yùn)行時)
度量
服務(wù)器交換機(jī)集群應(yīng)用 機(jī)房
日志指標(biāo)事件
分層設(shè)計
解決:
數(shù)據(jù)加工難 重復(fù)勞動
出錯概率高
k
DWS/ADS層(匯總/應(yīng)用級數(shù)據(jù))
DWD層(明細(xì)層)
ODS層(度量)DIM層(維度)
?ODS (Operational Data Store)
如從DB、API、日志等系統(tǒng)抽取過來的數(shù)據(jù)
?DIM (Dimension)
如機(jī)器維度表 監(jiān)控部署維度表等
?DWD (Data Warehouse Detail)
基于ODS層,按照業(yè)務(wù)領(lǐng)域進(jìn)行整合的明細(xì)數(shù)據(jù)層
?DWS (Da
4、ta Warehouse Summary)
基于DWD的統(tǒng)計層,一般根據(jù)DWD的某個維度來統(tǒng)計
?ADS (Application Data Service)
基于DWS、DWD的應(yīng)用展示層
如何用阿里云技術(shù)棧構(gòu)建運(yùn)維數(shù)倉?
DataWorks + MaxCompte
MaxCompte
離線數(shù)倉
離線存儲 OSS…
實時數(shù)倉
實時存儲 Log Service RDS
StreamCompute
AnalyticDB TSDB...
LogService 數(shù)據(jù)采集
知識圖譜+搜索二索引運(yùn)維世界
圖數(shù)據(jù)寫入El sticsearch
搜索+釘釘二
5、Chatops
對話即搜索
服務(wù)狀態(tài)
運(yùn)維操作
命令執(zhí)行
事件
指標(biāo)異常檢測
與歷史比較 與同類比較
原始指標(biāo)[=> 預(yù)處理&象征抽取匚二> 算法檢測匚二> 結(jié)果抑制
單個or多個指標(biāo)(=> DBSCAN匚二〉異常結(jié)果
如何發(fā)現(xiàn)日志異常?
運(yùn)維之“運(yùn)”-> 運(yùn)籌
運(yùn)維何領(lǐng)域存在較多的規(guī)劃問題,需要用運(yùn)籌優(yōu)化的方法來解決
-多集群的容量如何均衡
-如何為用戶分配合理的配額
-如何優(yōu)化應(yīng)用間傳輸流量
元數(shù)據(jù)
運(yùn)行時
服務(wù)器
網(wǎng)絡(luò)
應(yīng)用???
日志
指標(biāo)事件
運(yùn)維之“運(yùn)”-> 運(yùn)籌
運(yùn)維何領(lǐng)域存在較多的規(guī)劃問題,需要用運(yùn)籌優(yōu)化的方法來解決
-多集群的容量如何均衡
-如何為用戶分配合理的配額
-如何優(yōu)化應(yīng)用間傳輸流量
元數(shù)據(jù)
運(yùn)行時
服務(wù)器
網(wǎng)絡(luò)
應(yīng)用???
日志
指標(biāo)事件
知識圖譜
數(shù)據(jù)倉庫
回顧
DataOps
智能監(jiān)控
運(yùn)籌優(yōu)化