《把一切都監(jiān)控起來(轉(zhuǎn))》由會員分享，可在線閱讀，更多相關(guān)《把一切都監(jiān)控起來(轉(zhuǎn))（31頁珍藏版）》請在裝配圖網(wǎng)上搜索。
1、單擊此處編輯母版標(biāo)題樣式,,單擊此處編輯母版文本樣式,,第二級,,第三級,,第四級,,第五級,,*,,*,把一切都監(jiān)控起來,,---,思路,vs,,技術(shù),vs,,管理,,互聯(lián)網(wǎng)行業(yè)現(xiàn)狀,運營網(wǎng)絡(luò)環(huán)境錯綜復(fù)雜、,,不同操作系統(tǒng),/,瀏覽器及版本、不同網(wǎng)絡(luò)速度,,大量服務(wù)器,,測試環(huán)境跟外網(wǎng)差異大,,敏捷開發(fā)、快是生存的根本,,測試與開發(fā)人力比例很大,,測試團隊價值如何最大化？,提問：,,團隊自動化測試,ROI,目前是正值還是負(fù)值？,,質(zhì)量與效率是否有清晰度量指標(biāo)和平衡點？,可能的現(xiàn)狀？,,明知版本差、仍然要發(fā)布,,辛苦自動化測試投入，一個產(chǎn)品變更，輕松抹殺所有產(chǎn)出,,痛苦的外網(wǎng)問題定位，測試被頻
2、繁挑戰(zhàn),思考,/,挑戰(zhàn),,敏捷開發(fā)下，如何更好體現(xiàn)測試的聲音和價值？,,快速版本發(fā)布下，如何仍然把質(zhì)量持續(xù)提升？,,除了測試（包括工具開發(fā)）， 測試團隊還可以做什么,?,大部分測試團隊的工作范疇,自動化測試（,B/S,、,C/S,、后臺）,,平臺,/,框架建設(shè),,安全測試,,黑盒測試,,白盒,/,單元,/,集成,/,灰盒測試,,性能測試（前后臺）,,用戶體驗測試,,兼容性測試,,。。。。,,這些工作呢？,配置管理（代碼）變更和規(guī)范性,,開發(fā),/,編譯,/,測試環(huán)境穩(wěn)定性,,外網(wǎng)發(fā)布部署過程質(zhì)量,,外網(wǎng)產(chǎn)品運營質(zhì)量,,IDC,運營質(zhì)量,,外網(wǎng)環(huán)境質(zhì)量,僅僅是開發(fā)和運營支持人員的責(zé)任？,互聯(lián)網(wǎng)行業(yè)
3、測試范疇新定義,可用性測試,,,監(jiān)控測試,監(jiān)控測試定義,規(guī)律性比對的自動化測試,+,不確定性下檢測預(yù)警,+,人腦智能分析,,通過各種不同工具和統(tǒng)一的測試平臺從多個緯度給產(chǎn)品研發(fā)運營質(zhì)量輸出錯誤報告和預(yù)警分析,讓監(jiān)控型測試工作無所不在！,Testing Monitor Scope,,代碼規(guī)范性,高危函數(shù)代碼,目錄,/,文檔,Makefile,靜態(tài)代碼檢測,SCM,變更,分支基線,代碼被評審度,,Base lib,變更,Build,監(jiān)控,產(chǎn)品打包規(guī)范性,配置標(biāo)準(zhǔn)化監(jiān)控,部署變更監(jiān)控,發(fā)布一致性監(jiān)控,差異測試監(jiān)控,環(huán)境穩(wěn)定度監(jiān)控,,外網(wǎng)黑盒性能,打開速度,服務(wù)器運行,Coredump/crash,網(wǎng)
4、絡(luò)狀況,程序上下線,數(shù)據(jù)正確性,返回碼,代碼,環(huán)境,運營,,缺陷進展監(jiān)控,項目,MileStone,Testing Plan,Task Status,流程,監(jiān)控測試下測試開發(fā)重點工作,持續(xù)集成平臺,,,依托在持續(xù)集成平臺下的各種測試工具,,,讓工具自動化執(zhí)行起來！,一些測試解決方案技術(shù)和原理介紹,基于,SVN,的二次開發(fā)封裝,充分利用,SVN,的,hook,技術(shù),,讓開發(fā),CI,時更有樂趣和挑戰(zhàn)壓力,,Pre-commit,和,post-commit,利用,,Html/CSS/JS,給出變更的差異報告,,Dom tree,變更的提醒和分析,,CI,后的靜態(tài)檢測,,C/C++,代碼：推薦開源,c
5、ppcheck,工具,,高危險函數(shù)掃描分析預(yù)警,,CI,前的編碼規(guī)范性、注視率、版本變更說明檢測,監(jiān)控結(jié)果或錯誤郵件推送,,測試結(jié)果入持續(xù)集成數(shù)據(jù)庫,一些開源工具推薦,動態(tài)內(nèi)存泄漏測試和監(jiān)控,,基于開源,Valgrind,工具的二次封裝開發(fā),+,持續(xù)集成平臺,(,執(zhí)行調(diào)度管理,+,歷史結(jié)果存儲,+,度量）,,一些開源工具推薦,(,續(xù)）,靜態(tài)內(nèi)存,/,資源泄漏監(jiān)控,,基于開源,cppcheck,工具的二次封裝開發(fā),+,持續(xù)集成平臺,,一些開源工具推薦,(,續(xù)）,代碼覆蓋率監(jiān)控,,基于開源,gcov/lcov,工具的二次封裝和開發(fā),+,持續(xù)集成平臺,,一些開源工具推薦,(,續(xù)）,差異化比對工具,,
6、Python,的,difflib,工具包，可以容易實現(xiàn)友好界面代碼比對分析和支持,,與自動化部署系統(tǒng)結(jié)合起來，部署完成后提供差異報告,,安全自動化監(jiān)控,—,測試階段,SDL,思路,測試平臺管理,CGI,等相關(guān)資源,,明確,get,或,post,參數(shù),,結(jié)合,XSS/CSRF,等安全漏洞攻擊原理給與,input/output,的自動化結(jié)果分析,,納入持續(xù)集成平臺統(tǒng)一調(diào)度執(zhí)行和管理和度量,B/S,前臺優(yōu)化監(jiān)控測試,讓前臺優(yōu)化不再只是開發(fā)工作，測試?yán)^續(xù)延伸到產(chǎn)品的外網(wǎng)運營,,把返回碼（,404/5XX,）、,cache,、壓縮、,JS,等混淆、,http,請求次數(shù)、打開速度、路由、,ping,速、打
7、開耗時等統(tǒng)統(tǒng)以測試手段通過,IDC,間互訪實現(xiàn)監(jiān)控和問題定位分析,【,讓測試?yán)^續(xù)延伸,】,,通過,IDC,間的請求互訪支持！,IDC2,IDC1,IDC3,B/S,前臺優(yōu)化監(jiān)控測試,—,技術(shù)實現(xiàn),Ruby + httpwatch + watir +,優(yōu)化分析工具,+,持續(xù)集成平臺,【,僅支持,IE】,,Selenium + Fiddler + Python/Ruby +,優(yōu)化分析工具,+,持續(xù)集成平臺,【,可支持多瀏覽器,】,,最佳的性能測試方案是？,問題：日常測試工作開展，你的性能測試結(jié)果對外網(wǎng)產(chǎn)品運行指導(dǎo)價值有多大？,,100%,價值參考？,,80%,價值參考？,,不到,50%,價值參考
8、？,價值參考性不強的原因是啥？,測試環(huán)境,vs,外網(wǎng)環(huán)境,,外網(wǎng)的訪問毛刺,,持續(xù)攀升的峰值訪問次數(shù),,最佳模式下突發(fā)網(wǎng)絡(luò)故障,,產(chǎn)品架構(gòu)容災(zāi)、柔性設(shè)計不夠,,。。。。,思考：,業(yè)務(wù)訪問頻率是幾十萬次,/,秒場景下，一次功能探測測試結(jié)果代表了啥？,,一天里每秒執(zhí)行,1,次后的測試結(jié)果又有何作用可分析和參考？,新的性能測試方案,/,思路：,同前臺性能優(yōu)化測試的部署執(zhí)行思路,,在,IDC,間互相部署測試平臺和執(zhí)行,agent,,探測性,+,自動化測試用例執(zhí)行,,驗證響應(yīng)時間、超時率、錯誤率,,針對性做閥值分析并短信等方式告警,最好的運營支持工具,+,最好的性能檢測,/,監(jiān)測利器！,可測試和監(jiān)控問題
9、：,功能邏輯錯誤,,服務(wù)器性能,/,負(fù)載,,網(wǎng)絡(luò)問題（網(wǎng)絡(luò)不通、網(wǎng)絡(luò)波動、網(wǎng)絡(luò)丟包）,,架構(gòu)合理性,,。。。,,開發(fā)、測試、運維終于可以睡安穩(wěn)覺！,,運營環(huán)境下的自動化測試監(jiān)控,接入層（,CGI/HTML,）,后臺,Server,DB/File Cache,Database,OS,海量服務(wù)產(chǎn)品簡單架構(gòu)層級,HTTP Client Auto Test tool,TCP,發(fā)包,+,自定義協(xié)議結(jié)構(gòu),Test Tool,快慢,DB,查詢,Test Tool,Disk/,進程,/CPU/coredump Test Tool,,測試,/,監(jiān)控平臺設(shè)計,,,,用例管理和制作,測試數(shù)據(jù)管理,腳本語言支持,任務(wù)
10、管理和調(diào)度,任務(wù)執(zhí)行,/,控制,結(jié)果上報,,任務(wù)執(zhí)行,/,控制,結(jié)果上報,,任務(wù)執(zhí)行,/,控制,結(jié)果上報,統(tǒng)計分析,配置管理,告警推送,結(jié)果展示,,測試平臺,·,統(tǒng)計平臺,·,自動化監(jiān)控成果,,再談持續(xù)集成,規(guī)則定義,,工具開發(fā)規(guī)范,,工具配置管理,,任務(wù)定制、管理、調(diào)度和執(zhí)行,,工具測試結(jié)果統(tǒng)計、度量,,監(jiān)控型測試開展的最好支持平臺,輕量靈活化、插件化接口、集中管理和執(zhí)行約束,測試價值的新定位,質(zhì)量、效率、速度、成本,過去團隊發(fā)生的一些花絮（真實案例）,案例,1,： 一個體驗界面，只需前臺添加幾行,JS,代碼，體驗便差異非常大， 具體測試人員卻提不出改進方案來,,案例,2,： 農(nóng)場的偷標(biāo)記不正確顯示率很高，開發(fā)和測試都無從解決,,案例,3,： 魔法卡片需求文檔推出后，被測試推翻重做,我的鑒語：技術(shù)決定未來、沒有技術(shù)沒有未來,單純聚焦黑盒測試，測試憑啥想得到產(chǎn)品、開發(fā)和其他團隊的尊重和支持？,,謝謝,
把一切都監(jiān)控起來(轉(zhuǎn))
