云計算技術(shù)與技術(shù)選型分析

《云計算技術(shù)與技術(shù)選型分析》由會員分享，可在線閱讀，更多相關(guān)《云計算技術(shù)與技術(shù)選型分析（14頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、云計算技術(shù)與技術(shù)選型分析 云計算技術(shù)與技術(shù)選型分析 本文關(guān)鍵詞：技術(shù)，選型，計算，分析 云計算技術(shù)與技術(shù)選型分析 本文簡介：一、前言目前公安工作在視頻應(yīng)用方面，仍普遍采用人工視頻處理、人工視頻檢索、人工視頻識別分析的傳統(tǒng)模式，面對爆炸性增長的視頻監(jiān)控資源，查找難、采集難、傳輸慢、解碼難、分析難等瓶頸問題愈發(fā)明顯，人海戰(zhàn)術(shù)已經(jīng)無法處理、應(yīng)用海量監(jiān)控視頻資源。為此，采用“云計算”等先進(jìn)技術(shù)，開展應(yīng)對大范圍、高容量視頻監(jiān)控圖像 云計算技術(shù)與技術(shù)選型分析 本文內(nèi)容： 一、前言 目前公安工作在視頻應(yīng)用方面，仍普遍采用人工視頻處理、人工視頻檢索、人工視頻識別分析的傳統(tǒng)模式，面

2、對爆炸性增長的視頻監(jiān)控資源，查找難、采集難、傳輸慢、解碼難、分析難等瓶頸問題愈發(fā)明顯，人海戰(zhàn)術(shù)已經(jīng)無法處理、應(yīng)用海量監(jiān)控視頻資源。為此，采用“云計算”等先進(jìn)技術(shù)，開展應(yīng)對大范圍、高容量視頻監(jiān)控圖像綜合的應(yīng)用和管理，進(jìn)行視頻處理、管理、應(yīng)用的綜合服務(wù)平臺技術(shù)研究，對海量視頻資源進(jìn)行自動化、智能化分析處理，為警務(wù)實戰(zhàn)工作提供針對性、高附加值視頻圖像綜合應(yīng)用服務(wù)，提高視頻處理能力和效率已經(jīng)勢在必行。 二、視頻圖像應(yīng)用中所面臨的問題 視頻圖像應(yīng)用中面臨的突出矛盾和難點主要有以下幾個方面： （一）快速增加的視頻監(jiān)控圖像與效率低下的人工檢索應(yīng)用方式之間的矛盾 隨著視頻監(jiān)控探頭數(shù)量的

3、增加、密度的提高和種類的豐富，視頻監(jiān)控“天網(wǎng)”逐漸覆蓋了幾乎所有重點區(qū)域和公共場所，利用視頻監(jiān)控拼接串聯(lián)，還原犯罪嫌疑人整個行為軌跡鏈條，已成為目前案件偵辦過程中的重要技術(shù)手段和可信的原始證據(jù)。但是，監(jiān)控探頭的增加也導(dǎo)致一起案件所涉及到的視頻資源總量呈爆炸性增加，目前主要依靠人工檢索、分析的應(yīng)用模式導(dǎo)致視頻分析、應(yīng)用能力的提高遠(yuǎn)遠(yuǎn)落后于監(jiān)控探頭的建設(shè)速度，“視頻在，找不到”、“找得到，找太久”、“服務(wù)在，成本大”、“看不清，用不上”等問題非常突出，嚴(yán)重影響了監(jiān)控圖像資源在實戰(zhàn)中的應(yīng)用效果。 （二）監(jiān)控視頻價值密度低、應(yīng)用單一 由于視頻分析主要依靠人力，目前監(jiān)控視頻應(yīng)用比較單一，主要

4、服務(wù)于案件倒查挖掘線索和重大活動現(xiàn)場應(yīng)急指揮等，對治安管理、巡邏防控、基礎(chǔ)工作等其他公安業(yè)務(wù)工作，尤其在大區(qū)域范圍內(nèi)的視頻管理與應(yīng)用中，缺乏視頻資源提取、組織、管理的有效工具和手段，“視頻多、挖掘淺、難應(yīng)用”現(xiàn)象突出，大量的有價值視頻資源逐漸沉淀、覆蓋。 （三）管理成本居高不下 傳統(tǒng)的視頻資源分級分散存儲模式，缺乏海量視頻資源組織管理與集中的應(yīng)用平臺，資源分散、尋找相應(yīng)視頻資源困難，視頻標(biāo)準(zhǔn)不統(tǒng)一導(dǎo)致跨區(qū)域分析、處理難度高、資源消耗巨大，給海量視頻資源的快速識別、處理和大規(guī)模并發(fā)應(yīng)用造成了極大的阻礙，推高了整體視頻資源應(yīng)用的成本，擴(kuò)展難、維護(hù)貴、安全保障難等問題越來越突出。

5、三、架構(gòu)設(shè)計 （一）技術(shù)目標(biāo) 本文提出的基于分布式云計算技術(shù)的視頻圖像綜合應(yīng)用技術(shù)，主要針對日常治安巡控、重特大案件聯(lián)合偵辦以及視頻特征線索自動識別、采集等警務(wù)工作需求，利用公安主導(dǎo)建設(shè)的聯(lián)網(wǎng)資源以及.單位和個體自建的視頻資源，通過對視頻進(jìn)行結(jié)構(gòu)化描述，對視頻圖像進(jìn)行智能化分析處理，為各業(yè)務(wù)警種提供視頻調(diào)閱、分析、處理與應(yīng)用服務(wù)，提高視頻監(jiān)控圖像的應(yīng)用效率、為全警開展視頻圖像應(yīng)用提供技術(shù)支持。 系統(tǒng)采取SOA架構(gòu)和“平臺插件”模式，實現(xiàn)對視頻資源的整合和對各類視頻處理模塊兼容，通過靈活配置的視頻處理工具，滿足日常視頻巡邏防控、大要案偵辦和培訓(xùn)教學(xué)等各類復(fù)雜應(yīng)用場景；系統(tǒng)采用“

6、云計算”技術(shù)的分布式并行數(shù)據(jù)庫、分布式文件存儲技術(shù)、全文標(biāo)簽索引和全文檢索技術(shù)實現(xiàn)視頻應(yīng)用系統(tǒng)業(yè)務(wù)事物處理、海量視頻文件存儲、視頻自動化分析的結(jié)構(gòu)化標(biāo)注智和智能檢索；通過云計算技術(shù)的引入滿足系統(tǒng)各層次的線性擴(kuò)展需求，降低管理成本、保障信息安全。 （二）工作流分析 視頻綜合服務(wù)平臺的工作流程分為實時在線分析模式和事后離線分析模式。其中，實時分析模式輸入實時視頻流進(jìn)行智能分析、視頻布防、視頻布控、視頻追逃分析，返回報警信息給各業(yè)務(wù)警種，主要用于具備視頻偵控預(yù)案的日常治安防控應(yīng)用；事后離線分析模式輸入視頻錄像或圖片，進(jìn)行視頻轉(zhuǎn)碼、濃縮、分析、檢索以及處理等視頻偵查服務(wù)，可用于各類視頻線索

7、的深度分析、串并、關(guān)聯(lián)。 （三）整體結(jié)構(gòu)設(shè)計 根據(jù)功能需求，平臺可以分成基礎(chǔ)視頻庫、視頻資源庫、應(yīng)用平臺三個部分。原始視頻資源通過視頻監(jiān)控平臺和離線采集等方式進(jìn)入基礎(chǔ)視頻庫，作為原始視頻素材，通過平臺集成的各類視頻處理第三方工具對視頻進(jìn)行實時處理后存入視頻資源庫，對視頻資源進(jìn)行特征采集、結(jié)構(gòu)化、標(biāo)簽化。各類視頻處理工具經(jīng)過評估測試后掛接在應(yīng)用平臺中，對終端用戶、外部系統(tǒng)提供應(yīng)用服務(wù)和接口服務(wù)。 一個典型的視頻監(jiān)控圖像綜合應(yīng)用服務(wù)平臺硬件、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可以通過圖2表示。系統(tǒng)采用異構(gòu)融合的體系結(jié)構(gòu)，充分利用高性能CPU與GPU處理能力，面向高性能計算與事務(wù)處理的多路結(jié)點相融合；通

8、過操作系統(tǒng)的異構(gòu)協(xié)同功能、交叉編譯環(huán)境和資源管理系統(tǒng)的異構(gòu)資源協(xié)同管理、全系統(tǒng)異構(gòu)體系結(jié)構(gòu)運(yùn)行支持等，實現(xiàn)異構(gòu)融合的高效能體系結(jié)構(gòu)設(shè)計，適應(yīng)不同規(guī)模的并行應(yīng)用模式，高效支持視頻分析及視頻識別計算與信息服務(wù)。一個典型計算處理系統(tǒng)可由20個異構(gòu)結(jié)點組成，通過高速互連網(wǎng)絡(luò)進(jìn)行結(jié)點間的通信連接，提供超高計算能力和通信能力，并通過高速網(wǎng)絡(luò)連接大規(guī)模存儲系統(tǒng)，提供與計算和通信能力相匹配的高速并發(fā)I/O訪問能力。通過合理搭配不同視頻處理工具運(yùn)算量的消耗和普遍的使用頻率，單個處理工具可動態(tài)調(diào)整負(fù)載并可具備64線程以上的視頻處理能力。 （四）海量視頻調(diào)度實現(xiàn) 從警務(wù)工作實踐經(jīng)驗來看，視頻應(yīng)用對支撐平

9、臺的數(shù)據(jù)庫的存儲系統(tǒng)要求較高，多用戶并發(fā)條件下，平臺數(shù)據(jù)庫需要具備較高的持續(xù)I/O吞吐率、數(shù)據(jù)安全性和可擴(kuò)展性。在省或市級平臺應(yīng)用中，由于視頻監(jiān)控節(jié)點多，清晰度高，視頻流處理壓力大，傳統(tǒng)的IP-SAN集中存儲模式不論是網(wǎng)絡(luò)帶寬、磁盤IO還是擴(kuò)展性和穩(wěn)定性，都難以負(fù)荷大并發(fā)條件多源視頻流存儲和處理所產(chǎn)生的巨大壓力，需要引入新技術(shù)對原有體系進(jìn)行改造或替換。從目前互聯(lián)網(wǎng)技術(shù)發(fā)展潮流趨勢看，基于開源Hadoop架構(gòu)的分布式文件存儲技術(shù)和MPP并行計算技術(shù)是較為理想的技術(shù)路線。 為實現(xiàn)高并發(fā)，高可靠的視頻資源存儲需求，視頻監(jiān)控圖像綜合服務(wù)平臺的視頻存儲部分可以采用分布式文件存儲解決方案。在實際操作

10、中，市級或省級可由多個分局通過HttpFS做代理，組成一個大的集群，主要好處是從應(yīng)用程序角度來看，多個分布的HDFS集群成為了一個統(tǒng)一的分布式文件系統(tǒng)，提供了統(tǒng)一的訪問界面，對外可以提供HTTP/REST訪問方式或者NFS訪問方式。市級或省級平臺建設(shè)部分節(jié)點作為本地視頻處理的緩沖池和重要視頻資源的存儲池。同時，在視頻處理環(huán)節(jié)，也可以通過搭建分布式集群環(huán)境實現(xiàn)可伸縮、動態(tài)配置資源的計算資源池。在視頻綜合服務(wù)平臺中，計算集群由一組計算服務(wù)和一個作業(yè)調(diào)度服務(wù)組成，用于并行處理視頻資源加工任務(wù)，例如視頻結(jié)構(gòu)化、視頻轉(zhuǎn)碼、圖片檢索等。計算集群處理任務(wù)可根據(jù)處理視頻資源內(nèi)容和任務(wù)要求應(yīng)用不同的任務(wù)處理分配

11、模板，動態(tài)調(diào)整計算資源的分配，視頻資源動態(tài)分時加載處理，在閑時運(yùn)行重載模塊，對視頻資源進(jìn)行深度采樣分析和信息挖掘，在忙時進(jìn)行簡單標(biāo)記和快速處理，通過削峰填谷，提高硬件資源的利用效率，節(jié)約硬件和網(wǎng)絡(luò)成本。比如在重大案件研判、區(qū)域封控、視頻特征提取和重大活動安保等情況下，可以通過快速添加服務(wù)器、動態(tài)減少非重點區(qū)域、非重點模塊的運(yùn)算量，優(yōu)先滿足重點工作任務(wù)，提高平臺效率。 （五）面向應(yīng)用的模塊建設(shè) 系統(tǒng)通過提供統(tǒng)一的用戶管理、授權(quán)管理和資源服務(wù)總線、各類服務(wù)接口、接口構(gòu)建工具和運(yùn)行監(jiān)控系統(tǒng)滿足對各類應(yīng)用模塊的管理、集成和調(diào)度。 常見的視頻應(yīng)用模塊包括但不限于： （1）視頻布控

12、。對重點部位、重點目標(biāo)進(jìn)行事前布控，通過模式識別分析差異化和特殊情況，尋找蛛絲馬跡，及時制止犯罪行為，降低暴恐事件的.危害性和破壞性。主要用于視頻監(jiān)控對事件的事前預(yù)防。 （2）快速聯(lián)動?；赑GIS警用地理信息平臺和視頻資源位置信息動態(tài)快速串聯(lián)視頻資源，對特定目標(biāo)進(jìn)行識別和多視頻源過濾、篩選、拼接，形成基于位置的完整視頻鏈。 （3）視頻巡邏。智能分析視頻中的可疑行為和物品，如異常人員聚集、打架斗毆、游行、事故等。 （4）特征分析。智能獲取圖像中的關(guān)鍵信息，并進(jìn)行結(jié)構(gòu)化標(biāo)簽標(biāo)注。如人員正面照片提取、車輛特征提取、人流統(tǒng)計、車流統(tǒng)計等。 （5）視頻自動增強(qiáng)。對過曝、模糊、失

13、真等圖像進(jìn)行重點部位智能增強(qiáng)或去卷積、銳化、通道過濾、再次白平衡等操作，提高圖像質(zhì)量，減少人工操作。 （六）Docker模式插件容器 對一些第三方插件可以采用Docker虛擬化容器和遠(yuǎn)程服務(wù)的方式，在最小限度修改插件的情況下兼容不同供應(yīng)方的模塊，插件統(tǒng)一采用文件對象的方式對視頻進(jìn)行處理，通過分配文件Docker存儲空間存儲分析處理結(jié)構(gòu)，并利用定期計劃處理分析結(jié)果，完成標(biāo)簽標(biāo)注和檢索。由平臺統(tǒng)一配置相關(guān)插件處理的視頻種類、處理時間、授權(quán)范圍。這種方式可以實現(xiàn)動態(tài)的插件管理和應(yīng)用，可以根據(jù)當(dāng)前任務(wù)需要靈活配置視頻處理的流程，避免了傳統(tǒng)插件模式應(yīng)用在部署、維護(hù)和管理上的消耗。 四、

14、技術(shù)選型 視頻監(jiān)控圖像綜合服務(wù)平臺應(yīng)用的新技術(shù)主要有hadoop分布式架構(gòu)文件系統(tǒng)、分布式平臺管理、MPP并行數(shù)據(jù)庫架構(gòu)和分布式并行運(yùn)算等。 （一）分布式文件系統(tǒng) 視頻云存儲系統(tǒng)采用開源hadoop基礎(chǔ)架構(gòu)，由視頻云存儲管理服務(wù)器和存儲設(shè)備組成。視頻云存儲管理服務(wù)器負(fù)責(zé)系統(tǒng)內(nèi)資源管理、存儲節(jié)點管理、集群管理、策略調(diào)度、運(yùn)維監(jiān)控等工作，是整個系統(tǒng)的控制指揮核心；視頻云存儲存儲設(shè)備是前端數(shù)據(jù)取流、存儲業(yè)務(wù)執(zhí)行的基礎(chǔ)設(shè)備。通過管理信息與存儲數(shù)據(jù)分離的多平面設(shè)計，可以保證前端的數(shù)據(jù)流直接寫入存儲設(shè)備，以節(jié)省用戶的流媒體服務(wù)器數(shù)量，同時優(yōu)化存儲結(jié)構(gòu)、減少存儲故障瓶頸。為滿足對穩(wěn)定性、安

15、全性的要求，系統(tǒng)對調(diào)度節(jié)點、網(wǎng)絡(luò)設(shè)施等關(guān)鍵環(huán)節(jié)采取了冗余設(shè)計。分布式視頻云存儲部分的原理描述如圖5所示。 （二）分布式平臺管理 集群化管理：視頻錄像索引采用集群方式進(jìn)行一級索引管理，無單點故障，保證索引數(shù)據(jù)的安全性，并能根據(jù)用戶的各種查詢條件進(jìn)行快速定位。 負(fù)載均衡管理：集群前端采用虛擬IP技術(shù)，對外提供統(tǒng)一的入口IP形式。在集群中根據(jù)各種算法，系統(tǒng)將集群訪問進(jìn)行分?jǐn)?，降低單個節(jié)點的訪問壓力；當(dāng)單臺壓力過大時，系統(tǒng)將業(yè)務(wù)平滑遷移至其他存儲節(jié)點，達(dá)到整個集群間負(fù)載均衡目的。 虛擬化管理：將整個存儲設(shè)備統(tǒng)一管理，虛擬化為存儲資源池，且將虛擬資源劃分為塊進(jìn)行管理；對用戶重要數(shù)

16、據(jù)，通過虛擬塊之間的相互復(fù)制技術(shù)，達(dá)到多份備份目的。 離散存儲管理：將前端數(shù)據(jù)通過特定算法平滑分散至各存儲設(shè)備上，從而降低大量回放對單臺存儲節(jié)點的壓力。 （三）MPP并行數(shù)據(jù)技術(shù) 視頻分析同樣會產(chǎn)生大量的結(jié)構(gòu)化信息，例如車牌號、人上半身顏色、時間等。存儲此類信息可以采用兩種方式：文件系統(tǒng)和關(guān)系數(shù)據(jù)庫。將結(jié)構(gòu)化信息存儲在文件系統(tǒng)中對于信息檢索會非常麻煩，效率極低，但存儲量巨大；采用關(guān)系數(shù)據(jù)庫對于檢索會非常方便，效率也非常高，但是當(dāng)記錄數(shù)量超過千萬時，效率會下降的非常明顯，甚至無法應(yīng)用。為了解決上述矛盾，云架構(gòu)中采用分布式數(shù)據(jù)庫。 五、功能、性能分析 （1）分布式、異

17、構(gòu)、并行、開放的計算平臺，能夠兼容第三方視頻處理算法、技術(shù)與工具，極大提高了視頻存儲、管理、分析、檢索的效率。 （2）通過全文模糊文本搜索，向視頻應(yīng)用系統(tǒng)提供視頻結(jié)構(gòu)化信息的模糊搜索服務(wù)，尤其是搜索用戶手動標(biāo)注的信息，實現(xiàn)對視頻結(jié)構(gòu)化信息的大規(guī)模高效查詢。 （3）基于Docker的模塊集成。提供統(tǒng)一/標(biāo)準(zhǔn)化工具集標(biāo)準(zhǔn)規(guī)范，任何符合工具集標(biāo)準(zhǔn)規(guī)范的算法（包括第三方算法）/工具均可以添加到視頻綜合服務(wù)平臺的工具集中，工具集中的工具可以運(yùn)行于云計算集群中，大大地提高了系統(tǒng)平臺的通用性。 六、警務(wù)應(yīng)用 本文論述的基于云計算技術(shù)的視頻圖像綜合應(yīng)用平臺已經(jīng)逐步在河北全省開展建設(shè)。目

18、前，已經(jīng)完成了省級平臺和兩個市級平臺的初步搭建，省級平臺依托公安信息網(wǎng)和視頻專網(wǎng)作為網(wǎng)絡(luò)基礎(chǔ)支撐環(huán)境，在云計算中心基礎(chǔ)上集中建設(shè)了視頻云計算平臺，整合接入視頻資源50000路，為視頻應(yīng)用提供公共的技術(shù)環(huán)境和服務(wù)支撐，各市級平臺作為省級云計算中心的分支節(jié)點，接入視頻資源3000～10000路不等，為各市提供個性化視頻綜合應(yīng)用服務(wù)。 參考文獻(xiàn)： [1]趙星,廖桂平,史曉慧,等.物聯(lián)網(wǎng)與云計算環(huán)境下的農(nóng)業(yè)信息服務(wù)模式構(gòu)建[J].農(nóng)機(jī)化研究,2021,4:142-147. [2]張建勛,古志民,鄭超.云計算研究進(jìn)展綜述[J].計算機(jī)應(yīng)用研究,2021,27(2):429-433. [3]蔡鳳穎.基于云存儲的手機(jī)數(shù)據(jù)備份系統(tǒng)[D].河北科技大學(xué),2021. [4]許詩,文翰,肖南峰.基于無線視頻傳輸?shù)牡缆窞?zāi)害監(jiān)控系統(tǒng)[J].重慶理工大學(xué)學(xué)報:自然科學(xué),2021(10):46-53. 作者：連珂 何博文 王毅 單位：河北省公安廳科技信息化處 《云計算技術(shù)與技術(shù)選型分析》