云計(jì)算技術(shù)與技術(shù)選型分析

《云計(jì)算技術(shù)與技術(shù)選型分析》由會(huì)員分享，可在線閱讀，更多相關(guān)《云計(jì)算技術(shù)與技術(shù)選型分析（14頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、云計(jì)算技術(shù)與技術(shù)選型分析 云計(jì)算技術(shù)與技術(shù)選型分析 本文關(guān)鍵詞：技術(shù)，選型，計(jì)算，分析 云計(jì)算技術(shù)與技術(shù)選型分析 本文簡(jiǎn)介：一、前言目前公安工作在視頻應(yīng)用方面，仍普遍采用人工視頻處理、人工視頻檢索、人工視頻識(shí)別分析的傳統(tǒng)模式，面對(duì)爆炸性增長(zhǎng)的視頻監(jiān)控資源，查找難、采集難、傳輸慢、解碼難、分析難等瓶頸問題愈發(fā)明顯，人海戰(zhàn)術(shù)已經(jīng)無法處理、應(yīng)用海量監(jiān)控視頻資源。為此，采用“云計(jì)算”等先進(jìn)技術(shù)，開展應(yīng)對(duì)大范圍、高容量視頻監(jiān)控圖像 云計(jì)算技術(shù)與技術(shù)選型分析 本文內(nèi)容： 一、前言 目前公安工作在視頻應(yīng)用方面，仍普遍采用人工視頻處理、人工視頻檢索、人工視頻識(shí)別分析的傳統(tǒng)模式，面

2、對(duì)爆炸性增長(zhǎng)的視頻監(jiān)控資源，查找難、采集難、傳輸慢、解碼難、分析難等瓶頸問題愈發(fā)明顯，人海戰(zhàn)術(shù)已經(jīng)無法處理、應(yīng)用海量監(jiān)控視頻資源。為此，采用“云計(jì)算”等先進(jìn)技術(shù)，開展應(yīng)對(duì)大范圍、高容量視頻監(jiān)控圖像綜合的應(yīng)用和管理，進(jìn)行視頻處理、管理、應(yīng)用的綜合服務(wù)平臺(tái)技術(shù)研究，對(duì)海量視頻資源進(jìn)行自動(dòng)化、智能化分析處理，為警務(wù)實(shí)戰(zhàn)工作提供針對(duì)性、高附加值視頻圖像綜合應(yīng)用服務(wù)，提高視頻處理能力和效率已經(jīng)勢(shì)在必行。 二、視頻圖像應(yīng)用中所面臨的問題 視頻圖像應(yīng)用中面臨的突出矛盾和難點(diǎn)主要有以下幾個(gè)方面： （一）快速增加的視頻監(jiān)控圖像與效率低下的人工檢索應(yīng)用方式之間的矛盾 隨著視頻監(jiān)控探頭數(shù)量的

3、增加、密度的提高和種類的豐富，視頻監(jiān)控“天網(wǎng)”逐漸覆蓋了幾乎所有重點(diǎn)區(qū)域和公共場(chǎng)所，利用視頻監(jiān)控拼接串聯(lián)，還原犯罪嫌疑人整個(gè)行為軌跡鏈條，已成為目前案件偵辦過程中的重要技術(shù)手段和可信的原始證據(jù)。但是，監(jiān)控探頭的增加也導(dǎo)致一起案件所涉及到的視頻資源總量呈爆炸性增加，目前主要依靠人工檢索、分析的應(yīng)用模式導(dǎo)致視頻分析、應(yīng)用能力的提高遠(yuǎn)遠(yuǎn)落后于監(jiān)控探頭的建設(shè)速度，“視頻在，找不到”、“找得到，找太久”、“服務(wù)在，成本大”、“看不清，用不上”等問題非常突出，嚴(yán)重影響了監(jiān)控圖像資源在實(shí)戰(zhàn)中的應(yīng)用效果。 （二）監(jiān)控視頻價(jià)值密度低、應(yīng)用單一 由于視頻分析主要依靠人力，目前監(jiān)控視頻應(yīng)用比較單一，主要

4、服務(wù)于案件倒查挖掘線索和重大活動(dòng)現(xiàn)場(chǎng)應(yīng)急指揮等，對(duì)治安管理、巡邏防控、基礎(chǔ)工作等其他公安業(yè)務(wù)工作，尤其在大區(qū)域范圍內(nèi)的視頻管理與應(yīng)用中，缺乏視頻資源提取、組織、管理的有效工具和手段，“視頻多、挖掘淺、難應(yīng)用”現(xiàn)象突出，大量的有價(jià)值視頻資源逐漸沉淀、覆蓋。 （三）管理成本居高不下 傳統(tǒng)的視頻資源分級(jí)分散存儲(chǔ)模式，缺乏海量視頻資源組織管理與集中的應(yīng)用平臺(tái)，資源分散、尋找相應(yīng)視頻資源困難，視頻標(biāo)準(zhǔn)不統(tǒng)一導(dǎo)致跨區(qū)域分析、處理難度高、資源消耗巨大，給海量視頻資源的快速識(shí)別、處理和大規(guī)模并發(fā)應(yīng)用造成了極大的阻礙，推高了整體視頻資源應(yīng)用的成本，擴(kuò)展難、維護(hù)貴、安全保障難等問題越來越突出。

5、三、架構(gòu)設(shè)計(jì) （一）技術(shù)目標(biāo) 本文提出的基于分布式云計(jì)算技術(shù)的視頻圖像綜合應(yīng)用技術(shù)，主要針對(duì)日常治安巡控、重特大案件聯(lián)合偵辦以及視頻特征線索自動(dòng)識(shí)別、采集等警務(wù)工作需求，利用公安主導(dǎo)建設(shè)的聯(lián)網(wǎng)資源以及.單位和個(gè)體自建的視頻資源，通過對(duì)視頻進(jìn)行結(jié)構(gòu)化描述，對(duì)視頻圖像進(jìn)行智能化分析處理，為各業(yè)務(wù)警種提供視頻調(diào)閱、分析、處理與應(yīng)用服務(wù)，提高視頻監(jiān)控圖像的應(yīng)用效率、為全警開展視頻圖像應(yīng)用提供技術(shù)支持。 系統(tǒng)采取SOA架構(gòu)和“平臺(tái)插件”模式，實(shí)現(xiàn)對(duì)視頻資源的整合和對(duì)各類視頻處理模塊兼容，通過靈活配置的視頻處理工具，滿足日常視頻巡邏防控、大要案?jìng)赊k和培訓(xùn)教學(xué)等各類復(fù)雜應(yīng)用場(chǎng)景；系統(tǒng)采用“

6、云計(jì)算”技術(shù)的分布式并行數(shù)據(jù)庫、分布式文件存儲(chǔ)技術(shù)、全文標(biāo)簽索引和全文檢索技術(shù)實(shí)現(xiàn)視頻應(yīng)用系統(tǒng)業(yè)務(wù)事物處理、海量視頻文件存儲(chǔ)、視頻自動(dòng)化分析的結(jié)構(gòu)化標(biāo)注智和智能檢索；通過云計(jì)算技術(shù)的引入滿足系統(tǒng)各層次的線性擴(kuò)展需求，降低管理成本、保障信息安全。 （二）工作流分析 視頻綜合服務(wù)平臺(tái)的工作流程分為實(shí)時(shí)在線分析模式和事后離線分析模式。其中，實(shí)時(shí)分析模式輸入實(shí)時(shí)視頻流進(jìn)行智能分析、視頻布防、視頻布控、視頻追逃分析，返回報(bào)警信息給各業(yè)務(wù)警種，主要用于具備視頻偵控預(yù)案的日常治安防控應(yīng)用；事后離線分析模式輸入視頻錄像或圖片，進(jìn)行視頻轉(zhuǎn)碼、濃縮、分析、檢索以及處理等視頻偵查服務(wù)，可用于各類視頻線索

7、的深度分析、串并、關(guān)聯(lián)。 （三）整體結(jié)構(gòu)設(shè)計(jì) 根據(jù)功能需求，平臺(tái)可以分成基礎(chǔ)視頻庫、視頻資源庫、應(yīng)用平臺(tái)三個(gè)部分。原始視頻資源通過視頻監(jiān)控平臺(tái)和離線采集等方式進(jìn)入基礎(chǔ)視頻庫，作為原始視頻素材，通過平臺(tái)集成的各類視頻處理第三方工具對(duì)視頻進(jìn)行實(shí)時(shí)處理后存入視頻資源庫，對(duì)視頻資源進(jìn)行特征采集、結(jié)構(gòu)化、標(biāo)簽化。各類視頻處理工具經(jīng)過評(píng)估測(cè)試后掛接在應(yīng)用平臺(tái)中，對(duì)終端用戶、外部系統(tǒng)提供應(yīng)用服務(wù)和接口服務(wù)。 一個(gè)典型的視頻監(jiān)控圖像綜合應(yīng)用服務(wù)平臺(tái)硬件、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可以通過圖2表示。系統(tǒng)采用異構(gòu)融合的體系結(jié)構(gòu)，充分利用高性能CPU與GPU處理能力，面向高性能計(jì)算與事務(wù)處理的多路結(jié)點(diǎn)相融合；通

8、過操作系統(tǒng)的異構(gòu)協(xié)同功能、交叉編譯環(huán)境和資源管理系統(tǒng)的異構(gòu)資源協(xié)同管理、全系統(tǒng)異構(gòu)體系結(jié)構(gòu)運(yùn)行支持等，實(shí)現(xiàn)異構(gòu)融合的高效能體系結(jié)構(gòu)設(shè)計(jì)，適應(yīng)不同規(guī)模的并行應(yīng)用模式，高效支持視頻分析及視頻識(shí)別計(jì)算與信息服務(wù)。一個(gè)典型計(jì)算處理系統(tǒng)可由20個(gè)異構(gòu)結(jié)點(diǎn)組成，通過高速互連網(wǎng)絡(luò)進(jìn)行結(jié)點(diǎn)間的通信連接，提供超高計(jì)算能力和通信能力，并通過高速網(wǎng)絡(luò)連接大規(guī)模存儲(chǔ)系統(tǒng)，提供與計(jì)算和通信能力相匹配的高速并發(fā)I/O訪問能力。通過合理搭配不同視頻處理工具運(yùn)算量的消耗和普遍的使用頻率，單個(gè)處理工具可動(dòng)態(tài)調(diào)整負(fù)載并可具備64線程以上的視頻處理能力。 （四）海量視頻調(diào)度實(shí)現(xiàn) 從警務(wù)工作實(shí)踐經(jīng)驗(yàn)來看，視頻應(yīng)用對(duì)支撐平

9、臺(tái)的數(shù)據(jù)庫的存儲(chǔ)系統(tǒng)要求較高，多用戶并發(fā)條件下，平臺(tái)數(shù)據(jù)庫需要具備較高的持續(xù)I/O吞吐率、數(shù)據(jù)安全性和可擴(kuò)展性。在省或市級(jí)平臺(tái)應(yīng)用中，由于視頻監(jiān)控節(jié)點(diǎn)多，清晰度高，視頻流處理壓力大，傳統(tǒng)的IP-SAN集中存儲(chǔ)模式不論是網(wǎng)絡(luò)帶寬、磁盤IO還是擴(kuò)展性和穩(wěn)定性，都難以負(fù)荷大并發(fā)條件多源視頻流存儲(chǔ)和處理所產(chǎn)生的巨大壓力，需要引入新技術(shù)對(duì)原有體系進(jìn)行改造或替換。從目前互聯(lián)網(wǎng)技術(shù)發(fā)展潮流趨勢(shì)看，基于開源Hadoop架構(gòu)的分布式文件存儲(chǔ)技術(shù)和MPP并行計(jì)算技術(shù)是較為理想的技術(shù)路線。 為實(shí)現(xiàn)高并發(fā)，高可靠的視頻資源存儲(chǔ)需求，視頻監(jiān)控圖像綜合服務(wù)平臺(tái)的視頻存儲(chǔ)部分可以采用分布式文件存儲(chǔ)解決方案。在實(shí)際操作

10、中，市級(jí)或省級(jí)可由多個(gè)分局通過HttpFS做代理，組成一個(gè)大的集群，主要好處是從應(yīng)用程序角度來看，多個(gè)分布的HDFS集群成為了一個(gè)統(tǒng)一的分布式文件系統(tǒng)，提供了統(tǒng)一的訪問界面，對(duì)外可以提供HTTP/REST訪問方式或者NFS訪問方式。市級(jí)或省級(jí)平臺(tái)建設(shè)部分節(jié)點(diǎn)作為本地視頻處理的緩沖池和重要視頻資源的存儲(chǔ)池。同時(shí)，在視頻處理環(huán)節(jié)，也可以通過搭建分布式集群環(huán)境實(shí)現(xiàn)可伸縮、動(dòng)態(tài)配置資源的計(jì)算資源池。在視頻綜合服務(wù)平臺(tái)中，計(jì)算集群由一組計(jì)算服務(wù)和一個(gè)作業(yè)調(diào)度服務(wù)組成，用于并行處理視頻資源加工任務(wù)，例如視頻結(jié)構(gòu)化、視頻轉(zhuǎn)碼、圖片檢索等。計(jì)算集群處理任務(wù)可根據(jù)處理視頻資源內(nèi)容和任務(wù)要求應(yīng)用不同的任務(wù)處理分配

11、模板，動(dòng)態(tài)調(diào)整計(jì)算資源的分配，視頻資源動(dòng)態(tài)分時(shí)加載處理，在閑時(shí)運(yùn)行重載模塊，對(duì)視頻資源進(jìn)行深度采樣分析和信息挖掘，在忙時(shí)進(jìn)行簡(jiǎn)單標(biāo)記和快速處理，通過削峰填谷，提高硬件資源的利用效率，節(jié)約硬件和網(wǎng)絡(luò)成本。比如在重大案件研判、區(qū)域封控、視頻特征提取和重大活動(dòng)安保等情況下，可以通過快速添加服務(wù)器、動(dòng)態(tài)減少非重點(diǎn)區(qū)域、非重點(diǎn)模塊的運(yùn)算量，優(yōu)先滿足重點(diǎn)工作任務(wù)，提高平臺(tái)效率。 （五）面向應(yīng)用的模塊建設(shè) 系統(tǒng)通過提供統(tǒng)一的用戶管理、授權(quán)管理和資源服務(wù)總線、各類服務(wù)接口、接口構(gòu)建工具和運(yùn)行監(jiān)控系統(tǒng)滿足對(duì)各類應(yīng)用模塊的管理、集成和調(diào)度。 常見的視頻應(yīng)用模塊包括但不限于： （1）視頻布控

12、。對(duì)重點(diǎn)部位、重點(diǎn)目標(biāo)進(jìn)行事前布控，通過模式識(shí)別分析差異化和特殊情況，尋找蛛絲馬跡，及時(shí)制止犯罪行為，降低暴恐事件的.危害性和破壞性。主要用于視頻監(jiān)控對(duì)事件的事前預(yù)防。 （2）快速聯(lián)動(dòng)?；赑GIS警用地理信息平臺(tái)和視頻資源位置信息動(dòng)態(tài)快速串聯(lián)視頻資源，對(duì)特定目標(biāo)進(jìn)行識(shí)別和多視頻源過濾、篩選、拼接，形成基于位置的完整視頻鏈。 （3）視頻巡邏。智能分析視頻中的可疑行為和物品，如異常人員聚集、打架斗毆、游行、事故等。 （4）特征分析。智能獲取圖像中的關(guān)鍵信息，并進(jìn)行結(jié)構(gòu)化標(biāo)簽標(biāo)注。如人員正面照片提取、車輛特征提取、人流統(tǒng)計(jì)、車流統(tǒng)計(jì)等。 （5）視頻自動(dòng)增強(qiáng)。對(duì)過曝、模糊、失

13、真等圖像進(jìn)行重點(diǎn)部位智能增強(qiáng)或去卷積、銳化、通道過濾、再次白平衡等操作，提高圖像質(zhì)量，減少人工操作。 （六）Docker模式插件容器 對(duì)一些第三方插件可以采用Docker虛擬化容器和遠(yuǎn)程服務(wù)的方式，在最小限度修改插件的情況下兼容不同供應(yīng)方的模塊，插件統(tǒng)一采用文件對(duì)象的方式對(duì)視頻進(jìn)行處理，通過分配文件Docker存儲(chǔ)空間存儲(chǔ)分析處理結(jié)構(gòu)，并利用定期計(jì)劃處理分析結(jié)果，完成標(biāo)簽標(biāo)注和檢索。由平臺(tái)統(tǒng)一配置相關(guān)插件處理的視頻種類、處理時(shí)間、授權(quán)范圍。這種方式可以實(shí)現(xiàn)動(dòng)態(tài)的插件管理和應(yīng)用，可以根據(jù)當(dāng)前任務(wù)需要靈活配置視頻處理的流程，避免了傳統(tǒng)插件模式應(yīng)用在部署、維護(hù)和管理上的消耗。 四、

14、技術(shù)選型 視頻監(jiān)控圖像綜合服務(wù)平臺(tái)應(yīng)用的新技術(shù)主要有hadoop分布式架構(gòu)文件系統(tǒng)、分布式平臺(tái)管理、MPP并行數(shù)據(jù)庫架構(gòu)和分布式并行運(yùn)算等。 （一）分布式文件系統(tǒng) 視頻云存儲(chǔ)系統(tǒng)采用開源hadoop基礎(chǔ)架構(gòu)，由視頻云存儲(chǔ)管理服務(wù)器和存儲(chǔ)設(shè)備組成。視頻云存儲(chǔ)管理服務(wù)器負(fù)責(zé)系統(tǒng)內(nèi)資源管理、存儲(chǔ)節(jié)點(diǎn)管理、集群管理、策略調(diào)度、運(yùn)維監(jiān)控等工作，是整個(gè)系統(tǒng)的控制指揮核心；視頻云存儲(chǔ)存儲(chǔ)設(shè)備是前端數(shù)據(jù)取流、存儲(chǔ)業(yè)務(wù)執(zhí)行的基礎(chǔ)設(shè)備。通過管理信息與存儲(chǔ)數(shù)據(jù)分離的多平面設(shè)計(jì)，可以保證前端的數(shù)據(jù)流直接寫入存儲(chǔ)設(shè)備，以節(jié)省用戶的流媒體服務(wù)器數(shù)量，同時(shí)優(yōu)化存儲(chǔ)結(jié)構(gòu)、減少存儲(chǔ)故障瓶頸。為滿足對(duì)穩(wěn)定性、安

15、全性的要求，系統(tǒng)對(duì)調(diào)度節(jié)點(diǎn)、網(wǎng)絡(luò)設(shè)施等關(guān)鍵環(huán)節(jié)采取了冗余設(shè)計(jì)。分布式視頻云存儲(chǔ)部分的原理描述如圖5所示。 （二）分布式平臺(tái)管理 集群化管理：視頻錄像索引采用集群方式進(jìn)行一級(jí)索引管理，無單點(diǎn)故障，保證索引數(shù)據(jù)的安全性，并能根據(jù)用戶的各種查詢條件進(jìn)行快速定位。 負(fù)載均衡管理：集群前端采用虛擬IP技術(shù)，對(duì)外提供統(tǒng)一的入口IP形式。在集群中根據(jù)各種算法，系統(tǒng)將集群訪問進(jìn)行分?jǐn)?，降低單個(gè)節(jié)點(diǎn)的訪問壓力；當(dāng)單臺(tái)壓力過大時(shí)，系統(tǒng)將業(yè)務(wù)平滑遷移至其他存儲(chǔ)節(jié)點(diǎn)，達(dá)到整個(gè)集群間負(fù)載均衡目的。 虛擬化管理：將整個(gè)存儲(chǔ)設(shè)備統(tǒng)一管理，虛擬化為存儲(chǔ)資源池，且將虛擬資源劃分為塊進(jìn)行管理；對(duì)用戶重要數(shù)

16、據(jù)，通過虛擬塊之間的相互復(fù)制技術(shù)，達(dá)到多份備份目的。 離散存儲(chǔ)管理：將前端數(shù)據(jù)通過特定算法平滑分散至各存儲(chǔ)設(shè)備上，從而降低大量回放對(duì)單臺(tái)存儲(chǔ)節(jié)點(diǎn)的壓力。 （三）MPP并行數(shù)據(jù)技術(shù) 視頻分析同樣會(huì)產(chǎn)生大量的結(jié)構(gòu)化信息，例如車牌號(hào)、人上半身顏色、時(shí)間等。存儲(chǔ)此類信息可以采用兩種方式：文件系統(tǒng)和關(guān)系數(shù)據(jù)庫。將結(jié)構(gòu)化信息存儲(chǔ)在文件系統(tǒng)中對(duì)于信息檢索會(huì)非常麻煩，效率極低，但存儲(chǔ)量巨大；采用關(guān)系數(shù)據(jù)庫對(duì)于檢索會(huì)非常方便，效率也非常高，但是當(dāng)記錄數(shù)量超過千萬時(shí)，效率會(huì)下降的非常明顯，甚至無法應(yīng)用。為了解決上述矛盾，云架構(gòu)中采用分布式數(shù)據(jù)庫。 五、功能、性能分析 （1）分布式、異

17、構(gòu)、并行、開放的計(jì)算平臺(tái)，能夠兼容第三方視頻處理算法、技術(shù)與工具，極大提高了視頻存儲(chǔ)、管理、分析、檢索的效率。 （2）通過全文模糊文本搜索，向視頻應(yīng)用系統(tǒng)提供視頻結(jié)構(gòu)化信息的模糊搜索服務(wù)，尤其是搜索用戶手動(dòng)標(biāo)注的信息，實(shí)現(xiàn)對(duì)視頻結(jié)構(gòu)化信息的大規(guī)模高效查詢。 （3）基于Docker的模塊集成。提供統(tǒng)一/標(biāo)準(zhǔn)化工具集標(biāo)準(zhǔn)規(guī)范，任何符合工具集標(biāo)準(zhǔn)規(guī)范的算法（包括第三方算法）/工具均可以添加到視頻綜合服務(wù)平臺(tái)的工具集中，工具集中的工具可以運(yùn)行于云計(jì)算集群中，大大地提高了系統(tǒng)平臺(tái)的通用性。 六、警務(wù)應(yīng)用 本文論述的基于云計(jì)算技術(shù)的視頻圖像綜合應(yīng)用平臺(tái)已經(jīng)逐步在河北全省開展建設(shè)。目

18、前，已經(jīng)完成了省級(jí)平臺(tái)和兩個(gè)市級(jí)平臺(tái)的初步搭建，省級(jí)平臺(tái)依托公安信息網(wǎng)和視頻專網(wǎng)作為網(wǎng)絡(luò)基礎(chǔ)支撐環(huán)境，在云計(jì)算中心基礎(chǔ)上集中建設(shè)了視頻云計(jì)算平臺(tái)，整合接入視頻資源50000路，為視頻應(yīng)用提供公共的技術(shù)環(huán)境和服務(wù)支撐，各市級(jí)平臺(tái)作為省級(jí)云計(jì)算中心的分支節(jié)點(diǎn)，接入視頻資源3000～10000路不等，為各市提供個(gè)性化視頻綜合應(yīng)用服務(wù)。 參考文獻(xiàn)： [1]趙星,廖桂平,史曉慧,等.物聯(lián)網(wǎng)與云計(jì)算環(huán)境下的農(nóng)業(yè)信息服務(wù)模式構(gòu)建[J].農(nóng)機(jī)化研究,2021,4:142-147. [2]張建勛,古志民,鄭超.云計(jì)算研究進(jìn)展綜述[J].計(jì)算機(jī)應(yīng)用研究,2021,27(2):429-433. [3]蔡鳳穎.基于云存儲(chǔ)的手機(jī)數(shù)據(jù)備份系統(tǒng)[D].河北科技大學(xué),2021. [4]許詩,文翰,肖南峰.基于無線視頻傳輸?shù)牡缆窞?zāi)害監(jiān)控系統(tǒng)[J].重慶理工大學(xué)學(xué)報(bào):自然科學(xué),2021(10):46-53. 作者：連珂 何博文 王毅 單位：河北省公安廳科技信息化處 《云計(jì)算技術(shù)與技術(shù)選型分析》