臨沂高新區:構建PB級監控大數據平臺,變身智慧園區
來源:未知 日期:2019-02-26 點擊:次
臨沂高新區成立于1992年10月,2011年6月經國務院批準升級為國家高新技術產業開發區,是山東省12個國家高新區之一,也是全國革命老區中第一家國家高新區。2018年,臨沂高新區開展視頻監控二期建設,以滿足城市管理需要,構建全區共享的視頻信息聯網應用系統。基于高新區視頻監控專網,臨沂高新區整合接入并管理了各類監控資源,包括政府各部門組織建設的公共區域視頻圖像信息、社會監控資源以及重點場所監控資源等,實現重點區域的全覆蓋,推動臨沂高新區構建智慧園區、平安園區。
浪潮軟件定義存儲AS13000服務臨沂高新區視頻監控二期項目
視頻監控:多樣化數據
臨沂高新區采用的視頻監控系統是一套具有感、傳、知、用四個層次的垂直分布系統。在這套系統中,視頻監控點位所在的前端感知網絡具有覆蓋面廣、場景應用的特性。根據視頻監控點位的安裝部位、監控區域、圖像采集性質,其被劃分為一、二、三類,實行分類建設、分層管理。二期項目的存儲系統需要針對轄區內總共3500個新建視頻點位的影像進行存儲,同時要具備7*24小時不斷寫入、多平臺隨機讀取的性能。
臨沂高新區視頻監控二期項目中的數據類型比較多樣,主要包括PB級的音視頻數據、卡口產生的300KB到1MB的圖片、幾十KB的大量結構化數據。相應的,對數據存儲的需求也比較多樣。
第一,性能挑戰。新增的網絡攝像頭產生的高清視頻源,在壓縮算法上都采用了H.265、H.264標準,單路視頻碼流需要2Mbps-8Mbps,而隨著前端IPC分辨率的不斷提升,單套系統碼流路數的飛速增加,未來一定還有更高的帶寬要求。這就要求存儲設備能夠滿足于高清監控業務碼流的特性,高效、完整地實現視頻數據的寫入和讀取。
人臉識別、車牌檢測等高并發應用的增加,使得數據讀寫比例也發生了很大變化。之前項目的存儲系統,更多地重視數據寫入,出現事故之后才會調取查看錄像。如今隨著AI技術的興起,大數據挖掘、分析、碰撞需求的增加,需要將存儲的數據應用起來,因此在重視數據寫入的同時還要求隨機讀取頻率大幅提高,這成為二期項目建設的重要方向之一。
第二,海量數據存儲遇難題。視頻監控需要連續寫入,存儲時間相對較長,多數建設中一類視頻點位要求30甚至90天的存儲時長,人臉、車輛等圖片和結構化數據存儲時間更是以年為單位,要求存儲系統可以承載百PB級的海量數據規模,滿足用戶高性能、大數據量的需求。
第三,數據可靠性。鑒于視頻監控系統海量的數據規模和數據重要性,整個存儲系統需要極高的安全性,還要在滿足業務要求的同時節省預算支出。
6臺AS13000滿足PB級監控需求
根據臨沂高新區視頻監控場景數據存儲特性,浪潮采用軟件定義存儲AS13000解決方案,通過6臺AS13000(總容量超過1.6PB),滿足了高新區視頻監控二期項目的存儲需求。
首先,在性能方面,AS13000單節點可實現2.5GB/s、千萬級IOPS,并且可實現多節點的數據并發讀寫;相較于傳統的IP SAN存儲,AS13000采用分布式軟件,橫向擴展方式,集群性能隨設備數量的增加而增加,能夠充分滿足臨沂高新區后期項目大數據處理、智能分析處理等數據應用的性能需求。
其次,在容量方面,方案采用6臺AS13000——每臺配置34塊8TB、7200轉硬盤,單節點配置2塊300GB 、10000轉SAS盤,容量超過1.6PB,滿足了高新區視頻監控二期項目海量數據的存儲需求。另外,AS13000最大可支持5120個節點,實現EB級容量,可充分滿足項目后續的擴容需求。
與此同時,AS13000對外提供標準文件、塊、對象和大數據接口,和市場主流的視頻監控廠家平臺可無縫對接;由于AS13000存儲系統系統符合開放性設計原則,可以廣泛支持開放系統平臺,讓臨沂高新區視頻監控系統無憂運行于現有或即將成為標準的各種相關技術標準上。
第三,在數據可靠性方面,AS13000采用副本和糾刪碼技術滿足高安全需求。其中,副本技術可以支持2-8副本,用于存儲圖片或結構化數據;糾刪碼技術適用于存儲音視頻數據,通過數據切片將數據分割成片段,把冗余數據塊擴展、編碼,并將其存儲在不同的節點,在保證節點級安全的同時提高空間利用率。此外,還可以對系統進行集中管理和監控,大大降低系統維護的復雜性。
浪潮軟件定義存儲AS13000
浪潮軟件定義存儲AS13000系統支持的視頻監控二期項目,全面滿足了臨沂高新區城市管理需要。如今,百姓尋人尋親,丟失車輛報警查詢、重點人群服務管理,都可以借助視頻監控系統SDS平臺來實現。
落地PB級大工程 引領新數據時代
浪潮存儲堅持技術研發和投入,產品品質在業界處于領先。軟件定義存儲AS13000憑借著多協議一體支持,高性能和極致的可擴展性入圍Gartner分布式文件及對象存儲(DFS&OS)魔力象限,此外,浪潮軟件定義存儲AS13000入圍在Gartner分布式文件系統關鍵能力報告,并在Commercial HPC領域取得全球前三排名,浪潮智能存儲G2連續2年入圍Gartner通用存儲(GPDA)魔力象限,標志著浪潮已成為全球主流存儲廠商之一。
服務大客戶、交付大工程的能力提供了一個窗口,讓業界感知到浪潮軟件定義存儲的專業實力和市場地位。翻開浪潮存儲的PB級大工程名單,可以看到軟件定義存儲AS13000實現了在某資源中心一套70PB、某運營商數十套每套PB級系統、某省政務云90個節點、20PB容量、成都三環路視頻監控系統中108節點、20PB容量、廣電總局141個節點、10PB的云平臺、華強方特5PB、千萬級小文件并發性能的動漫制作平臺、中石油東方物探34個節點、5PB容量的高性能計算平臺的應用部署。在金融、通信、政府、企業、互聯網、媒資、醫療、教育等行業,浪潮存儲在其中都進行了大規模部署。