摘 要: 結合高速公路交通視頻的特點,提出了監控中運動車輛對象提取的方法。該方法利用混合背景差分法提取運動目標,并對目標進行形態學處理,最后結合后退N幀、半監督學習的閾值選取的思想提取車輛對象特征最顯著的視頻幀。實驗結果表明,該方法有效地改善了傳統的混合高斯背景差分提取運動對象過程中出現的孔洞、噪聲和車輛對象非完整性及特征不顯著的問題,進而優化了車輛對象的提取流程。
關鍵詞: 車輛對象提取; 背景差分法; 后退N幀算法; 自適應閾值
近年來,隨著經濟水平的發展和國內市場需求的擴大,汽車持有量的持續增長使公共交通監管面臨巨大壓力和挑戰,針對交通監管的智能交通(ITS)的發展勢在必行[1]。監控視頻的內容檢索中車輛對象檢測與識別是智能交通系統中的重要組成部分[2]。我國在智能交通的建設和理論研究領域也得到了國際的認可,紀筱鵬[3]結合輪廓特征和車輛跟蹤方法提取監控視頻中的車輛對象取得了很好效果;馮文剛[4]轉化顏色空間到VIRGBC中,通過條件隨機場訓練得到的調和平均數對車輛的陰影進行了很好的分割;王正玉[5]利用車輛特征實現視頻中車輛關鍵幀的提取。
我國西南地區的智能交通監控體系還不太成熟,硬件設備相對落后,致使很多監控視頻資源無法得到有效的利用。監控視頻提供了車輛的動態行駛信息,視頻分辨率較低、車輛特征信息不明顯,視頻可用價值不突出,而車輛對象的提取是視頻資源利用的前提。本文結合高速公路僅有運動車輛的特點,消除車輛對象提取過程中的干擾因素,提取視頻序列中RIO特征最顯著的車輛對象。最后將研究成果運用到實際工程中,開發出基于事件定位的播放器原型,提高了交通監控系統工作人員的視頻檢索效率。
1 車輛對象的提取算法
交通監管中對車輛對象的檢測方法有基于地磁傳感線圈、紅外、雷達波頻檢測的硬件檢測,還有利用光流法、背景差分法和幀間差分法等算法對視頻資源進行車輛對象檢測。車輛對象檢測相對于基于硬件的檢測有成本低、安裝維護簡單和數據信息量大等優點。本文對視頻車輛對象提取方法進行對比分析,并選擇背景差分法中的混合高斯背景建模法提取車輛運動對象,并在該算法的基礎上優化處理流程。
光流法[6]是通過比較視頻圖像序列在時間軸上空間域的灰度改變量達到檢測運動對象的目的。光流法對速度差異的多目標運動對象提取具有優勢,但其模型計算量高,不利于工程化應用。幀間差分法[7]是對圖像序列中的相鄰兩幀或者3幀圖像進行閾值化的灰度差分檢測運動車輛對象。幀間差分法實現簡單,但運動對象有較大的孔洞,不利于圖像序列中車輛對象的完整性檢測。背景差分法[8]將當前圖像幀與事先建立的背景進行灰度化閾值差分得到運動車輛對象。背景差分法的復雜度低,運算速度比光流法快,適合工程化應用?;旌细咚鼓P蚚9]克服了單一點處受環境、光照和噪聲等因素的影響?;旌细咚贡尘澳P偷臄祵W模型表示為:
實際試驗結果表明,基于背景差分法的運動車輛對象提取容易受天氣、樹葉等環境因素影響,并且車輛對象完整性較差;基于混合高斯建模的背景差分法對圖像中的每個像素建立多個高斯模型,有效地克服了白噪聲、字幕和樹葉周期性抖動的影響,對監控視頻中車輛對象的提取保留了對象車輛的相對完整性。
2 車輛對象提取的優化方法
背景差分法提取出來的車輛對象存在以下問題:(1)車輛對象仍然有孔洞的存在,其原因是視頻的分辨率相對較低,車輛對象的擋風玻璃與背景道路的灰度值相似而被誤認為是背景,導致孔洞效應的出現; (2)經過背景差分和形態學處理后得到的二值圖像中有點狀白噪聲的出現; (3)無法檢測到視頻車輛對象特征最明顯的視頻幀(即車輛對象出現在視頻中面積最大且清晰的幀)。為解決以上問題, 本文提出車輛對象提取的優化方法,其流程如圖1所示。
2.1 ROI的設定
感興趣區域ROI(Region Of Interest)的設定是圖像處理領域常用的方法,可減少圖像處理算法中的計算量,實現只對限制區域內圖像進行處理的目的。公安交通監控系統產生的監控視頻圖像序列上下邊框中有卡口的時間、地點信息,此區域對車輛對象提取沒有實質性影響。本文對要處理視頻圖像序列設定ROI,以減少這些因素的干擾。
2.2 形態學處理
形態學處理可以簡化圖像數據,消除噪聲、骨架化,填充和分割等圖像處理任務。對車輛二值圖像利用形態學閉操作填充背景差分出現的孔洞,實現車輛對象的完整性。實驗結果表明,經過形態學閉操作的處理可以得到較完整的車輛對象,如圖2所示。
(6)執行步驟(3)。
首先,通過面積閾值的設定解決了形態學處理后白噪聲的干擾問題(如圖3(a)所示),且當對象面積超過設定閾值時才進行步驟(1)中的幀存儲,從執行流程上有利于算法的執行效率。其次,避免了車輛對象撞擊圖像邊框造成的對象缺失問題,根據道路中車輛對象的行駛方向得知,從車輛對象駛入監控視角,對象面積將變大且車輛特征愈加明顯,隨著車輛駛離監控畫面,車輛對象撞擊圖像邊框將會造成車輛特征的缺失(如圖3(b)所示),但此時對象面積檢測的結果仍可能有增加的趨勢,隨著車輛對象的駛離,對象面積將再次減少,結合車輛速度和視頻播放幀率建立函數N=Function(V),N的選取與視頻中車輛對象的速度V相關,針對本文所用視頻采取了后退N=3幀的策略,避免了車輛對象撞擊視頻邊框而造成的對象特征缺失問題。最后,面積的自適應閾值更新算法借鑒半監督學習的思想,首先人工設定閾值ε0,然后根據圖像序列中提取出來的對象對閾值進行更新,?琢是更新的權值,Mn-2為提取車輛對象的面積。為了避免面積閾值的單調遞增而產生小型車對象的漏檢,當閾值增長超過閾值限度δ后,算法采取閾值下降策略,將閾值回歸到ε0,閾值自適應更新的同時也優化內存圖像序列替換流程的執行。
3 基于事件定位的播放器原型的應用
監控視頻中車輛對象的提取可以應用到公安交通的監控視頻檢索系統平臺,本文對車輛對象提取作了應用性探索,開發了基于事件定位的播放器軟件,其應用原型及原理圖如圖4所示。
監控視頻中車輛對象出現的關鍵幀代表視頻中的事件。監控視頻與車輛對象所在關鍵幀之間的時間映射關系存儲在檢索數據庫中,播放器軟件通過加載視頻資源ID檢索服務器中此視頻資源的關鍵幀,通過播放器加載的關鍵幀組直觀地了解此視頻資源中所出現的車輛對象,點擊相應的關鍵幀快速定位到事件的視頻位置。這種基于事件的視頻檢索流程提高了公安交通部門工作人員的檢索效率,有著實際的應用價值。
本文提出了針對交通監控視頻中車輛對象提取的優化方法,利用高斯背景差分、ROI設定和形態學處理等技術,結合后退N幀與自適應閾值的思想,在解決混合高斯背景差分得到車輛對象具有的孔洞、噪聲干擾、對象不完整性與特征不顯著性方面得到了很好的效果,同時優化了算法的執行效率,并在工程應用方面進行了探究。
參考文獻
[1] LI L,SONG J,WANG F Y.New developments and research trends for intelligent vehicle[J]. IEEE Intelligent System,2005,20(4):10-14.
[2] 姜旭.視頻圖像處理技術在智能交通系統中的應用[D].蘇州:蘇州大學, 2009.
[3] 紀筱鵬, 魏志強.基于輪廓特征及擴展Kalman濾波的車輛跟蹤方法研究[J]. 中國圖象圖形學報,2011(2):267-272.
[4] 馮文剛,高雋,BUCKLES B,等.多顏色空間中目標約束的車輛陰影分割研究[J].中國圖象圖形學報,2011,16(9):1599-1606.
[5] 王正玉,李勃,張明輝,等.基于車輛特征的關鍵幀提取方法研究[J]. 微型機與應用,2011,30(22):49-51.
[6] BARRON J L, FLEET D J, BEAUCHEMIN S S. Performance of optical flow techniques[J]. International Journal of Computer Vision,1994,12(1):42-77.
[7] ANDERSON C, BURT P, VANDER W G. Change detection and tracking using pyramids transformation techniques[C].
Proceedings of SPIE Conference on Intelligent Robots and Computer Vision, 1985.
[8] SEKI M, FUJIWARA H, SUMI K. A robust background subtraction method for changing background[J]. Proceeding of IEEE Workshop on Applications of Computer Vision, 2000:207-213.
[9] WAND Y Z, LIANG Y, PAN Q, et al. Spatiotemporal background modeling based on adaptive mixture of gaussians[J]. Acta Automatica Sinica, 2009(04):321-328.