摘 要：? 針對既有攝像機運動又有前景物體運動的圖像穩定問題，提出了一種快速算法。該算法首先利用改進的Harries算子提取特征點，根據三級匹配策略實現特征點的三級匹配，并且利用基于塊的去噪聲點方法檢測出前景區域，剔除存在于前景區域的角點；然后建立當前幀與參考幀的映射關系，利用最小二乘法求解出全局運動參數；最后利用Kalman濾波平滑運動參數，依據平滑后的參數對圖像進行補償。
關鍵詞：? Harris corner； 全局運動估計； Kalman濾波；? 數字視頻穩定
?
由于受飛行器振動及天氣等因素的影響，安裝在飛行器上的攝像機拍攝到的圖像存在抖動、失穩等現象，使成像質量下降,分辨率降低，嚴重增加了觀察人員的疲勞強度，從而很難使飛行器對運動目標進行準確跟蹤和精確瞄準，此時圖像穩定技術就變得格外重要。圖像穩定技術由全局運動估計和運動補償兩模塊組成。全局運動指的是由攝像機運動而導致的圖像的整體運動，因此只需要很少一組參數就能描述[1]，而全局運動估計就是對這些參數的估計。全局運動估計的方法主要分為微分法[2]和特征點[3]對應法。
圖像穩定技術的關鍵問題存在于全局運動估計模塊，主要有如下兩個:(1)計算速度。不論在圖像穩定技術還是在視頻編碼技術中，運動估計都是最耗時的部分。國內外許多專家和機構提出了許多加快此計算速度的算法，但是都沒有從根本上解決這個問題。(2)外點去除，本文是對具有前景運動視頻的穩定處理，外點去除是其必須要處理好的問題。對于計算速度，本文采用改進的Harris 算子進行角點檢測，根據三級匹配策略實現特征點的三級匹配，加快了全局運動估計的計算時間。對于外點去除，考慮到局部運動點具有聚集成塊的特性，賀玉文等人[4]提出了基于塊的去除局部運動點，本文將介紹這種去外點的方法。在運動補償模塊中，首先采用Kalman 濾波方法確定各幀最終的補償量，然后使用雙線性插值進行運動補償。但運動載體的抖動頻率和幅度是隨機的，在使用Kalman濾波中必須選擇合適的噪聲模型，否則容易使序列產生過穩或欠穩現象。
1 全局運動估計算法介紹
1.1 攝像機運動模型
根據復雜性的不同，圖像運動模型有多種描述形式，其中，Affine模型是一種線性模型，能精確地描述純旋轉、相機在場景中較小深度變化時的平移和變焦運動。此模型適合絕大多數的室內和室外場景。其表達式為：
式中,(xi-1,yi-1)和(xi,yi)分別為在時刻ti-1和ti時兩幀圖像的像素坐標，(a1,a2…a6)為圖像幀間的變換參數，其中,a3、a6與圖像的平移運動有關，a1、a2、a4、a5與圖像的縮放、旋轉運動有關。本文采用此模型進行全局運動估計的計算。
1.2 角點檢測
Harris 算子是一種點特征提取算子，因其具有計算簡單、提取的點特征均勻而合理、定位精度高、抗噪聲能力強及穩定性好的特點，得到了人們廣泛的應用。
Harris角點檢測公式為：
式中，w(x,y)為窗函數(可為矩形窗或高斯窗)；[I(x+u,y+v)-I(x,y)]2為圖像灰度的梯度值。對于每個小的位移量(u,v)，式(2)可以雙線性近似表示為：
為了實現角點的精確匹配，針對航載視頻背景復雜又有前景混合的情況，本文對角點檢測進行了改進。采用三級匹配策略:(1)利用Harris角點檢測算子提取兩幀圖像上的角點，構造其灰度差分不變量，獲得灰度差分不變量的特征向量；(2)運用歐氏距離測量兩個向量之間的相似程度得到初始匹配點對；(3)用半鄰域限制來實現兩幅圖像上特征點集之間的細匹配，刪除錯誤匹配點對。灰度差分不變量具有平移、旋轉不變性；對噪聲也有很好的抑制作用，利用這些特性可以剔除歧義點和誤匹配點。
1.3 攝像機模型參數計算
把屬于背景上的n(n>3)對角點代入到(1)式，得到下面的公式：
這是一個方程個數大于未知數個數的超定線性方程，下面利用最小二乘法求解此超定方程：
1．4 去外點
利用1.2節的方法求得頭兩幀的角點，手動去除存在于前景物體區域的角點，再利用1.3節介紹的方法求得它們全局運動參數，然后用此參數對當前幀進行補償，得到殘差圖像。具體做法：將殘差圖像分成M×N大小的塊，計算每個塊的SAD值，SAD的定義如下：
式中，Rij是(i,j)塊的殘差。將所有塊的SAD值進行排序并將SAD大的前30%的塊作為預選去除塊，按照下面的方法確定最后的去除塊。首先設B(i,j)塊是一個預選去除塊，如果它的8領域中有多于4個預選去除塊，則B(i,j)這個預選去除塊將被去除，并標志為去除塊；然后對剩下的預選去除塊進行如下處理：如果它的8領域中有去除塊，則這個預選去除塊也將被去除。所劃分塊的大小對去外點所需計算量和去除效果都有很大的影響，根據經驗，對于288×352像素的CIF圖像16×16大小的塊較為合適。
如果角點位于前景區域，則剔除這些角點，從而成功消除了外點的影響。最終匹配結果如圖1所示。
?
2 基于Kalman濾波的運動補償
估計出運動參數后，接下來就是根據參數對圖像進行運動補償。攝像機的主動運動都是緩慢而有規律的，與其相比，隨機抖動的頻率變化較快，無一定的規律性，可以采用低通濾波的方法去除，對運動參數進行平滑，完成實時運動補償。假設在攝像機載體做恒速運動的情況下，建立狀態空間模型和量測方程[5]：
? 
式中, aiv分別是ai的變化速率，N(0,σo)、N(0,σ)是相互獨立的高斯白噪聲。為驗證本文算法的效果，選用waterfall、coastguard、foreman、stafen等多個標準視頻測試序列，在PC機上用 matlab7.0進行仿真試驗。
??? waterfall視頻序列連續30幀全局運動參數估計及kalman濾波結果以及參數(a1,a2…a6)及經 Kalman 濾波后的結果(a1′,…,a6′)如圖2所示,濾波過程中σ=100，σo=0.001。其中，變化較劇烈的虛線是帶有抖動的全局運動估計參數，平滑的實線為經Kalman濾波去抖后的攝像機參數。圖2表明，Kalman濾波能很好地去除或減輕抖動，保留攝像機的主觀運動。
?
使用平滑后的全局運動參數對當前幀進行補償，然后再對運動補償后的圖像進行背景填充，實現圖像的穩定處理,其處理效果分別如圖3、圖4所示。waterfall序列主要針對攝像機的縮放和旋轉運動，圖3是其穩定處理的示意圖；coastguard主要針對圖像的平移運動，圖4是對其進行穩定處理的示意圖。圖3(a)、(b)、(c),圖4(a)、(b)分別是當前幀和參考幀，圖3(c)、圖4(c)是用平滑去抖后的攝像機參數進行補償后的示意圖，圖3(d)、圖4(d)是穩定處理，也就是對補償后的圖像進行背景填充，重建穩定后的當前幀，得到穩定的視頻圖像。由圖可知，用此方法處理的視頻穩定的效果非常好，本算法不論是對攝像頭的旋轉、縮放運動還是平移運動，都能達到很好的穩定處理效果。
基于特征匹配的穩像算法，采用了改進的 Harris 算子檢測特征點。由于Harris 角點具有精度高、抗噪聲能力強、穩定性好的特點，使得此穩像算法適用于處理具有前景運動物體而背景又復雜的航載視頻的穩定問題。基于塊的去外點方法符合實際情況，能很好地去除外點的影響。Kalman 濾波數據存儲量小，平滑效果好，適用于實時穩像。大量實驗驗證了穩像算法的可靠性和有效性，在移動視頻監視系統、目標的檢測及跟蹤系統有很好的應用前景。
參考文獻
[1] ?KIM E T, KIM H M． Efficient linear three-dimensional?camera motion estimation method with applications to video? coding[J]．Optical Engineering. 1998,37(3):1065-1077.
[2] ?KELLER Y, AVERBUCH A. Fast gradient methods based?on global motion estimation for video compression[M]．IEEE Transactions on Circuits and Systems for Video?echnology, 2003,13(4):300-309.
[3] ?ZHU Fang, XUE Ping, ONG E．Low-complexity global?motion estimation based on content analysis[C]．Proceedings ?of International Symposium on Circuits and Systems,2003,?2(2):624-627.
[4] ?賀玉文，趙黎，鐘玉琢，等. 快速魯棒的全局運動估計算法[J].軟件學報，2001，12（8）：1220-1228.
[5] ?LITVIN A, KONRAL J, WILLIAM C，Karl probabilistic?video stabilization using Kalman filtering and mosaicking[A]. IS&T/SPIE Symposium on Electronic Image and?Video Communications and Proc[C],2003,5022:663-67.