劉曉陽,薛純
(中國海洋大學 信息科學與工程學院,青島 山東 266100)
摘要:圖像顯著性檢測在目標識別、目標跟蹤、視覺信息挖掘等研究中具有重要價值,而水下圖像研究又是海洋相關學科的基礎。文章針對水下圖像特性,提出一種結合Retinex圖像增強和超像素分割算法的多尺度顯著性區域檢測方法,以獲取均勻、清晰的顯著圖。在每個尺度上進行超像素顯著性估計和貝葉斯概率估計,將不同尺度的顯著圖進行加權求和與導向濾波,得到平滑且邊緣清晰的顯著圖。根據水下不同倍數的衰減距離建立數據集,驗證了該算法具有較強的魯棒性。
關鍵詞:圖像增強;超像素;貝葉斯估計;顯著性
中圖分類號:TP391文獻標識碼:ADOI: 10.19358/j.issn.1674-7720.2017.09.014
引用格式:劉曉陽,薛純.基于多尺度的水下圖像顯著性區域檢測[J].微型機與應用,2017,36(9):45-48.
0引言
視覺注意指人類及其他靈長類動物在面對復雜場景時能夠快速地找到自己感興趣或比較顯著的區域,并對其進行優先處理,在很大程度上提高了視覺系統的信息處理效率。視覺注意機制是一個多學科多交叉的領域,受到許多學科研究者的關注,如:神經科學、生理學、心理學以及計算機科學等。
其中,將視覺注意引入到計算機領域稱為顯著性檢測,即檢測出圖像的顯著性信息,忽略冗余信息。視覺注意計算模型被應用到很多計算機視覺領域,如圖像分割、目標識別、視覺信息挖掘及視頻壓縮等[1]。顯著性檢測算法已有很多成型的模型,比如Itti等提出的顯著圖模型[2]、Harel 等提出的基于圖論的圖像顯著性分析算法(GBVS算法)[3]、Achanta等提出的兩種顯著圖模型(AC算法和IG算法)[4-5]以及Hou Xiaodi等提出的基于頻域空間分析的一種剩余譜方法(SR算法)[6]等。它們基于不同的理論基礎,非常具有代表性,且在計算機上易于實現,實驗得到的效果比較好。
在水下成像系統中,由于水介質對光的吸收作用和水中微粒對光的散射作用,使得水中圖像伴有較強的衰減和分辨率不足的特性。所以,現有的顯著性檢測模型雖然用于陸地上光學成像的顯著性檢測具有較好的效果,但是并不適用于水下光學成像的顯著性檢測。本文提出了一種結合Retinex圖像增強[7]和超像素分割算法[8]的多尺度顯著性區域檢測方法,使得水下圖像顯著性檢測得到了較好的效果。
1Retinex圖像增強算法
由于水體對光的吸收效應和散射效應使得水下圖像有嚴重的非均勻亮度和細節模糊、信噪比很低、對比度明顯變差,整體偏藍或者偏綠,顏色深淺不一,而且亮度常常不均勻,所以,研究水下圖像需要先進行圖像增強處理。本文選取基于色彩恒常性的Retinex圖像增強算法進行水下圖像增強。
根據Retinex理論,人眼感知物體的亮度取決于環境的照明和物體表面對照射光的反射,其數學表達式為:
S(x,y)=R(x,y)×L(x,y)(1)
式中:S(x,y)代表被觀察或照相機接收到的圖像信號;L(x,y)代表環境光的照射分量;R(x,y)表示攜帶圖像細節信息的目標物體的反射分量。Retinex理論的目的就是從獲得的圖像中消除照射分量獲得物體的反射分量,即獲得物體的本來面貌。
將式(1)兩邊取對數,即:
log[R(x,y)]=log[S(x,y)]-log[L(x,y)](2)
其中,L(x,y)可通過對原始圖像S(x,y)做高斯模糊得到。
多尺度Retinex算法是單尺度Retinex算法的加權求和,既能實現圖像動態范圍的壓縮,又能保持色感較好的一致性。其數學表達式為:
log[R(x,y)]=∑Ni=1ωi×{log[Si(x,y)]-log[Li(x,y)]}(3)
其中,N表示尺度的個數,通常為3;ωi表示加權系數,各尺度權重之和必須為1,經典取值為等權重。
2多尺度水下圖像顯著性區域檢測
在顯著性檢測時,選擇超像素分割與高斯平滑,得到不同尺度下的超像素分割結果,在每個尺度上進行超像素估計和貝葉斯概率估計,最后將不同尺度下得到的顯著圖進行加權求和及導向濾波,最終得到平滑且邊緣清晰的顯著圖。
2.1高斯濾波與SLIC超像素分割
2.1.1高斯濾波
高斯濾波是一種線性平滑濾波,用一個模板掃描圖像中的每一個像素,用模板確定的鄰域內像素的加權平均灰度值去替代模板中心像素點的值。其二維表達式為:
通過改變參數σ,可得到不同的平滑結果, σ越大,高斯濾波器的頻帶就越寬,平滑程度就越好。
2.1.2SLIC超像素分割
SLIC算法基于像素間顏色相似性和空間位置的接近度對圖像進行聚類產生人們期望數量的超像素(不超過圖像中像素的個數),計算量較小。其基本步驟為:
(1)初始化聚類中心。按照設定的超像素個數,在圖像內均勻地分配種子點。假設圖片總共有N個像素點,預分割為K個相同尺寸的超像素,那么每個超像素的大小為s=N/K,則相鄰種子點的距離(步長)近似為S=sqrt(N/K)。
(2)在種子點的n×n鄰域內重新選擇種子點(一般取n=3)。計算該鄰域內所有像素點的梯度值,將種子點移到該鄰域內梯度最小的地方。
(3)在每個種子點周圍的鄰域內為每個像素點分配類標簽,即屬于哪個聚類中心。期望的超像素尺寸為S×S ,搜索范圍限制為2S×2S,可以加速算法收斂。
(4)距離度量。包括顏色距離和空間距離,對于每個搜索到的像素點,分別計算它與該種子點的距離,將最小值對應的種子點作為該像素點的聚類中心。
(5)迭代優化。不斷迭代直到誤差收斂,一般迭代次數取10。
(6)增強連通性。為避免出現多連通、超像素尺寸過小、單個超像素被切割成多個不連續超像素等情況,可新建一張標記表,按照“Z”型走向(從左到右,從上到下順序)將不連續的超像素、尺寸過小超像素重新分配給鄰近的超像素,遍歷過的像素點分配給相應的標簽,直到所有點遍歷完畢。
2.2超像素顯著度估計
針對每一個尺度下的分割圖,都通過三種顯著性策略來判斷某一塊超像素是否具有顯著性[9]。局部對比度:通過計算每塊超像素之間的歐氏距離來表示。中心偏離:通過計算超像素幾何中心與圖像幾何中心的空間距離來表示,靠近圖像中心的超像素更有可能具有顯著性。超像素完整性:通過計算某一塊超像素內包含的圖像邊緣像素來表示,含有圖像邊緣像素越多的超像素區域越有可能不完整。具體公式如下:
其中,cmi表示某一塊超像素,nmj表示與cmi相鄰的超像素區域,Nmi表示相鄰區域的數量,wmij表示nmj與全部相鄰超像素集合{nmj}的比;d(cmi,nmj)表示歐氏距離;h(φ)=-log(1-φ)函數保證輸出為正;g(x,y)表示超像素cmi的幾何中心(x,y)與全圖幾何中心(x0,y0)的空間距離,δx、δy分別為全圖的寬與高的1/3,進而可得靠近圖像中心的超像素更有可能具有顯著性;q(u)表示cmi的完整性,u表示cmi中包含的邊緣像素數量,E表示邊緣像素總數量,u越大,在邊緣處的像素越多,q(u)越小,該超像素區域越不完整。因此,通過上述計算,可以獲取具有顯著性的超像素區域。
2.3計算觀測似然函數
運用Harris角點檢測提取出圖像的顯著點,用凸包將邊緣顯著點之外的所有顯著點包圍進來,若某一超像素區域與凸包的重疊部分大于設定的閾值,則將其標記為前景,進而將前景與背景分離;分別計算L、a、b三通道的觀測似然函數,進行乘法運算;最后,與上一步中得到的超像素顯著性函數相結合,得到最終顯著性函數。
在(L,a,b)三個通道上分別計算某一像素點z的觀測似然函數:
其中,NS1、NS0分別表示前景S1和背景S0的所有像素值,N1(zr)、N0(zr)分別表示r(z)=(l,a,b)在顏色空間統計直方圖上的值。進而計算出每個像素點是前景還是背景的概率。
綜合上一步,將超像素顯著性估計與像素觀測似然函數相結合,得某一尺度下的像素顯著性函數:
2.4尺度加權求和
將多尺度下得到的顯著圖進行加權求和,假設M個尺度,則對于像素點z的最終顯著性函數V(z)為:
其中,Wm(z)表示每一個尺度的權重,cm(z)表示z所在的超像素區域,cm(z)表示這些超像素區域內的像素平均值,γ(z)表示進行歸一化。
3實驗結果與分析
在能見度為2.5 m的海水中獲取圖片,根據海水中能見度與衰減距離的關系,即能見度為3.5倍衰減距離,建立3組數據集,分別為目標距CCD 1.5倍衰減距離、2.0倍衰減距離、2.5倍衰減距離,每組約80幅圖像,在數據集上驗證算法的有效性。圖1為1.5倍衰減距離(約1.5×0.7 m)下獲得的水下圖像。
3.1水下圖像增強
本文選擇幾種經典的圖像增強算法進行比較,結果如圖2所示。
如圖2所示,多尺度Retinex增強算法得到的增強效果對比度更強,對之后的顯著性檢測更有幫助,因此本文選擇多尺度Retinex增強算法對水下圖像進行圖像增強。最大尺度為300,尺度數為3。
3.2多尺度超像素分割
將增強后的圖像進行多尺度超像素分割,通過改變SLIC尺度參數s和高斯平滑參數σ,得到不同尺度下的超像素分割結果。在超像素的小區域內的像素具有極為相似的顏色和紋理信息,最大程度地保持了圖像中目標原有的邊界結構信息。圖3為一幅多尺度分割圖案。
3.3顯著區域檢測結果
在每一尺度上進行超像素顯著性估計和貝葉斯顯著概率估計,進行加權求和得到最終的顯著圖,最后再進行導向濾波,最終得到平滑且邊緣清晰的顯著圖。圖4~圖6為幾組實驗結果。
(1)圖4為1.5倍衰減距離(約1.5×0.7 m)時水下圖像顯著性檢測結果。
(2)圖5為2倍衰減距離(約2×0.7 m)時水下圖像顯著性檢測結果。
(3)圖6為2.5倍衰減距離(約2.5×0.7 m)時水下圖像顯著性檢測結果。
實驗結果表明,本文算法在不同數據集上都取得了較好效果,進而驗證了其處理水下圖像顯著性檢測的有效性和魯棒性。
4結論
本文主要研究水下圖像顯著性區域檢測,根據水下圖像特性結合圖像增強算法,獲取均勻、清晰的顯著圖;根據不同倍數的衰減距離,建立相應數據集,驗證了算法的有效性和魯棒性,為水下目標識別、目標跟蹤、視覺信息挖掘等研究奠定了基礎。
參考文獻
[1] 吳世東. 一種基于目標先驗信息的視覺跟蹤算法[J]. 微型機與應用, 2016, 35(4):46-49.
[2] ITTI L, KOCH C, NIEBUR E. A model of saliency based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.
[3] HAREL J, KOCH C, PERONA P. Graphbased visual saliency[J]. Advances in Neural Information Processing Systems, 2007(19):545-552.
[4] ACHANTA R, ESTRADA F, WILS P, et al. Salient region detection and segmentation[C]. International Conference on Computer Vision Systems, 2008:66-75.
[5] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequencytuned salient region detection[C]. IEEE International Conference on Computer Vision and Pattern Recognition, 2009:1597-1604.
[6] Hou Xiaodi, Zhang Liqing. Saliency detection: a spectral residual approach[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2007:1-8.
[7] 肖燕峰.基于Retinex理論的圖像增強恢復算法研究 [D].上海:上海交通大學,2007.
[8] 阮士峰.基于超像素的圖像顯著性研究[D].西安:西安電子科技大學,2014.
[9] Tong Na, Lu Huchuan, Zhang Lihe, et al. Saliency detection with multiscale superpixels[J]. IEEE Signal Processing Letters, 2014, 21(9):1035-1039.