文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.190928
中文引用格式: 李甜甜,林珊玲,林志賢,等. 基于人眼視覺的電潤濕電子紙圖像分層映射技術研究[J].電子技術應用,2020,46(3):86-91.
英文引用格式: Li Tiantian,Lin Shanling,Lin Zhixian,et al. Research on hierarchical mapping technology of electrowetting electronic paper based on human visual system[J]. Application of Electronic Technique,2020,46(3):86-91.
0 引言
電潤濕電子紙顯示器是反射型顯示器,利用環境光即可顯示,具有響應速度快、對比度高、功耗低等優點[1-5]。然而,目前電潤濕電子紙顯示屏受驅動芯片和驅動方式等限制,無法直接顯示高灰度圖像,若直接取圖像高位數據,舍去低灰階數據,將造成圖像對比度、視覺信息損失,為解決這個問題,可采用色調映射算法,把圖像映射到一個新動態范圍,以提高圖像對比度[6-8]。DRAGO F等[9]模擬人類對光的反應,根據每個像素亮度自適應調整對數基,使圖像細節和對比度保持良好。TAN J等[10]將圖像分成幾個相同大小的塊,利用雙邊濾波提取細節層,實現塊映射融合對數映射。DURAND F等[11]利用快速雙邊濾波將高動態范圍圖像分為基本層和細節層,保留細節并降低動態范圍。陳文藝等[12]在亮度域使用對數壓縮和限制對比度自適應直方圖均衡化算法,轉換到色彩域后采用色彩恢復和色彩增強算法,可有效降低色彩失真。WANG J等[13]提出一種局部自適應雙邊濾波器,根據像素亮度值自適應調整對數基,實現高亮度范圍壓縮,在暗區具有良好對比度和細節。李大軍等[14]提出一種基于參數估計的雙邊濾波Retinex圖像增強算法,可有效保留邊緣信息,抑制光暈現象。THAI B C等[15]使用分段線性函數,根據人類視覺的感知量化調整低動態范圍圖像像素分布,同時保留了更多圖像信息。劉朝濤等[16]利用形態學方法對原始圖像增強,提高對比度,并對圖像進行光照補償,改善因光照不均引起的色彩改變。DUAN J等[17]在局部區域中使用基于灰度直方圖的色調映射算子對圖像分割,調整自適應對比度,利用固定參數值對多種圖像具有良好映射效果。
眾所周知,電潤濕電子紙顯示器的顯示亮度與驅動電壓之間呈非線性關系[18-20],這樣導致在不同的初始狀態下,相同電壓、相同時間長度的驅動脈沖作用下帶來的亮度變化是不同的,可能會導致圖像失真、細節丟失等問題。因此,為實現電潤濕顯示器的精準調制,必須對其亮度進行校正。
基于上述問題,本文根據人眼對亮度的變化接近于對數關系,把原始圖像的范圍映射到一個符合人眼視覺特性的低動態范圍,再對映射后圖像進行亮度局部線性拉伸,使得輸出圖像既能較好地保留更多輪廓細節,又能提高整體對比度,提升可視化效果。
1 基于人眼視覺特性的分層映射算法
本文算法基本流程圖如圖1所示。利用雙邊濾波對輸入圖像進行分層,得到基本層和細節層,對基本層圖像進行基于對數圖像處理模型(Logarithmic Image Processing,LIP)的Lee圖像增強,實現亮度預處理;再基于人眼視覺特性,對圖像進行分區對數映射,以適應人眼在不同程度的亮度區域內對亮度的感知;然后與細節層加權融合為輸出圖像;最后進行電潤濕顯示器的亮度局部線性拉伸,實現精準調制。
1.1 基于LIP模型的圖像增強算法
對輸入圖像進行濾波處理,得到基本層和細節層。其中,基本層主要對應圖像低頻信息,細節層主要包含圖像高頻信息。圖像分層過程如式(1)和式(2)所示:
1.2 基于人眼視覺的亮度映射
1.2.1 基于人眼視覺的圖像分區
引入背景強度B(x,y)和梯度信息G(x,y),如式(4)和式(5)所示。
1.2.2 分區對數映射
基于人眼視覺的研究,顯示給人眼看的亮度值Ld和場景亮度值Lw之間存在如式(13)所示的映射關系。
式中,Yw為圖像R′(x,y)每個像素的亮度值,Ywmax為Yw取值集合中的最大值,Yworld為場景適應亮度;N是圖像R′(x,y)像素的總數;δ為很小的值,一般取0.000 1。
以對數映射為基礎,進行分區對數映射。LD和WS區映射分別如式(17)和式(18),Ld1、Ld2分別為LD和WS區映射后亮度值。對不同區選取不同對數底數,以符合亮度映射需求。在低對比度和德弗里斯區,對數底數為2,可增強對比度和亮度;k,q∈(1,+∞),選用較大的k、q可有效維持細節,保證暗區細節可見性。在韋伯和飽和區,為避免單一底數的過度壓縮,引入如式(19)所示的偏置冪函數使對數底數自由可調,本文b=0.85,在壓縮W和S區的同時不丟失較暗部分細節。
1.2.3 加權融合
對映射后的子圖像Ld1和Ld2進行合并,得到區域合并后圖像亮度LB′(x,y),如式(20)所示。最后將LD(x,y)和LB′(x,y)加權融合為輸出圖像T(x,y),如式(21)所示。
式(21)中,p1∈[0.7,1],p2=1.1。式(20)中,ρLD、ρws分別為兩個區域在局部范圍內所占比重。
1.3 亮度校正
如圖2所示,電潤濕顯示器的相對亮度與驅動電壓呈非線性關系。由圖2可知,當施加電壓低于10 V時,像素亮度基本不變,即像素為關閉狀態;當施加電壓高于10 V時,像素亮度開始變化,亮度在25~40 V電壓之間的變化比10~25 V電壓之間的變化緩慢,這樣使得在不同初始狀態下,相同電壓、相同時間長度的驅動脈沖作用下帶來的反射率變化不同,將會導致圖像信息丟失等問題。因此,必須對25~40 V電壓之間的顯示特性進行校正。
利用式(23)對電潤濕顯示器件進行亮度校正,得到的輸入圖像數據對應的輸出圖像數據如表 1所示。由表1可知,輸入圖像數據為1110對應的歸一化電壓為0.725,歸一化亮度為0.953 48,經線性拉伸后,歸一化亮度為0.799 25,輸出圖像數據為1100。
2 結果與分析
2.1 分區對數映射仿真結果與分析
圖像質量評價方法主要有視覺比較和客觀評價。視覺比較是用人眼直接觀察,大腦根據主觀意識得到相關結論。客觀評價方法主要有熵值(Entropy)、均方根誤差(MSE)、峰值信噪比(PSNR)、整體圖像質量(UIQI)、結構相似度(SSIM)等[25]。本文選用熵值、峰值信噪比、結構相似度、整體圖像質量來評價圖像質量。
本文選取一些數字圖像處理經典圖像進行實驗,利用直方圖校正映射,基于Retinex的映射算法與本文算法的結果對比。實驗基于MATLAB2017平臺開發環境實現。
2.1.1 主觀評價
Lena、Peppers、Sunset_sparrow不同算法效果圖分別如圖3、圖4和圖5所示。
圖3(b)、圖4(b)和圖5(b)為直方圖校正映射算法處理結果,Lena的帽子亮度值較大的部分細節丟失,不易分辨亮處細節;Peppers亮度不均勻;Sun-sparrow部分過亮,造成樹枝暗處細節丟失。圖3(c)、圖4(c)和圖5(c)為基于Retinex的映射算法處理結果,Lena圖像整體過暗,頭發細節部分失真;Peppers圖像不自然,出現過增強或過壓縮現象;sparrow和樹枝邊緣均出現了明顯的“光暈”現象。圖3(d)、圖4(d)和圖5(d)為本文算法處理結果,保留Lena圖像大部分細節;Peppers整個圖像較為真實,明暗過渡自然,適合人眼觀察;sparrow邊緣避免了“光暈”現象,且樹枝輪廓清晰,保留了圖像對比度。本文算法使得圖像較暗部分細節在映射后清晰可見,較亮部分在映射后較好地壓縮了動態范圍,能保持幾乎所有可視細節信息,圖像整體視覺效果比較和諧。
2.1.2 客觀評價
熵用于衡量圖像信息豐富程度,如式(24)所示,其中p(xi)為灰度級xi的累積頻率。當灰度級發生“吞噬”現象時,圖像的信息量即“熵值”是減小的。
峰值信噪比反映圖像清晰度,如式(25)所示,其中S為像素最大灰度值。m、n為圖像長和寬,L(x,y)、T(x,y)為原圖像和映射后圖像,PSNR值越大說明映射后圖像質量越好。
結構相似度通過比較圖像結構信息的改變考慮圖像的失真,得到客觀質量評價,如式(26)所示,μL、μT分別為原圖像和映射后圖像的均值,σL、σT分別為原圖像和映射后圖像的方差,σLT為原圖像和映射后圖像的協方差,c1、c2、c3為常數。SSIM值越大說明映射后圖像質量越好。
整體圖像質量從相關性、亮度和對比度失真考慮圖像失真度,UIQI為1,則原圖像與映射后圖像一致。UIQI值越接近1,映射后圖像質量越好,如式(27)所示:
本文采用以上4種方法,結果如表2所示。由表2可知,Lena、Peppers、Sunset_sparrow原圖像的熵分別為7.449 7、7.593 5、7.498 3,本文算法的Entropy值均略高于直方圖校正映射、基于Retinex的映射,減少了圖像“吞噬”現象,熵值與原圖像更為接近。經統計,本文算法相對于直方圖校正映射,Lena、Peppers和Sunset_sparrow 圖像PSNR值分別提高了33.95%、21.29%、45.21%,SSIM值分別提高了12.2%、7.77%、12.99%,UIQI值分別提高了19.48%、14.26%、27.28%;相對于基于Retinex的映射,Lena、Peppers和Sunset_sparrow 圖像PSNR值分別提高了63.23%、47.8%、50.09%,SSIM值分別提高了43.05%、24.03%、21.69%,UIQI值分別提高了65.36%、50.03%、41.19%。指標參數結果與圖片仿真結果的分析吻合,說明本文分區對數映射算法較好,更加注重人眼視覺,壓縮圖像亮度范圍的同時較好地增強了細節信息。
2.2 亮度校正結果與分析
將本文提出的亮度局部線性拉伸方法應用到電潤濕電子紙顯示系統上,測試用的電潤濕顯示屏分辨率為1 024×768。測試方法是在PC端通過亮度校正模塊將輸出數據傳輸到電潤濕電子紙顯示系統,然后用亮度計測量顯示面板的中間區域,共測量15次不同輸出數據下的面板亮度,最后對15次測量數據取平均值。校正后結果如圖6所示,由圖可知,亮度校正后,25~40 V電壓段的電壓與亮度曲線的關系接近線性。
2.3 實際測試
將本文所提出的方法在電潤濕顯示屏上顯示。圖7(a)為原始圖像在電潤濕顯示屏上的效果圖,圖7(b)為映射后的效果圖,圖7(c)為亮度校正后的效果圖,圖7(d)為映射+亮度校正后的效果圖。
由圖7可以看到,原圖整體對比度不高,尤其是頭發部分的細節丟失,輪廓模糊不清;經映射后,帽蓋和頭發細節增多,符合人眼在不同程度的亮度區域對亮度的感知;經亮度校正后,鼻唇溝可明顯觀察到,Lena圖對比度提高;經映射+亮度校正后,提高了圖像整體對比度,頭發細節增多,輪廓清晰。
3 結論
本文提出一種基于人眼視覺的電潤濕電子紙圖像分層映射技術。利用雙邊濾波將圖像分解為基本層和細節層,基于LIP模型的Lee增強算法對基本層進行亮度增強,并根據韋伯-費希納定律分區,實現分區對數映射,與細節層加權融合為輸出圖像,同時對電潤濕顯示器亮度進行局部線性拉伸。結果表明,本文算法的熵值與原圖像更為接近。圖像評價指標PSNR、SSIM和UIQI值相較于直方圖校正映射,分別提高了約0.2~0.4,0.07~0.1,0.1~0.2;相較于基于Retinex的映射,分別提高了約0.4~0.6,0.2~0.4,0.4~0.6。最終在電潤濕電子紙上顯示的圖像邊界、紋理等細節增加,校正后的電壓與亮度關系更接近線性,對比度提高,整體視覺效果較好。
參考文獻
[1] HAYES R A,FEENSTRA B J.Video-speed electronic paper based on electrowetting[J].Nature,2003,425(6956):383.
[2] 易子川,曾磊,周瑩,等.電潤濕電子紙多級灰階研究與設計[J].華南師范大學學報(自然科學版),2018,49(6):17-23.
[3] 唐彪,趙青,周敏,等.印刷電潤濕顯示技術研究進展[J].華南師范大學學報(自然科學版),2016,48(1):1-8.
[4] YI Z,SHUI L,WANG L,et al.A novel driver for active matrix electrowetting displays[J].Displays,2015,37:86-93.
[5] YOU H,STECKL A J.Three-color electrowetting display device for electronic paper[J].Applied Physics Letters,2010,97(2):023514.
[6] 歐海燕,郭太良,姚劍敏,等.基于分層色調映射的LED背光調制算法[J].液晶與顯示,2011,26(2):246-249.
[7] 蘆碧波,皇甫珍珍,郭凱,等.基于雙邊濾波的多尺度分層色調映射算法[J].液晶與顯示,2018,33(9):816-822.
[8] 孫晨康.基于雙邊濾波的高動態范圍圖像映射算法研究與實現[D].西安:西安電子科技大學,2015.
[9] DRAGO F,MYSZKOWSKI K,ANNEN T,et al.Adaptive logarithmic mapping for displaying high contrast scenes[J].Computer Graphics Forum,2003,22(3):419-426.
[10] TAN J,HUANG Y,WANG K.Logarithmic tone mapping algorithm based on block mapping fusion[C].2018 International Conference on Audio,Language and Image Processing(ICALIP).IEEE,2018:168-173.
[11] DURAND F,DORSEY J.Fast bilateral filtering for the display of high-dynamic-range images[C].ACM Transactions on Graphics(TOG),2002,21(3):257-266.
[12] 陳文藝,張龍,楊輝.HDR圖像色調映射的自適應色彩調節算法[J].電子技術應用,2018,44(11):107-110.
[13] WANG J,XU D,LANG C,et al.An adaptive tone mapping method for displaying high dynamic range images[J].Journal of Information Science and Engineering,2010,26(3):977-990.
[14] 李大軍,杜神斌,郭丙軒,等.自適應雙邊濾波的Retinex圖像增強算法[J].電子技術應用,2018,44(3):117-121.
[15] THAI B C,MOKRAOUI A,MATEI B.Contrast enhancement and details preservation of tone mapped high dynamic range images[J].Journal of Visual Communication and Image Representation,2019,58:589-599.
[16] 劉朝濤,張雪佼.基于圖像處理的疲勞駕駛預警研究[J].電子技術應用,2019,45(8):104-108.
[17] DUAN J,BRESSAN M,DANCE C,et al.Tone-mapping high dynamic range images by novel histogram adjustment[J].Pattern Recognition,2010,43(5):1847-1862.
[18] CHIU Y H,LIANG C C,CHEN Y C,et al.Accurate-gray-level and quick-response driving methods for high-performance electrowetting displays[J].Journal of the Society for Information Display,2011,19(11):741-748.
[19] LUO Z J,ZHANG W N,LIU L W,et al.Portable multigray scale video playing scheme for high-performance electrowetting displays[J].Journal of the Society for Information Display,2016,24(6):345-354.
[20] SURESHKUMAR P,BHATTACHARYYA S S.Display applications of electrowetting[J].Journal of Adhesion Science and Technology,2012,26(12-17):1947-1963.
[21] NAVARRO L,DENG G,COURBEBAISSE G.The symmetric logarithmic image processing model[J].Digital Signal Processing,2013,23(5):1337-1343.
[22] BAOPING W,JIANJUN M A,ZHAOXUAN H A N,et al.Adaptive image enhancement algorithm based on fuzzy entropy and human visual characteristics[J].Journal of Systems Engineering and Electronics,2018,29(5):1079-1088.
[23] 馮清枝,王丹.基于LIP模型和CLAHE的低照度圖像增強算法[J].光電技術應用,2018,33(5):31-36.
[24] PANETTA K A,WHARTON E J,AGAIAN S S.Human visual system-based image enhancement and logarithmic contrast measure[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B(Cybernetics),2008,38(1):174-188.
[25] 褚江,陳強,楊曦晨.全參考圖像質量評價綜述[J].計算機應用研究,2014,31(1):13-22.
作者信息:
李甜甜1,2,林珊玲1,2,林志賢1,2,郭太良1,2,唐 彪3
(1.福州大學 平板顯示技術國家地方聯合工程實驗室,福建 福州350116;
2.福州大學 物理與信息工程學院,福建 福州350116;
3.華南師范大學 華南先進光電子研究院 廣東省光信息材料與技術重點實驗室,廣東 廣州510006)