摘 要： 圖像顯著性檢測(cè)是一種通過(guò)對(duì)圖像顏色、強(qiáng)度、方向等特征進(jìn)行分析生成圖像顯著性圖的技術(shù)。其生成的顯著性圖可以用于圖像分割、圖像壓縮以及圖像識(shí)別等圖像處理領(lǐng)域，從而改善圖像處理的性能。為了對(duì)圖像顯著性檢測(cè)技術(shù)及其發(fā)展有一個(gè)全面深入的了解，使用文獻(xiàn)研究法和比較研究法對(duì)其概念及方法進(jìn)行了探究。針對(duì)幾種具有代表性的圖像顯著性檢測(cè)算法進(jìn)行了簡(jiǎn)要的概述和分析，用流程圖簡(jiǎn)明扼要地表示顯著性檢測(cè)算法的基本框架。研究結(jié)果顯示，圖像顯著性檢測(cè)技術(shù)的效率在不斷提升，算法越來(lái)越多樣化，在圖像處理領(lǐng)域的應(yīng)用越來(lái)越廣泛，這些對(duì)于圖像處理自動(dòng)化具有重要意義。

　　關(guān)鍵詞：電子工程畢業(yè)論文標(biāo)準(zhǔn)范文, 圖像顯著性,顯著性檢測(cè),檢測(cè)方法,圖像處理

　　Analysis for method of image saliency detection

　　SUN Na?na， LIU Xin

　　(School of Physical and Electronic Science， Shandong Normal University， Jinan 250014， China)

　　Abstract： Image saliency detection is the technology that generates image saliency diagram by means of analyzing the image features such as color， intensity and direction. The generated saliency diagram can be used in the image processing fields such as image segmentation， image compression and image recognition， so as to improve the performance of the image processing. In order to comprehend the image saliency detection technology and its development completely， its concept and methods were explored with the literature research method and comparative study method. Several image saliency detection methods with representativeness are summarized and analyzed briefly. The basic framework of saliency detection algorithm is shown in the flow chart concisely. The research results show that the efficiency of image saliency detection technology is improved constantly， its algorithm is more and more diversified， and more widely applied in the field of image processing. These have important significance for automated image processing.

　　Keywords： image saliency; saliency detection; detection method; image processing

　　0 引 言

　　人類所獲得的外界信息80%以上都是通過(guò)視覺完成的，然而對(duì)于大量的信息，視覺系統(tǒng)并不是完全地進(jìn)行捕獲和處理，它會(huì)根據(jù)特有的機(jī)制進(jìn)行選擇性的處理和忽略，這就是視覺的選擇注意機(jī)制。這種信息處理機(jī)制被應(yīng)用于圖像和視頻的處理，發(fā)展出一個(gè)新的科研方向，即顯著性檢測(cè)研究。

　　隨著圖像處理技術(shù)和計(jì)算機(jī)技術(shù)的發(fā)展，人們?cè)絹?lái)越希望計(jì)算機(jī)能夠自主地進(jìn)行圖像的處理，而圖像顯著性信息對(duì)于圖像自動(dòng)化處理來(lái)說(shuō)異常重要。因此，圖像顯著性檢測(cè)技術(shù)受到了廣泛的關(guān)注，并產(chǎn)生了許多檢測(cè)方法與技術(shù)。基于此，對(duì)其中代表性的檢測(cè)方法進(jìn)行解析，對(duì)于顯著性檢測(cè)研究具有一定的意義。

　　1 圖像顯著性檢測(cè)方法分類

　　圖像顯著性是指，圖像中的像素點(diǎn)(或者區(qū)域)能夠區(qū)別于其他點(diǎn)(或者區(qū)域)吸引視覺注意的能力。圖像顯著性檢測(cè)是通過(guò)對(duì)圖像顏色、強(qiáng)度、對(duì)比度等特征的分析，計(jì)算圖像顯著性，生成圖像顯著性圖的一種技術(shù)。而圖像顯著性圖是一幅和原始圖像大小相同的二維圖像，其中每個(gè)像素值表示原圖像對(duì)應(yīng)點(diǎn)的顯著性大小。顯著性圖不僅表示每個(gè)位置的顯著性，還可以用于引導(dǎo)注意區(qū)域的選擇，快速定位和處理圖像的顯著性區(qū)域。

　　視覺顯著性研究最先開始于生物學(xué)方面，直到20世紀(jì)90年代才被引入到計(jì)算機(jī)領(lǐng)域，用于圖像和視頻的處理。最開始，顯著性研究集中在利用生物學(xué)上已有的顯著性研究成果來(lái)創(chuàng)建相似的顯著性模型，但是這種方法算法比較復(fù)雜，效率不高，而且效果也不是很理想。隨后，研究人員不斷簡(jiǎn)化模型，突破了嚴(yán)格的生物模型形式，開始使用各種圖像處理的方法，來(lái)實(shí)現(xiàn)更為簡(jiǎn)單便捷的顯著性計(jì)算。如上所述，可以將圖像顯著性檢測(cè)方法分為兩類：基于生物模型的和基于圖像的。

　　還有一種更為常用的分類方法，即根據(jù)人類視覺選擇注意方式分為兩類：一類是純數(shù)據(jù)驅(qū)動(dòng)獨(dú)立于任務(wù)的自底而上的顯著性檢測(cè)方法，另一類是受意識(shí)支配依賴于任務(wù)的自頂而下的顯著性檢測(cè)方法。由于人類自頂而下的選擇注意由高層的腦部信息所控制，對(duì)于同一場(chǎng)景不同的人注意的結(jié)果不同，其動(dòng)機(jī)、情感等因素比較難以控制和分析，因此構(gòu)建自頂而下的顯著性模型比較復(fù)雜，所以對(duì)于這類顯著性模型的研究不是很多。 　　2 自底而上的圖像顯著性檢測(cè)方法

　　早期研究中最為經(jīng)典的顯著性模型是Itti等人根據(jù)Koch和Ullman提出的生物框架創(chuàng)建的顯著性模型，它模擬靈長(zhǎng)類動(dòng)物的早期視覺特征，結(jié)合圖像顏色、亮度和方向三個(gè)方面的特征，利用多尺度分析計(jì)算圖像顯著性圖，其算法框架如圖1所示。

　　圖1 Itti顯著性圖算法流程圖

　　Itti顯著性模型定義強(qiáng)度表示為[I=(r+g+b)3];將顏色由三個(gè)通道轉(zhuǎn)換為四個(gè)通道：紅色[R=r-(g+b)2]，綠色[G= (r+b)2，]藍(lán)色[B=b-(r+g)2，]黃色[Y=(r+g)2-r-g2-b](負(fù)值置為零);通過(guò)高斯濾波選取4個(gè)方向 [θ∈{0°，45°，90°，135°}]。對(duì)于上述圖像特征量建立9個(gè)尺度的高斯金字塔，然后根據(jù)一些生物視覺特征建立圖像特征圖，強(qiáng)度上： [I(c，s)=I(c)ΘI(s)]，顏色上：[Rg(c，s)=(R(c)-G(c))Θ(G(s)-R(s))]，[By(c，s)=(B(c)- Y(c))Θ(Y(s)-B(s))]，方向上：[O(c，s，θ)=O(c，θ)ΘO(s，θ)]。其中[Θ]為不同尺度空間的特征圖相應(yīng)點(diǎn)的差值， [c]表示圖像像素的中心尺度，取值為[c∈{2，3，4}];[s=c+δ]表示該像素周圍的相應(yīng)尺度，而[δ∈{3，4}]。然后將標(biāo)準(zhǔn)化之后的特征圖通過(guò)線性插值調(diào)整到同一大小后，相加計(jì)算強(qiáng)度、顏色和方向上的顯著性圖。最后將各顯著性圖標(biāo)準(zhǔn)化之后，線性相加得到圖像的顯著性圖。該模型比較適合處理自然圖像，能夠有效地計(jì)算復(fù)雜自然場(chǎng)景的顯著性圖。對(duì)比是圖像顯著性研究中常會(huì)用到的一種方法。Ma和Zhang提出了一種使用對(duì)比來(lái)進(jìn)行顯著性檢測(cè)的方法，如圖2(a)所示。首先在圖像的LUV顏色空間通過(guò)計(jì)算像素與周圍像素的色彩差異和來(lái)計(jì)算對(duì)比度，即[Ci，j=q∈Θd(pi，j，q)]，其中像素[(i，j)]鄰域[Θ]的大小控制著感知區(qū)域的敏感度，[pi，j]和[q]表示感知因素色彩，這里對(duì)比差異[d]通過(guò)高斯距離來(lái)計(jì)算。然后將對(duì)比度的值標(biāo)準(zhǔn)化到[[0，255]]區(qū)間作為該像素點(diǎn)的顯著性值。這種顯著性圖不僅可以反映顏色的對(duì)比，而且可以反映圖像紋理強(qiáng)度信息。Achanta等人提出通過(guò)在不同尺度上利用新的對(duì)比方法來(lái)計(jì)算顯著性的方法，他們引入?yún)^(qū)域平均特征元素向量的概念來(lái)計(jì)算像素點(diǎn)的顯著性值，如圖2(b)所示。

　　圖2 三種采用對(duì)比方法的顯著性檢測(cè)算法流程圖

　　在這種方法中給定一個(gè)圖像尺度，位于[(i，j)]位置的像素點(diǎn)基于對(duì)比的顯著性值為內(nèi)部區(qū)域[R1]的像素特征平均向量和外部區(qū)域[R2]的像素特征平均向量的距離，數(shù)學(xué)公式表示如下：[ci，j=D[(1N1p=1N1vp)，(1N2q=1N2vq)]]。其中[N1]和[N2]分別為區(qū)域 [R1]和區(qū)域[R2]中像素的個(gè)數(shù)，[v]是對(duì)應(yīng)像素的特征元素向量，定義為[[L，a，b]T]，距離[D]采用歐氏距離。這里內(nèi)部區(qū)域[R1]一般選擇所需計(jì)算顯著性值的像素本身，外部區(qū)域[R2]選擇寬度范圍為[[ω2，ω8]]的像素方形鄰域，其中[ω]為圖像的像素寬度。使用上述方法計(jì)算出不同尺度的對(duì)比顯著性值后，再將各個(gè)尺度的顯著性值相加，計(jì)算出每個(gè)像素最后的顯著性值，從而構(gòu)建出圖像顯著性圖。該方法可以獲得與原始圖像相同分辨率的顯著性圖。

　　Cheng等人提出了兩種利用圖像直方圖對(duì)比的方法來(lái)計(jì)算圖像顯著性。第一種方法，通過(guò)直方圖對(duì)比的方法建立顯著性圖，如圖 2(c)所示。這里使用顏色統(tǒng)計(jì)和對(duì)比，計(jì)算每種顏色的顯著性值，其像素[Ik]的顯著性值定義為： [S(Ik)=S(cl)=j=1nfjD(cl，cj)]，這里[cl]為像素[Ik]對(duì)應(yīng)的顏色值，[n]為圖像中不同像素顏色的數(shù)量，[fj]是圖像中顏色為[cj]的像素的概率，這里[D(cl，cj)=cl-cj]是一種顏色距離，表示顏色間的差異。最后再利用平滑程序進(jìn)行去噪處理，形成最終的顯著性圖。第二種方法，利用系數(shù)直方圖比較來(lái)進(jìn)行區(qū)域?qū)Ρ�，獲得區(qū)域顯著值。這種方法先將圖像分割為不同區(qū)域，然后通過(guò)區(qū)域間顏色對(duì)比計(jì)算區(qū)域顯著性值。 Sha等人將圖像劃分為前景區(qū)域和背景區(qū)域，對(duì)兩個(gè)不同區(qū)域計(jì)算前景顯著性圖和背景顯著性圖，最后通過(guò)計(jì)算和融合生成最終的顯著性圖，算法流程如圖3所示。

　　計(jì)算背景顯著性時(shí)，將圖像背景區(qū)域劃分為上下左右四個(gè)子區(qū)域，經(jīng)過(guò)對(duì)圖像的分析選取上下兩個(gè)背景區(qū)域和像素進(jìn)行對(duì)比計(jì)算像素顯著性值。計(jì)算前景圖像顯著性時(shí)，將圖像劃分為一個(gè)個(gè)大小相同的方形參考中心區(qū)域，通過(guò)和上下兩個(gè)背景區(qū)域的對(duì)比，選取出最具顯著性的區(qū)域作為中心區(qū)域，并通過(guò)像素和這個(gè)中心區(qū)域的對(duì)比來(lái)計(jì)算像素的顯著性值。

　　隨著研究的不斷深入，圖像顯著性的研究不可能僅僅局限在空間域進(jìn)行分析。Achanta等人提出了一種頻域方法來(lái)計(jì)算顯著性圖，如圖4(a)所示。首先利用高斯差分濾波器來(lái)進(jìn)行圖像預(yù)處理，通過(guò)調(diào)整高斯差分濾波器參數(shù)，在去除高頻噪聲(和紋理)的同時(shí)能夠保留更多關(guān)于顯著性邊緣的高頻信息。然后通過(guò)包含顏色和亮度的特征向量計(jì)算顯著性，公式表示如下：[S(x，y)=Iμ-Iωhc(x，y)]，這里[Iμ]是圖像平均特征向量，[Iωhc(x，y)]是圖像經(jīng)過(guò)高斯濾波處理后對(duì)應(yīng)像素點(diǎn)的特征向量。利用這種方法可以獲得帶有清晰的顯著性對(duì)象邊界的全分辨率顯著性圖。隨后，他們又對(duì)這個(gè)方法進(jìn)行了改進(jìn)，將[Iμ]定義為像素點(diǎn)的鄰域平均向量，而不是整幅圖像的平均特征向量，使其能夠更適用于計(jì)算復(fù)雜背景或者顯著性區(qū)域非常大的圖像的顯著性圖。

　　圖3 Sha的顯著性算法流程圖

　　圖4 兩種頻域顯著性檢測(cè)算法流程圖

　　Ngau等人提出了一種在小波變換域計(jì)算顯著性圖的方法，如圖4(b)所示。該方法先將圖像由RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，然后分別對(duì) Y，Cb，Cr分量圖像進(jìn)行小波變換分解到LL，LH，HL和HH四個(gè)波段，該方法中只選用了LL波段來(lái)進(jìn)行分析(包括圖像水平和垂直方向的低頻成分)，分別計(jì)算各分量在LL波段的對(duì)比圖。以Y分量為例，其像素點(diǎn)[(x，y)]的對(duì)比值[C(x，y)=(ILL(x，y)-Iμ)2]。其中 [ILL(x，y)]表示像素點(diǎn)[(x，y)]在LL波段的強(qiáng)度值;[Iμ]表示圖像在LL波段的強(qiáng)度均值。接著通過(guò)逆小波變換將各分量對(duì)比圖轉(zhuǎn)換回空間域，最后將各分量對(duì)比圖標(biāo)準(zhǔn)化之后相加計(jì)算出最后的顯著性圖。

　　3 自頂而下的圖像顯著性檢測(cè)方法

　　自頂而下的顯著性模型一般包括特征學(xué)習(xí)和顯著性計(jì)算兩個(gè)部分。Judd等人提出一種通過(guò)機(jī)器學(xué)習(xí)來(lái)建立自頂而下顯著性模型的方法，如圖5(a)所示。首先通過(guò)實(shí)驗(yàn)收集15位觀察者自由觀看1 003張隨機(jī)圖像的視線跟蹤數(shù)據(jù)，隨后對(duì)這些數(shù)據(jù)進(jìn)行人類視覺關(guān)注點(diǎn)分析獲得顯著性圖，并選擇一些用于訓(xùn)練模型的不同級(jí)別的特征;然后通過(guò)現(xiàn)有顯著性模型來(lái)計(jì)算這些不同級(jí)別的特征;最后使用1 003張圖像通過(guò)機(jī)器學(xué)習(xí)來(lái)進(jìn)行訓(xùn)練和測(cè)試顯著性模型。

　　圖5 兩種自頂而下的顯著性模型構(gòu)建流程圖

　　這里對(duì)于每幅圖像從顯著性前20%中隨機(jī)選取10個(gè)積極標(biāo)簽像素，顯著性后70%中隨機(jī)選取10個(gè)消極標(biāo)簽像素，建立一個(gè)18 060個(gè)樣本的訓(xùn)練集和一個(gè)2 000個(gè)樣本的測(cè)試集。Yang等人提出了一種利用判別字典和條件隨機(jī)場(chǎng)來(lái)建立顯著性模型的方法，如圖5(b)所示。首先將圖像分為圖像塊，對(duì)于每個(gè)圖像塊做出目標(biāo)是否存在標(biāo)記，利用學(xué)習(xí)的方法獲得條件隨機(jī)場(chǎng)(CRF)權(quán)重和判別字典，使用圖像塊標(biāo)記、條件隨機(jī)場(chǎng)權(quán)重和判別字典對(duì)圖像塊計(jì)算顯著性。搜集圖像建立圖像訓(xùn)練集，通過(guò)學(xué)習(xí)的方法構(gòu)建條件隨機(jī)場(chǎng)和判別字典，其算法為：對(duì)于給定圖像根據(jù)訓(xùn)練數(shù)據(jù)所得的字典估算其稀疏潛在變量，然后結(jié)合稀疏潛在變量、 CRF權(quán)重以及圖像目標(biāo)標(biāo)記來(lái)獲得違反標(biāo)記，最后通過(guò)損失函數(shù)的梯度算法來(lái)更新字典和隨機(jī)場(chǎng)權(quán)重。

　　4 結(jié) 語(yǔ)

　　圖像顯著性檢測(cè)對(duì)于圖像的自動(dòng)化處理非常重要，它現(xiàn)在已經(jīng)應(yīng)用到了圖像分割、圖像自適應(yīng)壓縮、圖像識(shí)別、圖像非真實(shí)感繪制等眾多圖像處理研究領(lǐng)域，通過(guò)圖像顯著性信息的引導(dǎo)可以更加精準(zhǔn)高效地進(jìn)行圖像處理工作。雖然圖像顯著性檢測(cè)技術(shù)研究已經(jīng)有了相當(dāng)不錯(cuò)的成果，但是隨著圖像處理智能化發(fā)展趨勢(shì)的要求，以及更多領(lǐng)域的使用和普及，圖像顯著性檢測(cè)技術(shù)還有著很大的發(fā)展前景。

　　參考文獻(xiàn)

　　[1] KOCH C， ULLMAN S. Shift in selective visual attention： Towards the underlying neural circuitry [J]. Human Neurobiology， 1985， 4(4)： 219?227.

　　[2] ITTI L， KOCH C， NIEBUR E. A model of saliency?based visual attention for rapid scene analysis [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 1998， 20(11)： 1254?1259.

　　[3] MA Yu?fei， ZHANG Hong?jiang. Contrast?based image attention analysis by using fuzzy growing [C]// Proceedings of the 11th ACM International Conference on Multimedia. Berkeley， CA， USA，： ACM， 2003： 374?381.