1、1第一章第一章光、影像光、影像、浮水印、浮水印和抽樣原理和抽樣原理2n1.1 前言n1.2 光與顏色n1.3 人眼與照像機的關係n1.4 彩色模式的轉換-RGB、YIQ、HSV、YUV和YCbCrn1.5 隱像術與浮水印n1.6 人臉的定位應用n1.7 影像抽樣原理n1.8 結論n1.5.1 影像的位元平面剖析n1.5.2 基本原理 n1.6.1 形態學 n1.6.2 離散餘弦轉換 n1.7.1 傅利葉轉換 n1.7.2 避免混疊效應 內容1.1 前言n光的特性和組成，人眼和相機的關係。色彩模式(Color model)的轉換，隱像術(Image Hiding)和浮水印(Watermark)之
2、一。人臉定位:形態學(Morphology)和離散餘弦轉換(Discrete Cosine Transform,DCT)。n傅立葉轉換(Fourier Transform)。迴積定理(Convolution Theorem)，影像抽樣原理。34n光(Light):粒子，波。人:可見光，不能看見頻率頻率(Frequency)低於可見光的紅外線和微波，也無法看見頻率高於可見光的紫外線和加瑪射線。n亮度亮度(Brightness)和頻率的關係，如圖1.2.1所示。低頻率的紅光和高頻率的紫光的亮度都不如比較中間頻率的黃綠光來的強。1.2 光與顏色紅黃綠紫亮度頻率可見光圖1.2.1 亮度與頻率的關係紅光
3、波長：9700 10紫光波長：9400 1051.3 人眼與照像機的關係n影像處理前的輸入影像有很大的比例是由照像機照像機(Camera)拍攝而得。n瞳孔:光圈，調節光通量，流明流明(Luminance)為單位。視網膜睫狀肌水晶體視神經束瞳孔眼角膜虹膜圖1.3.1 人眼示意圖61.4 彩色模式的轉換n在影像的彩色模式中，比較常見的有下列幾種：(1)RGB，(2)YIQ，(3)HSV，(4)YUV，(5)YCbCr。nRGBYIQY:亮度(Luminance)；I:In-phase，色彩從橙色到青色；Q:Quadrature-phase，色彩從紫色到黃綠色。(NTSC 電視系統標準)(1.4.1
4、)範例1：R,G,B)=(100,50,30)，試求其對應的灰階值。解答：解答完畢6330114.050587.0100299.0Y0.2990.5870.1140.5960.2750.3210.2120.5230.311YRIGQB 7範例2：將 I 轉換成YIQ影像，這裡(10,20,40)代表R=10,G=20和B=40。解答：YIQ影像為解答完畢)120,250,50()200,150,100()20,30,40()40,20,10(I)84,77,175()4,46,141()1,9,32()4,12,19(YIQI1111110.299 100.587 200.114 4019.2
5、90.596 100.275 200.321 4012.380.212 100.523 200.311 404.1YIQ 8 圖1.4.1 彩色Lena影像 圖1.4.2 轉換的高灰階Lena影像 9nRGBHSV 255),(),(),(),(B if 360B if 5.0cos11211BGRMaxVBGRMaxBGRMinBGRMaxSGHHGHHBGBRGRBRGRH(1.4.2)nH=0時代表紅色，H=120時代表綠色，H=240時代表藍色。nS=0時，表示影像為灰階式的影像。n當H=0且S=1時，影像為紅色。當V=0時，表示黑色。反之，當V=1時，表示白色的亮光。max(,)mi
6、n(,)max(,)max(,)255R G BR G BSR G BR G BV10nHSV系統可以圖1.4.3表示其座標系統。nHSV=HSB=HIS，B:Brightness，I:Intensity。圖1.4.3 HSV彩色系統11)33sin()33cos(VUQ)33cos()33sin(VUInYUVYIQn在JPEG系統中，我們第一步輸入RGB彩色影像。第二步將RGB彩色轉換成YCbCr彩色系統。(1.4.3)代表“Blue Minus Black and White”代表“Red Minus Black and White”()/20.58()/20.58brCBYCRYbCr
7、C121.5 隱像術與浮水印1.5.1 影像的位元平面剖析(a)R平面(b)G平面(a)B平面圖1.5.1.1彩色Lena影像的三張分解圖13n灰階Lena影像分解成八個位元平面(a)第一張位元平面 (b)第二張位元平面(c)第三張位元平面 (d)第四張位元平面(e)第五張位元平面 (f)第六張位元平面(g)第七張位元平面 (h)第八張位元平面圖1.5.1.2灰階Lena影像的八張位元平面剖析14圖1.5.1.2(e)(h)的合成影像 n把圖1.5.1.2(e)(h)疊在一起可得到圖1.5.1.3。15範例1：給44子影像，子影像的每一個像素之灰階值佔用 八個位元，請算出第三張位元平面。876
8、532313029101112130123解答：子影像轉換成00001000000001110000011000000101001000000001111100011110000111010000101000001011000011000000110100000000000000010000001000000011將右邊第三位元全部收集起來，得到第三位元平面：0111011100110000解答完畢16範例2：前述的隱像術之優缺點為何?解答：滿足上圖的函數也叫單程函數(One-way Function)。利用位元平面來植入影像的最大缺點為：一旦經過壓縮後，所植入的影像很容易受到破壞，解壓後所取
9、出的影像常常已遭到破損。解答完畢植入容易取出困難原影像植入浮水印的影像171.5.2 基本原理 101022210),(),(1255log10NxNyyxByxBNMSEMSEPSNRn隱像術把A影像隱藏在B影像並且讓人無法察覺B影像中藏了A影像。nPSNR令B為將A隱藏在B後的結果。PSNR(Peak Signal-to-Noise Ratio)很常被用來評估B和B的相似性，PSNR的定義如下n浮水印可把A看成標誌(Logo)，通常這個標誌可想成一種版權。18nSVD隱像術方法已知有一 N N 的灰階影像 A，假設 A 的秩秩(Rank)為 r，則 A 的SVD可表示為tVUAV和U為正交
10、矩陣正交矩陣(Orthogonal Matrix)且 ，其中 滿足 和 。這裏 等於 ，為矩陣At A的第 i 個特徵值特徵值(Eigenvalue)。),.,(21ndiagn.,210.21r0.21nrriii19範例1：如何知道？0 i解答：利用22220tttttAXAXAXX A AXXXX XXAXX解答完畢20範例2：如何知道A可進行SVD分解？也就是，如何得到ttttVUVVUUVUA11121121000)(解答：(1.5.2.1)212222A8888AAt例如，令 ，則 。的特徵值特徵值(Eigenvalues)為 和 。將特徵值開根號，A的奇異值為 和 。特徵值為16
11、的特徵向量為 而特徵值為0的特徵向量為 ，利用這二個特徵向量可建構出AAt161024102tV1,11tV1,12111121),(21VVVUAV利用 可得 所以111112211222211422uAV11 1AVu22又由 ，可得 。利用 可找出UAVttVUAtu21,212 。A的SVD可表示為結合SVD及VQ之方法20，在壓縮和失真之間得到一個較好的平衡。21212121000421212121tVUA20tA u 23圖1.5.2.1(a)為待植入的F16影像，圖1.5.2.1(b)為將F16植入圖1.4.2後的結果。F16經隱像後，效果的確蠻好的，畢竟在圖1.5.2.1(b)
12、中，用肉眼實在看不出F16隱藏其中。(a)待植入的F16(b)用SVD將F16植入圖1.4.2後的結果 圖1.5.2.1隱像後的效果 24範例3：一般而言，怎樣分辨浮水印和資料隱藏?解答：浮水印:確定影像的所有者。資料隱藏:將資料隱藏起來。解答完畢251.6 人臉的定位應用圖1.6.1.1 輸入的影像圖1.6.1.2 皮膚色所在n封閉封閉(Closing)算子n開放開放(Opening)算子1.6.1 型態學 26bABABADBb),(123451234511BAxy圖1.6.1.3 集合A和B123451234511xy圖1.6.1.4 D(A,B)123451234511xy圖1.6.1
13、.5 E(A,B)A:待處理的區塊集;B:結構化元素集結構化元素集(Structuring Elements)n擴張(Dilation)和侵蝕(Erosion)n擴張擴張運算n侵蝕侵蝕運算bABABAEBb)(),(27範例1：今將圖1.6.1.3的區塊集改成下圖所示的區塊：解答：試求D(A,B)和E(A,B)。BAD,BAE,解答完畢28範例1.1：延用圖1.6.1.3的結構化元素集B，請分別算出此三區塊集經開放算子及封閉算子運算後的結果，並加以說明。29解答：:擴張再侵蝕。經由擴張運算可以得到下圖的結果。將擴張運算所得區塊集進行侵蝕運算，得下圖的結果。XY12345678910123456
14、78910:侵蝕再擴張經由侵蝕運算可以得到下圖 將侵蝕運算所得區塊集進行擴張運算得下圖的結果。XY1234567891012345678910此即為封閉算子運算後的結果。解答完畢30範例2：如何利用擴張運算子D和侵蝕運算子E以求得影像中輪廓的外圍？解答：I:原影像，B:結構化元素集。D(I,B)將影像的輪廓擴張；E(I,B)可將影像的輪廓侵蝕。D(I,B)-E(I,B):物體的輪廓外圍，這裏的-代表兩影像相減。：介於D(I,B)和E(I,B)之間的環形區域可視為物體I的輪廓。解答完畢31範例4：如何利用色調範圍來過濾皮膚色?解答：首先利用人工點選的方式，將所有訓練影像中的皮膚色予以框出來，然後
15、將色調抽取出來，並且將統計出來的平均值 和標準差 用於濾波器的設計，下面為其示意圖：321.6.2 離散餘弦轉換(Discrete Cosine Transform)令 f(x,y)為框框內位於(x,y)的灰階值減去128，則DCT的計算公式如下NjyNixyxfjCiCNjiDNxNy2)12(cos2)12(cos),()()(21),(1010otherwiseiic,10,2/1)(otherwisejjc,10,2/1)(nDCTnIDCTf(x,y)也可透過IDCT(inverse DCT)得到，公式如下透過式子(1.6.2.2)求得f(x,y)後再加上128即可得到位於影像中(x
16、,y)位置的原始灰階值。(1.6.2.1)NjyNixjiDjCiCNyxfNiNj2)12(cos2)12(cos),()()(21),(1010(1.6.2.2)33圖1.6.2.1 8x8的灰階圖案及其灰階值圖1.6.2.2 DCT後的結果nDC(Direct Current、直流值)此處N=8，則nAC(Alternative Current、交流值)10101010),(2210cos0cos),(212121)0,0(NxNyNxNyyxfNyxfND7070),(81)0,0(xyyxfD2023125792230223216581211232932161170302020100
17、14234544200502210312033412005022701202102212323706916012222241269020660212252243261492216190-481 1074157-26-159-43-70-316-104-11143210018410419-67-5694740-49-2937-778510-91-4311426-9103-49-268653-60-17-23-9-2212-55-9464-756-2-7274312-74-4-77-2574-41-4410334範例2：當D(0,0)1000時，原88灰階影像為何種影像？解答：令全黑的灰階值為0，
18、而全白的灰階值為255。已知1000),(6418)0,0(7070 xyyxfD原88灰階影像可能為一幾近全白的平滑影像。解答完畢圖1.6.2.3DCT頻率域的紋理方向示意圖圖1.6.2.3為DCT後的頻率域之紋理方向示意圖。通常若框住皮膚色的框框是臉部時，在高頻區會有一些較大的係數表現。當DC值過小時和AC值過大，可進一步判斷有臉部的框框。35範例3：如何在臉部上找出眼睛和嘴巴的部位？解答：假設找到的臉部如下所示：利用水平投射法水平投射法(Horizontal Projection)我們可發現在(a,b)和(c,d)兩區間有頻率較高的波峰(Peak)，依位置而言，可合理推估(a,b)區間為
19、眼部所在，而(c,d)區間為嘴巴所在，畢竟這兩個部分的邊點數是較多的。解答完畢361.7 影像抽樣原理 給一週期函數(Periodic Function)g()，傅利葉原先的想法是將g()用有正交性(Orthogonality)的傅利葉基底(Basis)來表示。這些正交的基底為cos、cos2、cos3、sin、sin2、sin3、，。2020n正交性正交性)cos()cos(21coscosnmnmnm時，當nm 0coscos20dnm時，0 nm20coscosdnm時，0 nm2coscos20dnm1.7.1 傅利葉轉換37n求解傅利葉係數 有了傅利葉基底後，g()可表示成 10si
20、ncos2kkkkbkaag則從可推得從可推得0,0,cos)(020mamadmgm,.2,1,0,cos)(120mdmgam)0(sin)(20mbdmgm,.3,2,1,sin)(120mdmgbm(1.7.1.1)38範例1：我們來看個例子吧！解答：令 ,g-2-23-3-g()圖1.7.1.1 g()0cos1dkak012cossin()kkbk ddk 01sin)1(2)(kkkkgsin21S2sin21sin22S3sin312sin21sin23S122cos(1)kkkk.4sin413sin312sin21sin2只取第一項只取前二項只取前三項11-1-122-2-
21、233-3-3g()S1S2S3圖1.7.1.2 g()的三個近似圖解答完畢39nFFT令 為1的基本根基本根(Primitive Root)且滿足 。若N=8時，傅利葉矩陣為2NiiiNWe1NNW12345672462463614725444452741636426427654321811111111111111111111WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWF2420:NeXXXXX1531:NoXXXXXX)log(NNOFFT可在 時間內完成，首先將 分成偶半部和奇半部，分別表示成 40令 和 。利用算出的 和 ，可得 eNXFu2
22、/oNXFv2/uvNiNvWuNivWuyNiiNNiiiNii2 ,20 ,2/2/(1.7.1.2)當2/0Ni 0jj002(21)2210/20/2/22/2210/20/2ijiNjj NijijNjNjj Nj NkiikNkNkk Nk NikiikNkNNkk Nk NiiNiyW XW XW XWXWXWXWWXuW v 偶數奇數NiN2/22/2210/20/2(/2)(/2)/22/2210/20/2/2/2ikiikiNkNNkk Nk Ni Nkii NkNkNNkk Nk Nii NNi NyWXWWXWXWWXuW v 當41範例2：可否利用替代法證明 。解答：
23、已知 ，可推得)log()()2/(2)(NNONNTNT)()2/(2)(NNTNT)log(log2)1(log)2(2)11.1()2/(2.)2/(2.)4/(2)2/(2)()2/(2)(2NNOCNNCNNCNNTNCNNTCNCNCNNTCNCNNTCNNTNNTNTkkkk解答完畢42n分開性(Separability)回到二維的FT，假設一張影像位於(x,y)的灰階值為 f(x,y)，則二維的FT定義為1010)(2),(1),(NxNyNvyuxjeyxfNNvuFIFT(Inverse FT)依下式求得1010)(2),(1),(NuNvNvyuxjevuFNyxf式子(
24、1.7.1.3)可改寫成下列的型式2211002101(,)(,)1(,)juxjuyNNNNxyjuxNNxF u vef x y eNF x v eN式子(1.7.1.5)中 F(x,v)可看成先對 y 軸進行FT再對 x 軸進行FT。(1.7.1.5)式顯示的是FT的分開性分開性(Separability)。(1.7.1.3)(1.7.1.4)(1.7.1.5)43)2,2(),(),(),()2()2(21010)(21010)22(21010)(2)(NvNuFeyxfeeyxfeeyxfNyNvxNujNxNyNvyuxjNxNyNyNxNjNxNyNvyuxjyxj 範例3：假如
25、我們想把FT後的結果從原點原點(Origin)移到中央中央(Center)該如何辦到呢？解答：首先將乘上 ，則 的FT如下所算yxyxf)1)(,(yx)1(1.7.1.6)1010)(2)1)(,(NxNyNvyuxjyxeyxf由f(x,y)(1)x+y的FT等於 ，可得知已將FT的結果從原點移至中央處了。式(1.7.1.6)顯示了FT的平移性(Translation)。)2,2(NvNuF解答完畢44f(x)x-1/21/2f(x)x-1/41/4F(u)u-4-4F(u)u2-2-44f(x)F(u)1/2f(u/2)f(2x)n放大性(Scaling)若將 乘上一個係數C，則 經FT
26、作用後得 到 ，這個性質稱作放大放大性質。令 ，則 和 。可推得 和 為傅利葉配對傅利葉配對(Fourier Pair)，具有倒數放大性質倒數放大性質(Reciprocal-Scaling)。),(yxf),(yxfC),(vuCFxzzx dzdx1)(xf)(|1uF45n迴積定理(Convolution Theorem)兩函數 f(x)和 g(x)的迴積迴積定義為 10)()()()(Nmmxgmfxgxf10)()(1)(NmmxgmfNxz)()()(1)(1)(1)(1)()(1)(1101010101010210uGuFWxgNWmfNWmxgNmfNWmxgmfNWxzNNxk
27、xNmkmNxkxNmNxNmkxNxkx 令 則所有 z(x)經FT作用後得46n取樣間距(Sampling Interval)必須滿足 ，如此才不會造成混疊效應混疊效應(Aliasing)。xuWx211.7.2 避免混疊效應 P(u)u-1/x1/xT(u)u-WuWu某函數取樣函數F(u)和P(u)進行迴積運算將T(u)乘上F(u)*P(u)可得F(u)F(u)*P(u)uWu3Wu-Wu-3WuF(u)uWu-Wu47圖1.7.2.1輸入的影像圖1.7.2.2傅利葉頻譜圖最後我們來看一個FT的實作結果。給一影像如圖1.7.2.1所示，經FT作用後，其傅利葉頻譜顯示於圖1.7.2.2。1.8 結論n我們從光的組成談到人眼結構及其和照相機結構的對應關係；四種色彩模式的轉換，形成高灰階影像與其分解成八張位元平面，引出隱像術與浮水印；搭配DCT介紹了人臉的定位應用。48
