1、1第一章第一章光、影像光、影像、浮水印、浮水印和抽樣原理和抽樣原理2n1.2 光與顏色n1.3 人眼與照像機的關係n1.4 彩色模式的轉換-RGB、YIQ、HSV和YUVn1.5 隱像術與浮水印n1.6 人臉的定位應用n1.7 影像抽樣原理n1.9 作業n1.5.1 影像的位元平面剖析n1.5.2 基本原理 n1.6.1 形態學 n1.6.2 離散餘弦轉換 n1.7.1 傅利葉轉換 n1.7.2 避免混疊效應 1.1 前言3n光(Light)是一種粒子，也是一種波。人的眼睛只能看到可見光的部份，卻不能看見頻率頻率(Frequency)低於可見光的紅外線和微波，也無法看見頻率高於可見光的紫外線和
2、加瑪射線。n在影像處理中，像素的亮度亮度(Brightness)和頻率的關係，如圖1.2.1所示。低頻率的紅光和高頻率的紫光的亮度都不如比較中間頻率的黃綠光來的強。紅黃綠紫亮度頻率可見光1.2 光與顏色圖1.2.1 亮度與頻率的關係紅光波長：9700 10紫光波長：9400 1041.3 人眼與照像機的關係n除了利用掃描器掃描器(Scanner)外，影像處理前的輸入影像有很大的比例是由照像機照像機(Camera)拍攝而得。n瞳孔的功能很像照像機的光圈，是用來調節進入人眼內部的光通量，光通量一般以流明流明(Luminance)為單位。視網膜睫狀肌水晶體視神經束瞳孔眼角膜虹膜圖1.3.1 人眼示意
3、圖5圖1.3.2透鏡成像原理n 圖1.3.2為透鏡成像的中央投影中央投影(Central Projection)示意圖。圖中的f代表鏡頭的焦距；f1代表物距，f2而代表像距。f、f1和f2會滿足下列式子21111fffQ1：令f1=3 cm和f2=6 cm，求算f。ANS：根據式(1.3.1)，我們得到所以f=2 cm。EOA2161311f(1.3.1)61.4 彩色模式的轉換n在影像的彩色模式中，比較常見的有下列幾種：(1)RGB，(2)YIQ，(3)HSV，(4)YUV。nRGBYIQBGRQIY311.0528.0212.0321.0275.0596.0114.0587.0299.0(
4、1.4.1)Q1：給一像素，其(R,G,B)為(100,50,30)，試求其對應的灰階值。ANS：由式(1.4.1)可得故得灰階值63。EOA6330114.050587.0100299.0YY 為亮度信號（Luminance）；I 代表In-phase，色彩從橙色到青色；Q 代表Quadrature-phase，色彩從紫色到黃綠色。(NTSC 電視系統標準。)7Q2：給一22 RGB影像 請將I由RGB彩色影像轉換成YIQ影像，這裡(10,20,40)代表R=10,G=20和B=40。ANS：利用式子(1.4.1)可得經過四捨五入後，所得到的YIQ影像為EOA)120,250,50()200
5、,150,100()20,30,40()40,20,10(I)84,77,175()4,46,141()1,9,32()4,12,19(YIQI8 圖1.4.1 彩色Lena影像 圖1.4.2 轉換的高灰階Lena影像 n給一彩色 Lena影像，如圖1.4.1所示，利用式(1.4.1)中Y與RGB的關係，我們可得到圖1.4.2所示的高灰階影像。9nRGBHSV 255),(),(),(),(B if 360B if 5.0cos11211BGRMaxVBGRMaxBGRMinBGRMaxSGHHGHHBGBRGRBRGRH(1.4.2)n在HSV系統中，H=0時代表紅色，H=120時代表綠色，
6、H=240時代表藍色。當的S=0時，表示影像為灰階式的影像。當H=0且S=1時，影像為紅色。當V=0時，表示黑色。反之，當V=1時，表示白色的亮光。10nHSV系統可以圖1.4.3表示其座標系統。nHSV彩色系統有時也稱作HSB彩色系統，這裡的B代表Brightness。nHSV有時更被稱作HIS，這裡的I代表Intensity，其實就是灰階值。圖1.4.3 HSV彩色系統11)33sin()33cos(VUQ)33cos()33sin(VUInYUVYIQn在JPEG系統中，我們第一步輸入RGB彩色影像。第二步將RGB彩色轉換成YCbCr彩色系統。詳細的Cb和Cr可由下式獲得5.02/5.0
7、2/YRCYBCrb(1.4.3)n 的 代表“Blue Minus Black and White”;代表“Red Minus Black and White”。rbCYCbCrC121.5 隱像術與浮水印1.5.1 影像的位元平面剖析 n將RGB分解成R平面、G平面和B平面(a)R平面(b)G平面(a)B平面圖1.5.1.1彩色Lena影像的三張分解圖13(a)第一張位元平面 (b)第二張位元平面(c)第三張位元平面 (d)第四張位元平面(e)第五張位元平面 (f)第六張位元平面(g)第七張位元平面 (h)第八張位元平面n將高灰階Lena影像中的灰階像素分解成八個位元平面 圖1.5.1.2
8、高灰階Lena影像的八張分解平面14圖1.5.1.3圖1.5.1.2(e)(h)的合成影像 n我們把圖1.6(e)(h)疊在一起可得到圖1.5.1.3。圖1.5.1.3中的Lena和圖1.4.2中的Lena在肉眼上幾乎分辨不出什麼差異。15Q1：給一如下的44子影像，子影像的每一個像素之灰階值佔用 八個位元，請算出第三張位元平面。876532313029101112130123ANS：我們首先將上面的子影像轉換成00001000000001110000011000000101001000000001111100011110000111010000101000001011000011000000
9、110100000000000000010000001000000011將右邊第三位元全部收集起來，我們得到如下的第三位元平面：0111011100110000EOA16Q2：前述的隱像術之優缺點為何?ANS：滿足上圖的函數也叫單程函數(One Way Function)。利用位元平面來植入影像的最大缺點為：一旦經過壓縮後，所植入的影像很容易受到破壞，解壓後所取出的影像常常已遭到很嚴重的破損。EOA171.5.2 基本原理 給二張影像A和B，所謂的隱像術隱像術就是把A影像隱藏在B影像並且讓人無法察覺B影像中藏了A影像。101022210),(),(1255log10NxNyyxByxBNMSE
10、MSEPSNR而所謂的浮水印浮水印，可把A看成標誌(Logo)，通常這個標誌可想成一種版權。n隱像術nPSNR令B為將A隱藏在B後的結果。PSNR(Peak Signal-to-Noise Ratio)很常被用來評估B和B的相似性，PSNR的定義如下n浮水印18nSVD隱像術方法已知有一 的灰階影像A，假設A的秩秩(Rank)為r，則A的SVD可表示為tVUANN V和U為正交矩陣正交矩陣(Orthogonal Matrix)且 ，其中 滿足 和 。這裏 等於 ，為矩陣At A的第i個特徵值特徵值(Eigenvalue)。),.,(21ndiagn.,210.21r0.21nrriii19Q1
11、：如何知道？0 iANS：利用22220tttttAXAXAXX A AXXXX XXAXXEOA20Q2：如何知道A可進行SVD分解？也就是，如何得到ttttVUVVUUVUA11121121000)(ANS：(1.5.2.1)212222A8888AAt例如，令 ，則 。的特徵值特徵值(Eigenvalues)為 和 。將特徵值開根號，A的奇異值為 和 。特徵值為16的特徵向量為 而特徵值為0的特徵向量為 ，利用這二個特徵向量可建構出AAt161024102tV1,11tV1,12111121),(21VVVUAVjjjuAV利用 可得 所以111112211222211422uAV22又
12、由 ，可得 。利用 可找出UAVttVUA0jtuAtu21,212tu1,0,03 和 來。所以A的SVD可表示為我們可利用前人提出的結合SVD及VQ之方法，在壓縮效果和失真之間得到一個較好的平衡。21212121000421212121tVUASVD隱像術方法2311223312344112233123440000nnnntCCtCCtCCn nCCCCCtCtCtWWtWWtWWn nWWWWWtWtCVVVCUUUUUVVVVVWUUUUUVV 112211221212333123000000CtCCtCWtWtWWn nCCWWWtWWVVVVMUUUUUV24圖1.5.2.1(a)
13、為待植入的F16影像，圖1.5.2.1(b)為將F16植入圖1.4.2後的結果。F16經隱像後，效果的確蠻好的，畢竟在圖1.5.2.1(b)中，用肉眼實在看不出F16隱藏其中。(a)待植入的F16(b)將F16植入圖1.4.2後的結果 圖1.5.2.1隱像後的效果 25Q3：一般而言，怎樣分辨浮水印和資料隱藏?ANS：用浮水印所加入的影像，主要是想確定誰是影像的真正所有者；而資料隱藏只是想透過隱像術的技巧將資料隱藏起來。EOA261.6 人臉的定位應用圖1.6.1.1 輸入的影像圖1.6.1.2 皮膚色所在n封閉封閉(Closing)算子n開放開放(Opening)算子1.6.1 型態學 27
14、bABABADBb),(123451234511BAxy123451234511xy123451234511xy圖1.6.1.3 集合A和B圖1.6.1.4 D(A,B)圖1.6.1.5 E(A,B)令A為待處理的區塊集而B為結構化元素集結構化元素集(Structuring Elements)：n擴張(Dilation)和侵蝕(Erosion)n擴張擴張運算n侵蝕侵蝕運算bABABAEBb)(),(28Q1：今將圖1.11的區塊集改成下圖所示的區塊：ANS：根據前面D(A,B)和E(A,B)的定義，我們有試求D(A,B)和E(A,B)。BAD,BAE,EOA29Q1.1：給以下三區塊集，如下圖
15、所示，延用圖1.6.1.3的結構化元素 集B，請分別算出此三區塊集經開放算子及封閉算子運算後 的結果，並加以說明。30ANS：開放算子先進行擴張運算再進行侵蝕運算，經由擴張運算可以得到下圖的結果。再將擴張運算所得區塊集進行侵蝕運算，最後可得下圖的結果。XY1234567891012345678910封閉算子先進行侵蝕運算再進行擴張運算，經由侵蝕運算可以得到下圖 再將侵蝕運算所得區塊集進行擴張運算，最後可得下圖的結果。XY1234567891012345678910此即為封閉算子運算後的結果。EOA 31Q2：如何利用擴張運算子D和侵蝕運算子E以求得影像中輪廓 的外圍？ANS：令I代表原影像，而
16、B代表結構化元素集。D(I,B)將影像的輪 廓擴張；E(I,B)可將影像的輪廓侵蝕及縮減。因此D(I,B)-E(I,B)可得到影像中物體的輪廓外圍，這裏的-代表兩影像 相減。下面的圖為測輪廓的示意圖：介於D(I,B)和E(I,B)之間的環形區域可視為物體I的輪廓。EOA32Q4：如何利用色調範圍來過濾皮膚色?ANS：首先利用人工點選的方式，將所有訓練影像中的皮膚色予以框出來，然後將色調抽取出來，並且將統計出來的平均值 和標準差 用於濾波器的設計，下面為其示意圖：33 令 f(x,y)為框框內位於(x,y)的灰階值減去128，則DCT的計算公式如下NjyNixyxfjCiCNjiDNxNy2)1
17、2(cos2)12(cos),()()(21),(1010otherwiseiic,10,2/1)(otherwisejjc,10,2/1)(f(x,y)也可透過IDCT(inverse DCT)得到，公式如下 透過式子(1.4)求得f(x,y)後再加上128即可得到位於影像中(x,y)位置的原始灰階值。NjyNixjiDjCiCNyxfNiNj2)12(cos2)12(cos),()()(21),(10101.6.2 離散餘弦轉換(Discrete Cosine Transform)nDCTnIDCT(1.3)(1.4)34圖1.6.2.1 8x8的灰階圖案及其灰階值圖1.6.2.2 DCT
18、後的結果nDC(Direct Current、直流值)此處N=8，則nAC(Alternative Current、交流值)10101010),(2210cos0cos),(212121)0,0(NxNyNxNyyxfNyxfND7070),(81)0,0(xyyxfD35Q2：當D(0,0)1000時，原88灰階影像為何種影像？ANS：令全黑的灰階值為0，而全白的灰階值為255。已知1000),(6418)0,0(7070 xyyxfD很容易推知原88灰階影像可能為一幾近全白的平滑影像。不過，有時為保險起見，除了D(0,0)的值外，還得看看其餘的63個值。EOA圖1.6.2.3DCT頻率域的
19、紋理方向示意圖圖1.6.2.3為DCT後的頻率域之紋理方向示意圖。通常若框住皮膚色的框框是臉部時，在高頻區會有一些較大的係數表現。當DC值過小時和AC值過大，可進一步判斷有臉部的框框。36Q3：如何在臉部上找出眼睛和嘴巴的部位？ANS：假設找到的臉部如下所示：利用水平投射法水平投射法(Horizontal Projection)我們可發現在(a,b)和(c,d)兩區間有頻率較高的波峰(Peak)，依位置而言，可合理推估(a,b)區間為眼部所在，而(c,d)區間為嘴巴所在，畢竟這兩個部分的邊點數是較多的。EOA371.7 影像抽樣原理 給一週期函數(Periodic Function)g()，傅
20、利葉原先的想法是將g()用有正交性(Orthogonality)的傅利葉基底(Basis)來表示。這些正交的基底為cos、cos2、cos3、sin、sin2、sin3，。2020n正交性正交性)cos()cos(21coscosnmnmnm時，當nm 0coscos20dnm時，0 nm20coscosdnm時，0 nm2coscos20dnm1.7.1 傅利葉轉換38n求解傅利葉係數 有了傅利葉基底後，g()可表示成 10sincos2kkkkbkaag則從可推得從可推得0,0,cos)(020mamadmgm,.2,1,0,cos)(120mdmgam)0(sin)(20mbdmgm,.
21、3,2,1,sin)(120mdmgbm(1.5)39Q1：我們來看個例子吧！ANS：令 ,g-2-23-3-g()圖1.7.1.1 g()0cos1dkak0)cos(2sin1kkddkbk01sin)1(2)(kkkkgsin21S2sin21sin22S3sin312sin21sin23S1)1(2cos2kkkk.4sin413sin312sin21sin2只取第一項只取前二項只取前三項11-1-122-2-233-3-3g()S1S2S3圖1.7.1.2 g()的三個近似圖EOA40nFFT令 為1的基本根基本根(Primitive Root)且滿足 。若N=8時，傅利葉矩陣為iN
22、iiieWN21NNW12345672462463614725444452741636426427654321811111111111111111111WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWF2420:NeXXXXX1531:NoXXXXXX)log(NNOFFT可在 時間內完成，首先將 分成偶半部和奇半部，分別表示成 41令 和 。利用算出的 和 ，可得 eNXFu2/oNXFv2/uvNiNvWuNivWuyNiiNNiiiNii2 ,20 ,2/2/(1.5.1)當2/0Ni iiNiNkkikNiNNkkikNNkkkiNNkkkiNN
23、jjijNNjjijNNjjijNivWuXWWXWXWXWXWXWXWy2/0122/2/022/2/012)12(2/022j0j00奇數偶數NiN2/2/2/2/012)2/(2/2/02)2/(2/2/0122/2/022/NiiNNiNkkkNiNiNNkkkNiNNkkikNiNNkkikNivWuXWWXWXWWXWy當42Q2：可否利用替代法證明 。ANS：已知 ，可推得)log()()2/(2)(NNONNTNT)()2/(2)(NNTNT)log(log2)1(log)2(2)11.1()2/(2.)2/(2.)4/(2)2/(2)()2/(2)(2NNOCNNCNNCNN
24、TNCNNTCNCNCNNTCNCNNTCNNTNNTNTkkkkEOA43n分開性(Separability)回到二維的FT，假設一張影像位於(x,y)的灰階值為 f(x,y)，則二維的FT定義為1010)(2),(1),(NxNyNvyuxjeyxfNNvuFIFT(Inverse FT)依下式求得1010)(2),(1),(NuNvNvyuxjevuFNyxf式子(1.7.1.4)可改寫成下列的型式102101022),(1),(1),(NxNuxjNxNyNuyjNuxjevxFNeyxfeNvuF式子(1.7.1.5)中F(x,v)可看成先對y軸進行FT再對x軸進行FT。(1.1.7
25、.1.5)式顯示的是FT的分開性分開性(Separability)。(1.7)(1.8)(1.9)44)2,2(),(),(),()2()2(21010)(21010)22(21010)(2)(NvNuFeyxfeeyxfeeyxfNyNvxNujNxNyNvyuxjNxNyNyNxNjNxNyNvyuxjyxj Q3：假如我們想把FT後的結果從原點原點(Origin)移到中央中央(Center)，該 如何辦到呢？ANS：首先將乘上 ，則 的FT如下所算yxyxf)1)(,(yx)1(1.10)1010)(2)1)(,(NxNyNvyuxjyxeyxf由f(x,y)(1)x+y的FT等於 ，可
26、得知已將FT的結果從原點移至中央處了。式(1.10)顯示了FT的平移性(Translation)。)2,2(NvNuFEOA45f(x)x-1/21/2f(x)x-1/41/4F(u)u-4-4F(u)u2-2-44f(x)F(u)1/2f(u/2)f(2x)n放大性(Scaling)若將 乘上一個係數C，則 經FT作用後得 到 ，這個性質稱作放大放大性質。令 ，則 和 。可推得 和 為傅利葉配對傅利葉配對(Fourier Pair)，具有倒數放大性質倒數放大性質(Reciprocal-Scaling)。),(yxf),(yxfC),(vuCFzx zx dzdx1)(xf)(|1uF46n迴
27、積定理(Convolution Theorem)兩函數 f(x)和 g(x)的迴積迴積定義為 10)()()()(Nmmxgmfxgxf10)()(1)(NmmxgmfNxz)()()(1)(1)(1)(1)()(1)(1101010101010210uGuFWxgNWmfNWmxgNmfNWmxgmfNWxzNNxkxNmkmNxkxNmNxNmkxNxkx 令 則所有 z(x)經FT作用後得47n取樣間距(Sampling Interval)必須滿足 ，如此才不會造成混疊效應混疊效應(Aliasing)。xuWx21F(u)uWu-WuP(u)u-1/x1/xF(u)*P(u)uWu3Wu
28、-Wu-3WuT(u)u-WuWu某函數取樣函數F(u)和P(u)進行迴積運算將T(u)乘上F(u)*P(u)可得F(u)1.7.2 避免混疊效應 48圖1.7.2.1輸入的影像圖1.7.2.2傅利葉頻譜圖最後我們來看一個FT的實作結果。給一影像如圖1.7.2.1所示，經FT作用後，其傅利葉頻譜顯示於圖1.7.2.2。491.9 作業1001011021031516 習題一：給一 影像如下所示22 A=21 B=另外給一 機密影像如下所示今打算將B隱藏在A，試問如何做且列出隱像後的結果。習題二：利用XOR算子將十進位的數字轉換成二進位的位元字串，但需滿足鄰近的二個十進位的數字經轉換後的二進位字串之漢明距離(Hamming Distance)為最小。
