1、1新一代新一代3D立體顯示技術之研究及應用立體顯示技術之研究及應用(II)u立體顯示原理 u靜態影像立體深度計算 u動態影像立體深度搜尋u立體顯示轉換u應用與實驗 u結論與未來展望 2立體顯示原理n觀看立體顯示的方法:兩張立體圖片分別由對應的左右眼觀看，經由大腦自然融合後，就可讓物體浮現或凹陷深入場景的感知。n視差遮障(Parallax Barrier)：利用左右影像插排融合技術，利用透光狹縫（Slit）與不透光遮障(Barrier）垂直相間的光柵條紋，放置於融合圖形之上，來限制左右眼分別看到左右影像，右圖為視差遮障型的立體顯示器。3靜態影像立體深度計算nCID法(Computed Image
2、 Depth method)1.切割適合的區塊，一般使用 16x16 block2.計算Sharpness/Contrast各block，依強度分成三類3.整合為距離強度，分成遠、中、近三類4.轉換YCbCr作顏色屬性區塊整合分數距離6近(Near)45中(Middle)23遠(Far)值清晰度對比度高33中22低114靜態影像立體深度計算Laplacian 3x3 Matrix141420414161L),()2,2(),(3131ikLljkiIjiSklm3131)2,2(91),(klmljkiIjiMMean31312),()2,2(91),(klmmjiMljkiIjiCContr
3、astContrast判別判別:SharpnessSharpness判別判別:255,0,),(),(nmnSjiSjiS255,0,),(),(nmnCjiSjiC5動態影像立體深度搜尋n光流法(Optical Flow Method)定義為在連續影像上各個圖素的亮度變化，可以是由空間中物體移動而產生亮度變化，亦可以由照明光線變動而產生的變化。n光流搜尋 1.計算 光流梯度/光流差：2.MHI(motion history image)：3.閉合處理(closing)得出光流量有效區域：4.光流四步搜尋法與LSM：6動態影像立體深度搜尋A1A2A3A4A5A6A7A8A9B1B2B3B4B5
4、B6B7B8B9A1=I1、A3=I2 A7=I3、A9=I4B1=I5、B3=I6 B7=I7、B9=I8E x：(I2-I1)+(I4-I3)+(I6-I5)+(I8-I7)/4E y：(I3-I1)+(I4-I2)+(I7-I5)+(I8-I6)/4E t：(I5-I1)+(I6-I2)+(I7-I3)+(I8-I4)/41111,PPPPxxiyyjjiYjiA1111,nnnnxxiyyjjiYjiB上一頁影像上一頁影像:下一頁影像下一頁影像:光流偵測光流偵測:7動態影像立體深度搜尋n前置處理2550,yxEEStstsyxG,),(),(StstsdiffyxDEdifft,),(
5、),(,),(yxG梯度量差值量),(yxDMHI光流有效區域xyStstsMtsDyxM,2/,閉合處理(closing)：待處理影像先經過擴張(dilation)運算後再進行侵蝕(erosion)運算 010111010AxyStsAAtsCAtsCyxO,),(yxM,),(yxO8動態影像立體深度搜尋n四步搜尋光流搜尋區塊中心點與其鄰近相隔一半搜尋範圍點位置的八個區域，加上本身共有九個區域作為與要比較區塊的判別目標物搜尋的方向資訊。nLSM判別法TCrCbYErrerrorerrorerror27步驟一步驟三步驟四步驟二9121),(),(ikkerroryxYIyxYIY9121),
6、(),(ikkerroryxCbIyxCbICb91211),(),(ikkerroryxCrIyxCrICr9立體顯示轉換n觀察空間中某一點；在左眼看到位置在A點時，右眼因角度看到B點，這兩個位置在空間中是同一點，當那點移動後，由左眼觀看A點移動到C點時，B點也移動到D點，而ABCD四點恰巧會呈現直線相連的方式存在，也就是左眼的A至C點與右眼B至D點具有相同的圖素和向量方向的，因投影的關係在左平面和右平面位置不同。n移動時差建立深度還原法:而當A點移動到C點會經過B點，這時A點和B點的關係就只差異一個時間差上，且等比率的也差異在C點和D點上，若令A點為t時間的點，C點為t+1時間的點時，B、
7、D點就以A點加時間差和來表示。10立體顯示轉換n深度還原法調整當移動量不大時，其 值太小，經觀察其立體視差效果不顯著，更動由原圖當左眼圖方式，符合在AC點運動向量方法內，變成創造新的左眼圖來加強深度感。但由於都由前一頁 點產生，產生的圖形左右對應有較嚴重的變形，故在改由下一頁 點來產生右眼圖點比較洽當，所以最後更動由 點旁的右眼圖。0近中 遠量物件距離4/)21(xx 2/)21(xx t增強立體效果 新還原法 CID法調整 左右眼移動方向 ttABC11立體顯示轉換shiftRightxxx2shiftRightyyy2shiftLeftyyy1shiftLeftxxx1移動左眼立體圖移動右
8、眼立體圖完整左眼立體圖完整右眼立體圖由原圖當底圖疊上移動量移動上下頁光流點創造立體圖12應用與實驗n實驗方法:使用高解析640 x480 以上的電影和動畫影像，經由本實驗各步驟轉換成立體影像後，使用sharp和DTI狹縫視差遮障型立體顯示器播放，觀察其立體效果，作為研究效果分析，顯示上因sharp在3D模式亮度衰減較小而有較佳的效果。系統架構圖 13應用與實驗立體轉換前處裡:取出影像各頁，濾波消除雜訊，並色彩轉換至Y、Cb、Cr，供後續處理使用。前一頁 下一頁 YCb Cr14應用與實驗靜態計算:計算影像內清晰度和對比度，並依顏色屬性組合靜態深度，供深度還原法使用。清晰度強度 銳利度強度顏色屬
9、性分類圖靜態深度圖15應用與實驗動態搜尋:影像前後頁動態搜尋光流向量，得出光流近似深度，供深度還原法使用。梯度圖 光流向量圖MHI閉合有效圖光流近似深度圖16應用與實驗n依光流深度還原法製作左右眼圖，並由顯示器提供之軟體進行影像的插排融合(interlace)，再藉由線條遮障陣列顯示器（Barrier Arrays）的遮蔽效果觀看的立體圖。(a)左眼圖 (b)右眼圖插排立體圖17結論與未來展望歸納總結以下研究結論：u深度資訊擷取:分析產生靜態深度結構，再加上光流法搜尋動態前後頁影像的移動向量，結合靜態與動態深度資訊，已可估出近似的影像深度。u影像應用性廣:不需要真實的深度圖和其他相機参數設定，
10、也不需要雙眼模式拍攝，一般影片的影像資料，經轉換成左右眼立體影片檔後，再透過立體顯示器播放，不需戴眼鏡即可呈現立體效果的影片。u立體品質:利用新深度還原法製作出的立體影片，前景部分有浮出顯示畫面外視覺，與背景有明顯的空間距離感，大面積移動的物件也有景深的層次感，並不為只有單一深度的感覺，整體畫面構成已經有不錯的立體的感受。18結論與未來展望未來的研究方向，可以朝向三個方面著手進行:u3D 顯示器或投影設備規格研究：現行使用顯示器3D模式或廠商提供的播放軟體，因每種3D顯示器顯示原理和硬體規格不同，而有立體感受差異，尚須研究每一類型規格，由自製的程式自動控制播放來訂定最佳顯示模式。u更精準的深度圖研究：可自訂加入已知條件，如相機参數、光源點、景深比例，室內、走道、郊外各場景，在越多已知的條件下應可更準確的產生深度圖。u區塊移動補點研究：若要讓3D顯示效果更佳，則變形和移動會更加劇烈，這時會產生許多空洞點、雜點，尋求一個良好的演算法，彌補失真降至最低，達到更立體清晰浮現的顯示。
