1、1具預測能力及鎖定區域之具預測能力及鎖定區域之動態影像追蹤系統動態影像追蹤系統指導教授指導教授:黃世演博士黃世演博士研研 究究 生生:何相垣何相垣 中華民國中華民國98987 7月月2222日日 論文口試簡報論文口試簡報2大大 綱綱1.1.緒緒 2 2.系統架構系統架構3.3.理論基礎理論基礎 4.4.實驗結果實驗結果5.5.結結 論論3緒緒 (1/2)(1/2)研究動機研究動機 傳統的監視系統缺點傳統的監視系統缺點：單一或數個攝影機連結到儲存系統，只拍攝固定範圍，單一或數個攝影機連結到儲存系統，只拍攝固定範圍，監視區域有限監視區域有限。監視區域範圍過廣而使得拍攝到的目標過小辨識。監視區域範圍
2、過廣而使得拍攝到的目標過小辨識。被動的監視錄影，只能做為事後的影像蒐證，缺乏事被動的監視錄影，只能做為事後的影像蒐證，缺乏事前的預防功能前的預防功能。人工方式人工方式搜尋事件發生的搜尋事件發生的錄影錄影片段，非常費時費力片段，非常費時費力。4緒緒 (2/2)(2/2)研究目的研究目的 本研究提出利用移動目標偵測及追蹤等方法，結合可動式本研究提出利用移動目標偵測及追蹤等方法，結合可動式攝影機，建一套動態影像追蹤監視系統。攝影機，建一套動態影像追蹤監視系統。監控系統能自動對影像進分析，使其具有偵測、追蹤、監控系統能自動對影像進分析，使其具有偵測、追蹤、以及資檢等功能。以及資檢等功能。期望能事前避免
3、意外的發生，低事件的傷害程，減少期望能事前避免意外的發生，低事件的傷害程，減少監控人員的負擔。監控人員的負擔。5系統架構系統架構系統流程方塊系統流程方塊圖：圖：6影像擷取及前置處理影像擷取及前置處理 v 影像擷取影像擷取 影像大小影像大小640640 480480像素像素 影像格式為影像格式為RGBRGB色彩空間色彩空間 v 色彩空間轉換色彩空間轉換 RGBRGB色彩空間色彩空間 灰階影像灰階影像(Gray Image)(Gray Image)v 雙線性內插法雙線性內插法 影像大小影像大小640640 480480像素像素 160160 120120像素像素 DCBAyxP1111,(2)Bl
4、ue0.114Green0.587Red0.299ImageGray(1)原始影像原始影像BACD轉換影像轉換影像EFP(x,y)P(x,y)原始影像原始影像BACD轉換影像轉換影像EFP(x,y)P(x,y)7移動目標偵測移動目標偵測 移動目標偵測移動目標偵測流程圖：流程圖：K=1K=2K=38混合高斯模型混合高斯模型 對影像中的每一個點的像素值變化情形，建立對影像中的每一個點的像素值變化情形，建立多個高斯分佈背景模型多個高斯分佈背景模型，新，新進的像素點再依據進的像素點再依據背景模型背景模型來判斷是否為移動像素點。來判斷是否為移動像素點。假設序列影像假設序列影像在任意時間點在任意時間點中，
5、某中，某個像素點可將之定義如下：個像素點可將之定義如下：對於任意時間點對於任意時間點 像素值之高斯機率，像素值之高斯機率，可表示如下：可表示如下：其中其中代表高斯分佈之個數代表高斯分佈之個數；為為時刻第時刻第個個高斯分佈高斯分佈之權重之權重值值；及及 為為時刻第時刻第個個高斯分佈高斯分佈之平均值之平均值和和變變；為高斯機函數為高斯機函數，表示如下表示如下:tiiyxIXXt1:),(,1KititXP12,ti,tti,),(X*)(tX)()(21exp21),(,2,2,tittiTtittitititXXXti,ti,2,ti),(2,tititiX(4)(5)(3)9參數更新參數更新
6、新進的像素點新進的像素點 依序比對所建立的依序比對所建立的個高斯分佈個高斯分佈來做匹配：來做匹配：更新更新個高斯分佈的權重值個高斯分佈的權重值:其中為其中為 學習率學習率；當當 匹配第匹配第個高斯分佈時個高斯分佈時 ，反之則，反之則 ；更新與像素點更新與像素點 匹配相符的高斯分佈之參數：匹配相符的高斯分佈之參數：其中其中 ；tititX,5.2tititiM,1,)1(1,tiM0,tiMttitiX1,)1()()()1(,21,2,titTtittitiXXtX)10(tXti,(6)(7)(8)(9)tX10雜訊濾除雜訊濾除 v二值化運算二值化運算 v形態學運算形態學運算 膨脹膨脹(Di
7、lation)(Dilation)、蝕刻蝕刻(Erosion)(Erosion)、展開展開(Opening)(Opening)、閉合閉合(Closing)(Closing)v區塊面積分析區塊面積分析 8相鄰標籤相鄰標籤v框選目標框選目標 v幾何形心座標計算幾何形心座標計算 11移動目標追蹤移動目標追蹤移動目標追蹤移動目標追蹤流程圖：流程圖：移動移動目標追蹤目標追蹤取得特徵資訊取得特徵資訊後端介面後端介面12幾何形心座標位移幾何形心座標位移v將移動目標的幾何形心將移動目標的幾何形心座標座標 往上位移，作為目往上位移，作為目標物的位置標物的位置 ，取代傳統計算膚色、橢圓輪廓等，取代傳統計算膚色、橢
8、圓輪廓等技術。技術。8Height3Offset ,Offset,yxyxyx,yx,(0,0)TopBottomHeightOffsetyx,yx,HeightOffsetyx,yx,(10)幾何形心座標位移示意圖幾何形心座標位移示意圖 13卡爾曼濾波器卡爾曼濾波器v預測移動目標下一個時間點可能出現的座標位置預測移動目標下一個時間點可能出現的座標位置v預測預測及及偵測更新偵測更新兩者做遞迴兩者做遞迴運算：運算：預測階段預測階段:預測下一個時間點的系統狀態值及誤差預測下一個時間點的系統狀態值及誤差。修正階段修正階段:依測得到的資對卡爾曼波器的各項做調整。依測得到的資對卡爾曼波器的各項做調整。系
9、統初始參數系統初始參數計算卡爾曼增益計算卡爾曼增益更新誤差矩陣更新誤差矩陣預測系統狀態值預測系統狀態值及誤差矩陣及誤差矩陣利用量測值利用量測值修正預測狀態修正預測狀態量測值量測值預測階段預測階段修正階段修正階段14預測階段預測階段v系統設定的狀態系統設定的狀態變數：變數：v目前目前修正後的態值修正後的態值 預測下一個時間的預測下一個時間的態值態值 ：v目前目前修正後的誤差矩陣修正後的誤差矩陣 預測下一個時間的預測下一個時間的誤差矩誤差矩陣陣 ：其中其中A A 為轉換矩陣為轉換矩陣；為系統雜訊為系統雜訊誤差誤差矩陣矩陣；YXYXSt 1ttSAS 1QAPAPTtt 10000100101001
10、01A(11)(12)(13)tS1tStP1tP15修正階段修正階段v卡爾曼增益卡爾曼增益:為量測雜訊為量測雜訊誤差誤差矩陣矩陣；為為測值與預測態之間測值與預測態之間關係矩陣關係矩陣；v修正預測的態值修正預測的態值 ：為測值為測值 v更新誤差矩陣更新誤差矩陣 ：001000011111HRHPHHPKTtTtt11111tttttSHZKSSttttPHKIP1tZ1tS1tP(14)(15)(16)16鎖定區域鎖定區域 v 當下一個時間點移動目標之當下一個時間點移動目標之預測座標預測座標位置，進入位置，進入鎖定區域鎖定區域範範圍時，系統立即驅動攝影機轉動追蹤圍時，系統立即驅動攝影機轉動追蹤
11、。v 減少驅動攝影機轉動的次數，以縮短延遲等待時間減少驅動攝影機轉動的次數，以縮短延遲等待時間。視野範圍鎖定區域示意圖視野範圍鎖定區域示意圖 鎖定區域鎖定區域 (時間時間 T)(時間時間 T+1)640 480320 240移動目標移動目標17追蹤目標追蹤目標 座標轉換座標轉換 當目標在實際場景移動當目標在實際場景移動公分，與攝影機的垂直距離為公分，與攝影機的垂直距離為公分，依幾公分，依幾何關係攝影機需往垂直或水平旋轉何關係攝影機需往垂直或水平旋轉角，座標角度轉換表示如下角，座標角度轉換表示如下：v 採用採用RS-232 RS-232 通訊介面，對攝影機送出指令控制通訊介面，對攝影機送出指令控
12、制鏡頭追蹤移動鏡頭追蹤移動目標。目標。dx1sindx時間時間 T+1時間時間 T(17)移動目標移動目標移動目標與攝影機關係圖移動目標與攝影機關係圖 18錄影及擷取影像特徵資訊錄影及擷取影像特徵資訊 v 當攝影機開始追蹤移動目標時，系統同時進行錄影及擷取當攝影機開始追蹤移動目標時，系統同時進行錄影及擷取特徵資訊特徵資訊 。v 系統每隔預先設定時間，攝影機會對移動目標進行放大特系統每隔預先設定時間，攝影機會對移動目標進行放大特寫拍攝儲存寫拍攝儲存 。系統追蹤人物移動錄影片段系統追蹤人物移動錄影片段 特寫圖片特寫圖片19監視影像搜尋監視影像搜尋 v 可從特寫圖片可從特寫圖片取得移動目標的臉部區域
13、特徵資訊，以提供取得移動目標的臉部區域特徵資訊，以提供日後的查詢與佐證。日後的查詢與佐證。v 系統將所儲存的特寫圖片當作一個系統將所儲存的特寫圖片當作一個時間點標籤時間點標籤，調閱監視，調閱監視影像時，可先快速瀏覽特寫圖片。影像時，可先快速瀏覽特寫圖片。v 若要觀看某特寫圖片的前後監視影像，僅需從該特寫圖片若要觀看某特寫圖片的前後監視影像，僅需從該特寫圖片的時間點開始播放監視影像即可，有效減少瀏覽監視影像的時間點開始播放監視影像即可，有效減少瀏覽監視影像的時間。的時間。特寫圖片特寫圖片20實驗結果實驗結果(1/6)(1/6)系統之硬體架構：系統之硬體架構：本系統以本系統以 LabVIEW La
14、bVIEW 圖控程式語言圖控程式語言開發完成開發完成。以以三個高斯分佈三個高斯分佈建構混合高斯模型，建構混合高斯模型，學習率設定為學習率設定為0.080.08。區塊面積大於區塊面積大於125125像素像素才被認定為前景目標才被認定為前景目標。平均每張影像幀平均每張影像幀運算時間為運算時間為0.060.06秒秒。PCNI PCI-1411 SONY EVI D70 21實驗結果實驗結果(2/6)(2/6)移動目標偵測演算法效能比較移動目標偵測演算法效能比較%SGMGMMCorrectDetection88.7592.5MatchingArea61.879.1(A)(A)測試影像序測試影像序 (B
15、)(B)單一高斯模型單一高斯模型 (C)(C)混合高斯模型混合高斯模型 SGM GMM SGM GMM從測試影像偵測結果挑出從測試影像偵測結果挑出 6060張影像幀張影像幀 。將演算法分離的前景區域將演算法分離的前景區域 跟手動分割的跟手動分割的理想前景區域理想前景區域 (Ground Truth)(Ground Truth)做比較做比較。演算法效能評估結果演算法效能評估結果 22實驗結果實驗結果(3/6)(3/6)卡爾曼波器測試卡爾曼波器測試 在影像大小在影像大小640640 480480像素範圍，模擬像素範圍，模擬8080組連續移動測試座標點組連續移動測試座標點 藍色實線叉號藍色實線叉號:
16、測試座標測試座標 紅色虛線正方點紅色虛線正方點:預測座標預測座標 23實驗結果實驗結果(4/6)(4/6)v預測誤差結果：預測誤差結果：比較預測座標跟比較預測座標跟測試測試座標，其座標，其平均誤差為平均誤差為10.2610.26個像素個像素。在幾個變動範圍較大的在幾個變動範圍較大的測試測試座標點中，其座標點中，其最大誤差為最大誤差為45.7145.71個像素個像素。卡曼波器預測誤差結果卡曼波器預測誤差結果24實驗結果實驗結果(5/6)(5/6)移動目標偵測移動目標偵測DemoDemo影片：影片：25實驗結果實驗結果(6/6)(6/6)移動目標追蹤移動目標追蹤DemoDemo影片：影片：26結結
17、 v 本系統提出以單一攝影機為基礎，強化監視系統的本系統提出以單一攝影機為基礎，強化監視系統的實用性，對移動目標做即時追蹤並儲存特寫影像。實用性，對移動目標做即時追蹤並儲存特寫影像。v 使用卡爾曼濾波器進移動座標預測，可有效追蹤使用卡爾曼濾波器進移動座標預測，可有效追蹤移動目標。移動目標。v 設定鎖定區域策略，可大幅減少攝影機轉動的次數，設定鎖定區域策略，可大幅減少攝影機轉動的次數，以提升追蹤移動目標之效能。以提升追蹤移動目標之效能。v 以拍攝特寫畫面做為時間點標籤，可快速調閱監視以拍攝特寫畫面做為時間點標籤，可快速調閱監視影像，有效減少瀏覽監視影像時間影像，有效減少瀏覽監視影像時間 。27未方向未方向 發展對多個移動目標物發展對多個移動目標物進行偵測及追蹤進行偵測及追蹤加入陰影偵測演算法加入陰影偵測演算法濾除陰影干擾濾除陰影干擾 對特寫圖片人臉辨分析對特寫圖片人臉辨分析判斷常人物入侵判斷常人物入侵 未來研究方向未來研究方向辨識人體姿態以應用在居家辨識人體姿態以應用在居家照護偵測緊急情況的發生照護偵測緊急情況的發生 28報報 告告 結結 束束恭恭 請請 指指 導導29附錄附錄.1.1v移動目標偵測實驗結果移動目標偵測實驗結果30附錄附錄.2.2v移動目標追蹤實驗結果移動目標追蹤實驗結果
