北理工賈云德《計算機視覺》chapter11深度圖

《北理工賈云德《計算機視覺》chapter11深度圖》由會員分享，可在線閱讀，更多相關(guān)《北理工賈云德《計算機視覺》chapter11深度圖（19頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、精選優(yōu)質(zhì)文檔-----傾情為你奉上 第十一章　深度圖 　　獲取場景中各點相對于攝象機的距離是計算機視覺系統(tǒng)的重要任務(wù)之一．場景中各點相對于攝象機的距離可以用深度圖(Depth Map)來表示，即深度圖中的每一個像素值表示場景中某一點與攝像機之間的距離．機器視覺系統(tǒng)獲取場景深度圖技術(shù)可分為被動測距傳感和主動深度傳感兩大類．被動測距傳感是指視覺系統(tǒng)接收來自場景發(fā)射或反射的光能量，形成有關(guān)場景光能量分布函數(shù)，即灰度圖像，然后在這些圖像的基礎(chǔ)上恢復(fù)場景的深度信息．最一般的方法是使用兩個相隔一定距離的攝像機同時獲取場景圖像來生成深度圖．與此方法相類似的另一種方法是一個攝象機在不同空間位置上獲取兩幅或

2、兩幅以上圖像，通過多幅圖像的灰度信息和成象幾何來生成深度圖．深度信息還可以使用灰度圖像的明暗特征、紋理特征、運動特征間接地估算．主動測距傳感是指視覺系統(tǒng)首先向場景發(fā)射能量，然后接收場景對所發(fā)射能量的反射能量．主動測距傳感系統(tǒng)也稱為測距成象系統(tǒng)（Rangefinder)．雷達測距系統(tǒng)和三角測距系統(tǒng)是兩種最常用的兩種主動測距傳感系統(tǒng)．因此，主動測距傳感和被動測距傳感的主要區(qū)別在于視覺系統(tǒng)是否是通過增收自身發(fā)射的能量來測距。另外，我們還接觸過兩個概念：主動視覺和被動視覺。主動視覺是一種理論框架，與主動測距傳感完全是兩回事。主動視覺主要是研究通過主動地控制攝象機位置、方向、焦距、縮放、光圈、聚散度等參

3、數(shù)，或廣義地說，通過視覺和行為的結(jié)合來獲得穩(wěn)定的、實時的感知。我們將在最后一節(jié)介紹主動視覺。 11．1 立體成象 　　最基本的雙目立體幾何關(guān)系如圖11．1(a)所示，它是由兩個完全相同的攝象機構(gòu)成，兩個圖像平面位于一個平面上，兩個攝像機的坐標軸相互平行，且軸重合，攝像機之間在方向上的間距為基線距離．在這個模型中，場景中同一個特征點在兩個攝象機圖像平面上的成象位置是不同的．我們將場景中同一點在兩個不同圖像中的投影點稱為共軛對，其中的一個投影點是另一個投影點的對應(yīng)(correspondence)，求共軛對就是求解對應(yīng)性問題．兩幅圖像重疊時的共軛對點的位置之差(共軛對點之間的距離)稱為視差(d

4、isparity)，通過兩個攝象機中心并且通過場景特征點的平面稱為外極(epipolar)平面，外極平面與圖像平面的交線稱為外極線． 　　在圖11．1 中，場景點在左、右圖像平面中的投影點分為和．不失一般性，假設(shè)坐標系原點與左透鏡中心重合．比較相似三角形和，可得到下式： (11．1) 　　同理，從相似三角形和，可得到下式： 　　 (11．2) 　　合并以上兩式，可得： 　 (11．3) 其中是焦距，是基線距離。 　　因此，

5、各種場景點的深度恢復(fù)可以通過計算視差來實現(xiàn)．注意，由于數(shù)字圖像的離散特性，視差值是一個整數(shù)．在實際中，可以使用一些特殊算法使視差計算精度達到子像素級．因此，對于一組給定的攝象機參數(shù)，提高場景點深度計算精度的有效途徑是增長基線距離，即增大場景點對應(yīng)的視差．然而這種大角度立體方法也帶來了一些問題，主要的問題有： 1． 隨著基線距離的增加，兩個攝象機的共同的可視范圍減小 2． 場景點對應(yīng)的視差值增大，則搜索對應(yīng)點的范圍增大，出現(xiàn)多義性的機會就增大． 3． 由于透視投影引起的變形導(dǎo)致兩個攝象機獲取的兩幅圖像中不完全相同，這就給確定共軛對帶來了困難． 在圖11．1(b)中，圖像中的每個特

6、征點都位于第二幅圖像中的同一行中．在實際中，兩條外極線不一定完全在一條直線上，即垂直視差不為零．但為了簡單起見，雙目立體算法中的許多算法都假設(shè)垂直視差為零． 　　在實際應(yīng)用中經(jīng)常遇到的情況是兩個攝像機的光軸不平行，比如，在某些系統(tǒng)中，調(diào)節(jié)兩個攝象機的位置和姿態(tài)，使得它們的光軸在空間中相交在某一點，如圖11．2所示．在這種情況下，視差與光軸交角有關(guān)．對于任意一個光軸交角，在空間中總存在一個視差為零的表面．比這一表面遠的物體，其視差大于零；反之，比這一表面近的物體，其視差小于零．因此，在一個空間區(qū)域中，其視差可被劃分為三組： 這三組視差可用于解決匹配不確定問題． (a)

7、 (b) 圖11．1雙目立體視覺幾何模型 圖11．2攝象機光軸交會空間一點．攝象機之間的夾角 定義了視差為零的一個空間表面． 　　攝像機光軸不平行的另一種系統(tǒng)是后面將要介紹的一種叫做會聚式(convergent)立體視覺系統(tǒng)（見圖11．5）．這種系統(tǒng)不要求光軸嚴格地相交于空間一點．立體成象的最一般情況是一個運動攝像機連續(xù)獲取場景圖像，形成立體圖像序列，或間隔一定距離的兩個攝像機同時獲取場景圖像，形成立體圖像對． 圖11．3 外極線幾何示意圖 圖11．3所示的是處于任意位置和方位的兩個攝象機

8、，對應(yīng)于某一場景點的兩個圖像點位于外極線上．這兩幅圖像也可以是一個攝像機由一點運動到另一點獲取這兩幅圖像．即使兩個攝象機處于一般的位置和方位時，對應(yīng)場景點的兩個圖像點仍然位于圖像平面和外極平面的交線（外極線)上．由圖不難看出，外極線沒有對應(yīng)圖像的某一行． 11．2 立體匹配 　　立體成象系統(tǒng)的一個不言而喻的假設(shè)是能夠找到立體圖像對中的共軛對，即求解對應(yīng)問題．然而，對于實際的立體圖像對，求解對應(yīng)問題極富有挑戰(zhàn)性，可以說是立體視覺最困難的一步．為了求解對應(yīng)，人們已經(jīng)建立了許多約束來減少對應(yīng)點搜索范圍，并最終確定正確的對應(yīng)．下面我們將討論幾個最基本的約束，然后討論邊緣特

9、征和區(qū)域特征在立體匹配中的應(yīng)用． 11．2．1 基本約束 　　(1 ) 外極線約束 對于兩幅從不同角度獲取的同一場景的圖像來說，傳統(tǒng)的特征點搜索方法是首先在一幅圖像上選擇一個特征點， 然后在第二幅圖像上搜索對應(yīng)的特征點．顯然，這是一個二維搜索問題．根據(jù)成象幾何原理，一幅圖像上的特征點一定位于另一幅圖像上對應(yīng)的外極線上．因此，在外極線上而不是在二維圖像平面上求解對應(yīng)問題是一個一維搜索問題．如果已知目標與攝像機之間的距離在某一區(qū)間內(nèi)，則搜索范圍可以限制在外極線上的一個很小區(qū)間內(nèi)，如圖11．4所示．所以，利用外極線約束可以大大地縮小尋找對應(yīng)點的搜索空間，這樣即可以提高特征點搜索速度，也可以減少

10、假匹配點的數(shù)量(范圍越小，包含假匹配點的可能性越小)．請注意，由于攝象機位置及其方向的測量誤差和不確定性，匹配點可能不會準確地出現(xiàn)在圖像平面中對應(yīng)的外極線上；在這種情況下，有必要在外極線的一個小鄰域內(nèi)進行搜索． 圖11.4 空間某一距離區(qū)間內(nèi)的一條直線段對應(yīng)外極線上的一個有限區(qū)間 (2)一致性約束 立體視覺通常由兩個或兩個以上攝像機組成，各攝像機的特性一般是不同的．這樣，場景中對應(yīng)點處的光強可能相差太大，直接進行相似性匹配，得到的匹配值變化太大．因此，在進行匹配前，必須對圖像進行規(guī)范化處理(Normalization)．設(shè)參考攝象機和其它攝象機的圖像函數(shù)分別為和，在圖像

11、窗內(nèi)規(guī)范化圖像函數(shù)為： (11.4) (11.5) 其中是圖像窗內(nèi)光強的平均值,是光強分布參數(shù): 相似估價函數(shù)為差值絕對值之和(sum of absolute difference，SAD)： (11.6) (3)唯一性約束 　　一般情況下，一幅圖像(左或右)上的每一個特征點只能與另一幅圖像上的唯一一個特征對應(yīng)． (4)連續(xù)性約束

12、物體表面一般都是光滑的，因此物體表面上各點在圖像上的投影也是連續(xù)的，它們的視差也是連續(xù)的．比如，物體上非常接近的兩點，其視差也十分接近，因為其深度值不會相差很大．在物體邊界處，連續(xù)性約束不能成立，比如，在邊界處兩側(cè)的兩個點，其視差十分接近，但深度值相差很大． 11．2．2邊緣匹配 　　本算法使用的邊緣特征是通過Gaussian函數(shù)的一階導(dǎo)數(shù)獲得的．在有噪聲的情況下，使用Gaussian梯度來計算邊緣更加穩(wěn)定．立體算法的步驟如下： 1. 用四個不同寬度的Gaussian濾波器對立體圖像對中的每一幅圖像進行濾波，其中前一次濾波的寬度是下一次濾波器寬度的兩倍．這一計算可以反復(fù)通過對最小的濾波器

13、進行卷積來有效地實現(xiàn)． 2. 在某一行上計算各邊緣的位置． 3. 通過比較邊緣的方向和強度粗略地進行邊緣匹配．顯然，水平邊緣是無法進行匹配的． 4. 通過在精細尺度上進行匹配，可以得到精細的視差估計． 11．2．3 區(qū)域相關(guān)性 　　盡管邊緣特征是圖像的基本特征，而且邊緣檢測算法也十分成熟．但邊緣特征往往對應(yīng)著物體的邊界，物體的邊界深度值可以是（前景)物體封閉邊緣的深度距離和背景點深度距離之間的任一值．特別是曲面物體，其封閉邊緣是物體的輪廓影象邊緣，在兩幅圖像平面中觀察到的輪廓影象邊緣與真實的物體邊緣不是對應(yīng)的．不幸的是，圖像平面的強邊緣只能沿著這樣的封閉邊緣才能檢測到，除非物體有其

14、它的高對比度的非封閉邊緣或其它特征．這樣，恢復(fù)深度的基本問題之一是識別分布于整幅圖像中的更多的特征點，并作為候選對應(yīng)點．還有許多用于尋找對應(yīng)點潛在特征的方法，其中的一種方法是在立體圖像對中識別興趣點(interesting point)，而后使用區(qū)域相關(guān)法來匹配兩幅圖像中相對應(yīng)的點． 　　(1) 區(qū)域中感興趣特征點的檢測 　　兩幅圖像中用于匹配的點應(yīng)盡可能容易地被識別和匹配．顯而易見，一個均勻區(qū)域中的點是不適合作為候選匹配點，所以興趣算子應(yīng)在圖像中尋找具有很大變化的區(qū)域．一般認為圖像中應(yīng)有足夠多的用于匹配的分立區(qū)域． 在以某一點為中心的窗函數(shù)中，計算其在不同方向上的變化量是這些方

15、向上點的差異性的最好測度．方向變化量的計算公式如下： (11.7) 其中S表示窗函數(shù)中的所有像素．典型窗函數(shù)尺寸從到個像素的范圍．因為簡單的邊緣點在邊緣方向上無變化，所以，選擇上述方向變量的最小值為中心像素點的興趣值，可以消除邊緣點．否則，在第一幅圖像中的邊緣點可能與第二幅圖像中沿著同一條邊

16、緣的所有像素相匹配，由此使得準確確定視差變得十分困難（特別是當邊緣是沿著外極線時更是如此)．于是，有如下公式： (11．8) 最后，為了避免將多個相鄰點選為同一個特征對應(yīng)的興趣點，可以將特征點選在興趣測度函數(shù)具有局部最大值的地方．一個點被認為是一個的“好”的好興趣點，則對應(yīng)的局部最大值一定大于原先設(shè)定的閾值． 一旦在兩幅圖像中確定特征后，則可以使用許多不同方法進行特征匹配．一種簡單的方法是計算一幅圖像以某一特征點為中心的一個小窗函數(shù)內(nèi)的像素與另一幅圖像中各個潛在對應(yīng)特征點為中心的同樣的小窗函數(shù)的像素之間的相關(guān)值．具有最大相關(guān)值的

17、特征就是匹配特征．很明顯，只有滿足外極線約束的點才能是匹配點．考慮到垂直視差的存在，應(yīng)將外極線鄰近的特征點也包括在潛在的匹配特征集中． 考慮兩幅圖像和．設(shè)待匹配的候選特征點對的視差為，則以特征點為中心的區(qū)域之間相似性測度可由相關(guān)系數(shù)定義為： (11．9) 這里的和是被匹配的兩個區(qū)域中的所有像素灰度平均值，和式符號是在以特征點為中心的小窗函數(shù)中的所有像素上進行的． 在式(11.9)中，在每一個像素上使用閾值化處理后的具有正負符號的梯度幅值，而不是圖像灰度值，可以改善相關(guān)性的計算精度．這可以通過下列過程來實現(xiàn)：計算未平滑的兩幅圖像中的每個像素的梯度幅值，然后使用兩個閾值，一個

18、大于0，另一個小于0，將這些值映射到三個值．這樣圖像就被轉(zhuǎn)換為波浪起伏陣列，可以產(chǎn)生更靈敏的相關(guān)值．如果使用上述方法，則無需在相關(guān)性計算公式中包括正則項， 可以簡化為相對應(yīng)的像素值的乘積之和． 在大多數(shù)情況中，相互靠近的特征點其對應(yīng)的場景點深度也是十分靠近的．這種啟發(fā)式方法來源于迭代式松弛方法，我們將在14．3節(jié)對這種方法進行介紹． 我們在早些時候已經(jīng)注意到，基于特征的立體匹配算法產(chǎn)生對應(yīng)于圖像特征點的場景稀疏深度圖．在稀疏深度圖上進行表面內(nèi)插或逼近運算，可以重建一個表面，這部分內(nèi)容將在第13章討論． 　　立體重建過程的主要難題之一是選擇興趣點．一種典型的興趣點選擇方法是

19、基于灰度值的局部最大變化量．不幸的是，這些點經(jīng)常出現(xiàn)在拐角處或不滿足平滑約束條件的表面不連續(xù)處．在一些機器視覺應(yīng)用中，這個問題是通過使用結(jié)構(gòu)光來解決的．將模式圖投影到表面上來產(chǎn)生興趣點，并可使區(qū)域變得光滑(見下一節(jié)內(nèi)容)． 最后要說明的是，從圖像像素集合中選擇用于求解共軛對的像素子集意味著僅僅能恢復(fù)這些像素對應(yīng)的特征點深度．要想得到其它點的深度值，必須通過使用有關(guān)計算方法來估算，如內(nèi)插值技術(shù)． 11．3 多基線立體成象 　　一幅圖像上的每一個特征點只能與另一幅圖像上的唯一一個特征對應(yīng)，通常將這一性質(zhì)稱為特征的唯一性約束．在實際中，由于大多數(shù)特征點不是十分明顯，特別是重復(fù)紋理的出現(xiàn)

20、，常常會產(chǎn)生對應(yīng)多義性(ambiguity)，即一幅圖像上的一個特征點對應(yīng)另一幅圖像的若干個對應(yīng)點，其中的一個點是真正的對應(yīng)點，而其它點是假對應(yīng)點．消除對應(yīng)點多義性的一種有效方法是采用多基線立體成象[Okutomi 1993]，如圖11．4所示． 圖11．5 多基線立體視覺系統(tǒng)攝像機位置示意圖 假定n個攝像機具有相同的焦距F, 其位置分別為，對應(yīng)的n-1個基線用 表示，和表示在位置處同步獲取的圖像,稱為一個立體圖像對．已知場景一點Z的深度值為，則根據(jù)式子(3)，和形成的立體視差為： (11．10) 圖像強

21、度函數(shù)和在Z點附近可以表示為： (11．11) 其中服從正態(tài)分布。 在一定大小的窗口W上，對立體視差變量為，求立體圖像對函數(shù)差值平方和(sum of squared difference, SSD): (11．12) 設(shè)，則（11.10）改寫為： (11．13) (11．14) 上式中分別是真實的和候選的場景點深度值的倒數(shù)． 用式(11．13)和(11．14)替換式(11．12)

22、得： (11．15) 將稱為匹配評估函數(shù)．的期望值為： (11．16) 其中是窗中內(nèi)象素點的個數(shù)。 個攝像機形成個SSD函數(shù)，將所有的SSD函數(shù)相加(sum of SSD，SSSD)形成了總的評估函數(shù)： (11．17) 其期望值為 (11．18) 　　下面討論將評估函數(shù)表示成深度值倒數(shù)函數(shù)是如何消除多義性的．設(shè)強度函數(shù)在和處周圍具有相同的模式，即 (11．19) 則根據(jù)式（11．16），有 (11．20) 　　由上式可見，在和

23、處都將得到評估函數(shù)的最小值，因此產(chǎn)生多義性．但注意一個事實，假的匹配深度值的倒數(shù)隨著基線變化而變化，而真的匹配深度值的倒數(shù)則與基線長度無關(guān)，這樣累加多個基線評估函數(shù)，則會得到唯一的最小值． 比如有兩個基線的長度分別為()，則有： (11．21) 可以證明： (11．22) 也就是說，在處具有極小值．圖11．6是一個驗證SSSD的簡單例子，其中的原函數(shù)為 圖11．6 不同評估函數(shù)的曲線， 多基線立體視覺可以有效地消除一般場景紋理和重復(fù)紋理的對應(yīng)多義性，但仍然無法求解弱紋理和無紋理物體對應(yīng)點．

24、圖11．8是兵馬俑模型的立體圖像對，除了少部分特征外，其它部位都無法作為特征來求解對應(yīng)點．為了恢復(fù)兵馬俑的稠密深度圖像，可以采用專用光源向場景投影條紋模式[Kang 1995]，如圖11．8所示，每一個條紋的強度變化服從正弦分布．這樣做的效果相當于無紋理的模型上有了條紋特征，由此實現(xiàn)對應(yīng)的特征點共軛對的求解． 圖11．7 用三個攝象機獲取的兵馬俑石膏模型多立體圖像對 圖11．8 主動式條紋光源照射下的多立體圖像對 圖11．9 基于基本約束恢復(fù)的秦俑頭像的深度圖像 11．4 從X恢復(fù)形狀的方法 除了上述討論的立體圖像匹配方法外，從灰度圖像中

25、提取形狀信息的許多其它方法，統(tǒng)稱為由X恢復(fù)形狀方法，也得到了大力地發(fā)展．不過許多方法只用來估計一點的局部表面方位而不是絕對深度．如果物體上至少有一個點的實際深度是已知的，那么同一目標上其它點的深度值可以通過對局部表面方向求積分得到．因此，這類方法稱為間接深度計算方法．這里我們將簡要地介紹一些方法，更祥細的闡述參見在其它章節(jié)． 　　(1) 光度立體 　　在光度立體方法中，使用不同方向上的三個光源來獲取同一場景的三幅圖像．在三幅圖像的獲取過程中，要求場景中的攝象機和目標靜止不動．知道了場景中物體的表面反射特性，就可以計算由這三個光源照明的所有點的局部表面方位．這種方法的詳細描述見第9章．光照立

26、體方法的重要優(yōu)點之一是三幅圖像中的點是完全套準的，這是因為攝象機和場景是固定不變的．因此，這種方法不存在對應(yīng)性問題．這種方法的最大缺點就是它是一種簡接的方法，也可能由于照明無法得到精細控制而不能用于實際的成象系統(tǒng)． 　　(2) 由明暗恢復(fù)形狀 　　由明暗恢復(fù)形狀的方法主要使用圖像灰度（陰影〕變化來恢復(fù)物體形狀的信息．這一過程是通過計算圖像中每個點對應(yīng)的場景表面方位來實現(xiàn)的．除了由輻射測量原理產(chǎn)生的約束之外，陰影恢復(fù)形狀的方法還假設(shè)了表面是光滑的，以便于計算表面方位參數(shù)．這種方法在第9 章中已經(jīng)詳細介紹過了．很明顯，陰影恢復(fù)形狀方法是一種間接的深度計算方法．進一步的說，光滑度約束在所有點都不

27、能滿足，表面反射特性也不總是知道的很精確，從而導(dǎo)致了不精確的形狀重建． 　　(3) 由紋理恢復(fù)形狀 　　圖像的紋理特性變化，如密度、尺寸、和方位，都是建立紋理恢復(fù)形狀的算法的基礎(chǔ)．例如，被定義為紋理元素基元尺寸的最大變化方向和幅值的紋理梯度，決定了表面方位．量化紋理元素的形狀（如圓顯現(xiàn)為橢圓〕的變化對確定表面的方向十分有用．構(gòu)成規(guī)則網(wǎng)格紋理結(jié)構(gòu)的表面圖像（很可能是由于結(jié)構(gòu)光照射的結(jié)果)可以通過尋找投影點（透視畫中平行線條的會聚點)唯一地確定方位．由紋理恢復(fù)形狀方法除了是一種間接的深度計算方法外，還存在精確定位和量化紋理基元及其特性的困難．由紋理恢復(fù)形狀方法在第7 章中已經(jīng)進行了介紹． 　

28、　(4) 由運動恢復(fù)形狀 　　使用一個運動攝象機獲取靜止場景的圖像時，場景點的圖像平面坐標從一幅圖像到另一幅圖像的位移取決于場景點到攝象機的距離．這十分類似于前幾節(jié)描述的立體成象方法．與之相對應(yīng)的方法是使用一個靜止攝象機獲取運動物體的圖像序列，從而在圖像序列中產(chǎn)生運動視差．這樣的視差取決于物體表面點的位置和速度．恢復(fù)物體結(jié)構(gòu)和運動參數(shù)的方法將在14章祥細介紹． 11．5 測距成象 能夠直接測量可視范圍內(nèi)每個點的距離，并將其記錄為一個二維函數(shù)的系統(tǒng)稱為測距成象系統(tǒng)，得到的圖像稱為距離圖像或深度圖．圖11．11 所示的就是通過激光三角測距得到的一個深度圖的例子． 最常用的測距成象方法

29、有結(jié)構(gòu)光測距和雷達．結(jié)構(gòu)光測距成象系統(tǒng)使用三角測量原理來計算深度，而成象雷達系統(tǒng)則是通過比較發(fā)射信號與接收信號的時延或相位等方法實現(xiàn)距離測量的。按發(fā)射信號的波長，雷達可分為聲雷達、激光雷達、毫米波雷達等。若按工作體制可分為脈沖飛行時間法，相位差或差頻，測距儀來計算深度圖． 圖11．10 一個牙齒石膏模型的深度圖（北京醫(yī)科大學(xué)口腔醫(yī)院呂培軍博士提供） 11．5．1 結(jié)構(gòu)光測距 　　使用結(jié)構(gòu)光照明的成象系統(tǒng)是指場景是由已知幾何模式的照射光源照明的．在一個簡單的點投影系統(tǒng)中，投影光源儀和攝象機之間相距一個基線距離，如圖11．11所示．物體坐標與被測量的圖像坐標和投影角之間的關(guān)系

30、如下： (11．23) 這樣一個三角測量系統(tǒng)的距離分辨率可由投影角和圖像點水平位置的測量精度確定． 圖11．11 以攝象機為中心的三角測量幾何[Besl 1988] 　　為了計算所有點的深度，可使用二維網(wǎng)格照明模式照明場景，一次只照明一個點．然后使用上述方程計算該點的深度，由此得到二維距離圖像．顯然，由于這種方法獲取數(shù)據(jù)的序列特性，其計算速度很慢，不適用于動態(tài)變化的場景中．一個典型的結(jié)構(gòu)光照明系統(tǒng)將光平面或者二維網(wǎng)格模式投影到場景中，與光源相隔一定距離的攝像機獲取投影到場景中物體表面的光照模式．所觀測到的光照模式圖像含有變形，該變

31、形由光照模式和物體表面的形狀和方向決定，如圖11．13所示．注意，攝象機看到的網(wǎng)格包含了在方向和曲率上的不連續(xù)和變化．對應(yīng)于圖像平面中的任意點的三維物體坐標可以通過計算攝象機視線和光照平面的交點來確定．為了得到物體完整的描述，或者搖擺光源（如圖所示)，或者目標在一傳送帶上運動，以獲取多幅圖像．物體上的不同表面可以通過對相似空間屬性的光條的聚類來探測． 圖11．12 結(jié)構(gòu)光測距原理示意圖[Jarvis 1983] 在動態(tài)變化場合下，依次向場景投射光帶來獲取覆蓋整個場景的完整深度圖像是不太實際的．如果為了獲取完整的深度圖像而將多條光帶同時投影到場景中，則在匹配不

32、同深度物體表面的光帶時會產(chǎn)生潛在的混淆．在這種情況中，所投影的每條光帶必須具有唯一性的編碼．例如，用二進制編碼方案，有可能只需投影個模式就可以獲取完整的深度數(shù)據(jù)集合，其中是光帶的總數(shù)．這種方法示意在圖11．14中，其中． 使用從到二進制碼可以給七條光帶中的每一條光帶賦予唯一的編碼．因為等于3 ，所以僅能獲取三幅圖像．每幅圖像可以通過三位二進制編碼中比特(bit)位置1，2或3來確定的．在圖像中某一特定光帶，如果其對應(yīng)的比特位為1，它就處于開的狀態(tài)ON．例如，光帶2(010〕只有在第二幅圖像中才是ON，但光帶7(111〕在所有三幅圖像中都是ON．在所有三幅圖像中的光帶都被唯一地確定，因

33、此在匹配光帶段時，不會產(chǎn)生混淆．在快速運動場景中，使用單色編碼圖像來取代多個二進值編碼圖像． 結(jié)構(gòu)光照明技術(shù)已經(jīng)廣泛地用于工業(yè)視覺，因為在這種應(yīng)用中可以很容易地控制場景照明．一個典型的應(yīng)用是放在傳送帶上的運動物體經(jīng)過一個光束平面，在光帶圖像中產(chǎn)生變形，然后計算光束平面上物體的輪廓．以規(guī)則間隔重復(fù)上述過程即可恢復(fù)物體的形狀． 結(jié)構(gòu)光照明技術(shù)的主要缺點是無法獲取攝象機或光源看不到的物體點的數(shù)據(jù)． 圖11．13 二進制編碼結(jié)構(gòu)光照示意圖，這里的投影序列決定了每條光帶的二進制編碼 11．5．2 激光測距雷達 在生物界，蝙蝠和海豚是通過接收自己發(fā)出的超聲波來確定其周

34、圍物體的存在．根據(jù)生物的這種感知距離的能力，人類發(fā)明了各種測距系統(tǒng)，稱之為雷達，即向空間發(fā)射信號，然后接收反射信號并與發(fā)射信號進行比較，以確定目標的距離和方位．激光測距（laser range finder）是在二十世紀60年代發(fā)展起來的一種新型測距雷達，現(xiàn)在已經(jīng)進入實用化階段．激光雷達具有波束窄、波長短等獨特優(yōu)點，因而具有極高的角分辨能力、距離分辨能力和速度分辨能力。激光雷達可以獲取目標的多種信息，如反射特性、距離信息、速度信息等．在機器視覺領(lǐng)域，一般需要探測目標的細節(jié)及其精確的位置和方位，而聲波甚至是電磁波都無法達到這一要求，只能使用波長很短的激光測距雷達．激光測距的主要問題是技術(shù)實現(xiàn)難度

35、較大． 下面介紹三種工作體制的測距原理：脈沖飛行時間測距、相位差測距和差頻測距． 　　(1)脈沖飛行時間測距 我們知道，聲波和光波信號在空氣介質(zhì)中傳播的速度是一定的，如果知道它們在空間中的傳播時間，則可以計算波形在空氣中的傳播距離．人們將這種直接通過測量波形（或脈沖）飛行時間來計算距離的方法稱為飛行時間法（time of flight）．激光脈沖測距雷達就屬于這類測距系統(tǒng)．激光脈沖測距雷達向空間發(fā)射激光脈沖信號，并接收由于碰到物體表面而反射回來的信號，然后測量發(fā)射和接收脈沖的時間差，就可以得到空間物體的距離． 圖11．15是一種典型的激光脈沖測距雷達原理框圖，是1977年加洲理工大學(xué)噴

36、推實驗室研制的［Lewis 1977］．激光源是砷化鎵固體脈沖激光器，波長為．激光源發(fā)出脈沖激光束，經(jīng)光學(xué)校準系統(tǒng)到達光學(xué)掃描鏡，對預(yù)定的空間進行掃描；光學(xué)掃描鏡還對反射光同軸地接收，以保證測量的一致性．反射光經(jīng)光電探測器轉(zhuǎn)換進入脈沖前沿甄別電路，產(chǎn)生一個獨立于信號強度的到達時間脈沖．發(fā)射參考脈沖與到達時間脈沖之間的時間間隔通過時間－脈沖高度轉(zhuǎn)換器轉(zhuǎn)換成具有一定寬度()，其高度正比與時間間隔的脈沖信號．為了提高測量精度，可以對多次測量的高度值取均值．這種激光測距雷達在１－３米的測量范圍內(nèi)，測距精度為２厘米．獲取圖像需要3分鐘．盡管上述的飛行時間測距原理十分簡單，但要構(gòu)造一個實用的系統(tǒng)比較困難，

37、主要原因是測距系統(tǒng)的工作頻率必須很高，才能得到較滿意的距離圖像，比如，為了得到測距精度為，則時間間隔的測量精度誤差應(yīng)小于()，要達到這樣高的精度，只有采用原子物理儀器中的精密測量儀，如用于射線的測量的Anticompton分光計． 圖 11．14 脈沖飛行時間激光測距原理圖 　　(2) 相位差測距 相位差測距屬于連續(xù)波雷達。深度信息可以通過檢測調(diào)幅光波發(fā)射和接收的相位差來得到，這種原理的激光雷達的早期樣機是美國Stanford研究所研制的[Nitzan 1977］，圖11．16是這種激光雷達原理框圖．使用15mw氦氖激光器發(fā)出的激光的幅度被調(diào)制，調(diào)制頻率為9

38、MHz，調(diào)制光經(jīng)過平面鏡分成兩路，一路經(jīng)過光學(xué)掃描裝置向三維空間掃描，另一路進入相位差檢測裝置與經(jīng)過物體反射后接收的光信號比較相位，如，調(diào)制頻率為，相位差為，則物體到傳感器的距離為： （11.24） 式中為光速，為波長。由于相位差檢測只能測量0－的相位差，因此這種類型的激光測距雷達的測距范圍為。當測量距離超過的整數(shù)倍時，測量出的相位差是不變的，此時，式（11.24）變?yōu)椋? 　　　 　　　　　（11.25） 也就是說，這種激光測距雷達具有多義性，消除多義性的方法有兩種，一是事先知道待測距離的大致范圍，二是使用多臺具有不同調(diào)制頻率的激光測距

39、雷達。 圖11．15 （3）差頻測距 差頻測距也屬于連續(xù)波雷達。當發(fā)射信號的頻率在一個周期內(nèi)線性地掃過區(qū)間，回波信號將在接收機與參考信號相混頻產(chǎn)生一個差頻，該差頻與目標距離的關(guān)系為： (11．26） 11．5．3 變焦測距 根據(jù)理想薄透鏡定理，透鏡中心（光學(xué)原點）到圖象平面的距離 、透鏡中心到場景點的距離和透鏡焦距長度之間的關(guān)系為： (11.27) 當，從圖象平面到光學(xué)原點的距離等于焦距長度

40、。當平行光線聚焦到圖象平面上一點時，焦距長度是圖象平面到光學(xué)原點的距離。在攝影測量學(xué)(Photogrammetry)中，光學(xué)原點稱為投影中心，稱為攝像機常數(shù)。當透鏡聚焦近距離點時，，因此使用作為的近似實際上是低估了攝像機常數(shù)。當場景遠點越遠時，聚焦平面到光學(xué)原點的距離越接近。如圖11.17是理想透鏡成象幾何示意圖. 圖11．16薄透鏡幾何關(guān)系 對于圖象平面到透鏡中心的距離為的特定配置中，僅僅由方程11.27得到的在距離z處平面上的點是完全聚焦的。實際上，景深是由成象裝置的空間分辨率決定的。低于成象分辨率的一定量散射可以容忍。在可接受散射水平下，存在一個圖象平面距離的范圍，以

41、及一個對應(yīng)的場景距離z范圍，稱為景深，其中的場景點在某一接受的程度上完全聚焦。 當某一場景點不聚焦時，它會在圖象平面上產(chǎn)生一個圓斑圖象，而不是一個點圖像。如果圓斑的直徑低于成象裝置的分辨率，那么圖象散焦量不會特別的顯著。假定圓斑的直徑為b，透鏡光圈直徑為d，焦距長度為，圖象平面的理想位置為。如果圖象平面向透鏡方向運動到達位置，即則圖象的模糊程度由下式確定： （11.28） 根據(jù)相似三角形性質(zhì)，和的比值必須等于和的比值。我們可以從透鏡方程(11.27)中求解和，分別對應(yīng)于z和，并把這一表示式代入式(11.28)得到場景距離與模糊量關(guān)系的表示

42、式 （11.29） 假定b是可接受散焦下模糊圓環(huán)的最大直徑。解方程11.29求得, 可以得到視野范圍內(nèi)遠距離平面的距離表示式 （11.30） 計算視野范圍內(nèi)近距離平面的距離表示式為 （11.31） 其中，是圖象平面距離配置（在正確配置范圍之外），它對應(yīng)于模糊的最大量。請讀者在圖11.17中指出圖像平面位于的的位置。解透鏡方程求z和并代入到方程求模糊直徑： （11.32） 解上

43、述方程求平面距離 （11.33） 景深D是近距離和遠距離平面之差： （11.34） 對于一個特定的配置，焦距平面為，光圈直徑為，焦距長為，最大可接受模糊直徑為，這些方程提供了近距離和遠距離平面位置。距離稱為超焦距距離，在此處，遠距離平(見(11.30)式)和場景深度(見(11.34)式)變成無窮大。 關(guān)于變焦測距以及從變焦恢復(fù)形狀文獻有[Pentland 1987, Nayer 1994, Krotkov 1987, Grossmann, 1987]. 11．5．4 激光陣列成像 目

44、前，結(jié)構(gòu)光測距系統(tǒng)技術(shù)和激光測距技術(shù)已經(jīng)在物體建模和三維機器視覺導(dǎo)航方面獲得相當成功的應(yīng)用，并且已經(jīng)有商品化的系統(tǒng)?；谧兘箿y距技術(shù)的視覺系統(tǒng)，由于其測距誤差一般較大，因此一直沒有很好的應(yīng)用系統(tǒng)。對于立體視覺系統(tǒng)，由于系統(tǒng)的固有不適定問題，發(fā)展十分緩慢。作為應(yīng)用系統(tǒng)，最重要的指標是可靠性高，適應(yīng)環(huán)境能力強。視覺系統(tǒng)的最主要應(yīng)用場合是惡劣的環(huán)境，如，戰(zhàn)場環(huán)境，太空環(huán)境，海洋環(huán)境等，這些環(huán)境具有高沖擊( 比如火箭發(fā)射過程)，劇烈振動等特點。對于有運動部件或掃描部件的主動測距成像系統(tǒng)和主動視覺系統(tǒng)，在這樣惡劣環(huán)境下工作的生存能力很低。為此，美國科學(xué)家研制出全固態(tài)（無掃描部件）的激光陣列成像雷達San

45、dia樣機 ，并正在實施應(yīng)用。 激光陣列成像雷達能以很高的速率獲取場景的稠密深度圖，該系統(tǒng)使用大功率激光二極管陣列向場景發(fā)射激光，測量來自目標的相對于調(diào)幅載波相的反射光相移，以便計算到目標的距離。接收器里的圖像增強器的增益被和發(fā)送器同樣的頻率調(diào)制。到達CCD的光與返回信號的相位和它的強度無關(guān)，而與目標的反射率有關(guān)。為了規(guī)范化反射率的變化，返回波速的強度被采樣兩次，一次是接收器調(diào)制增益作用，另一次是接收器調(diào)制增益不作用。這樣，與每一個象素相聯(lián)系的距離基本上同時在場景中測量。盡管這一系統(tǒng)具有能快速提供高精度的深度估計值的優(yōu)點，該系統(tǒng)使用了許多元件，規(guī)模很大，功耗大，要想用于實際系統(tǒng)，必須做進一步

46、的工作。 11．6 主動視覺 　　大多數(shù)計算機視覺系統(tǒng)都依賴于由固定參數(shù)的系統(tǒng)來獲取數(shù)據(jù)，包括所有的被動敏感系統(tǒng)(如視頻攝象機)和主動敏感系統(tǒng)(如激光測距儀)．與這些數(shù)據(jù)提取方法不同，我們認為主動視覺系統(tǒng)的數(shù)據(jù)獲取特性和參數(shù)可以由場景解釋系統(tǒng)動態(tài)地控制，是感知系統(tǒng)中至關(guān)重要的部分．主動視覺不是一個新概念．生理系統(tǒng)通常是以主動方式獲取數(shù)據(jù)的．主動視覺系統(tǒng)既可以用主動傳感器也可以用被動傳感器．然而，在一個主動視覺系統(tǒng)中，傳感器的狀態(tài)參數(shù)如焦距、光圈、聚散度以及照度都可以控制，以獲取有利于場景解釋的數(shù)據(jù)．主動視覺是一個基本智能數(shù)據(jù)獲取過程，這一過程由場景測量和計算的參數(shù)與誤差來

47、控制．精確定義這些場景和內(nèi)容相關(guān)參數(shù)不僅需要全面理解成象和處理系統(tǒng)的特性，也需要全面理解相互依賴關(guān)系． 在文獻[Jain 1990]中詳細地介紹了距離圖像傳感、處理、解釋以及應(yīng)用．Besl[Besl 1988]給出了獲取距離圖像的各種方法，并比較了它們之間的優(yōu)缺點．[Jarvis 1983]早期的一個綜述報告不僅包括直接距離測量方法，還包括由二維圖像特征信息計算距離的有關(guān)問題．Boyer和Kak[Boyer 1987]介紹了一種采用彩色編碼從一幅圖像中提取距離信息的方法．Will 和Pennington的經(jīng)典論文[Will 1972]討論了用網(wǎng)格編碼和富里葉域處理技術(shù)，以確定場景中不同二維

48、表面的位置． 　　Bajcsy在文獻[Bajcsy 1988]提出主動視覺系統(tǒng)傾向于主動感知系統(tǒng)和控制策略方法．[Krotkov 1987]介紹了一個立體圖像獲取系統(tǒng)，該系統(tǒng)可以主動地控制焦距、縮放、光圈以及照明，以獲取深度圖．Aloimonos等人[Aloimonos 1988]介紹了主動視覺系統(tǒng)可以完成各種視覺任務(wù)的的優(yōu)點，如從圖像恢復(fù)物體形狀．Ahuja和Abbot[Ahuja 1993]將用于表面估計的視差、攝象機以及鏡頭聚焦集成到主動視覺系統(tǒng)中． 思考題 11.1 使用一個測距攝象機獲取一個邊緣長為10厘米的正方體圖像．攝象機軸線穿過立方體的兩個相對頂點，其中最近的頂點距攝象

49、機中心的距離為10厘米．攝象機所記錄的灰度為，表示沿攝象機軸到圖像平面的距離(不是歐幾里德距離)．請描繪通過攝象機獲取的距離圖像并計算由攝象機得到的立方體頂點灰度． 11.2 推導(dǎo)出圖11．2所示的視差為的表面方程式． 11.3 試闡述多基線立體視覺消除多義性對應(yīng)點的基本思想。 11.4 比較結(jié)構(gòu)光測距、激光雷達測距和變焦測距的優(yōu)缺點。 計算機練習(xí)題 11.1 用兩個攝象機步獲取同一個場景的立體圖像對，或用一個攝象機在不同的位置獲取同一個場景的立體圖像對。請編制一個程序來完成如下工作： （1） 對第一幅圖像進行邊緣檢測，然后使用圖像強度相關(guān)性算法在第二幅圖像中找到對應(yīng)的邊緣。 （2） 使用與第一幅圖像相同的邊緣檢測器對第二幅圖像進行邊緣檢測，比較邊緣檢測器輸出的邊緣圖和通過相關(guān)性算法得到的對應(yīng)邊緣圖。能否編制一個程序?qū)D像邊緣檢測和相關(guān)性方法結(jié)合起來來找出對應(yīng)的邊緣圖。 （3） 請輸出立體圖像對的視差圖。 專心---專注---專業(yè)