單應性矩陣、基礎矩陣、本質矩陣都是在解決已知圖像 1 中的點 p1 和圖像 2 中對應的點 p2兩幅圖像之間到底存在什么幾何關系三者最大的區(qū)別是其中H 直接把一個圖像點變到另一個圖像點上F : 告訴你另一個圖像點應該落在哪條極線上E: 在去掉相機內參后描述相機運動和極幾何單應性矩陣1.核心定義單應性矩陣是一個3*3的可逆矩陣通常有個8個自由度它描述了兩個平面之間的映射關系。2. 幾何物理意義單應性矩陣本質是把一個平面上的點從一個成像平面投影到另一個成像平面的線性變換。想象你拍了一張明信片正面然后你換了個角度再拍一張。雖然明信片在兩幅圖中形狀變了長方形變梯形但明信片表面上的所有點在兩張照片之間的映射關系就是一個單應性矩陣。關鍵前提所有點必須共面比如地面、墻面、書本封面。3. 矩陣結構與自由度4. 從世界平面到圖像平面假設世界坐標系中有一個平面其法向量為 n距離相機光心距離為 d。第一個視角相機內參 K1?外參 [R1∣t1]第二個視角相機內參 K2?外參 [R2∣t2]對于平面上一點 X滿足平面方程。推導可得結論單應性矩陣由相機內參、兩幀之間的旋轉和平移以及平面的距離和朝向共同決定。5. 單應性矩陣的分解如果你已知相機內參 K可以從 H中分解出旋轉矩陣 R和平移向量 t以及平面法向量 n。分解結果是多解的通常有 4 組解但通過物理約束如法向量朝前、點在前方可篩選出唯一正確解。這在視覺 SLAM和AR/VR中非常常見——用于從平面特征恢復相機運動。6. 如何求解單應性矩陣1直接線性變換法DLT2RANSACDLTRANSAC 算法1. 隨機抽樣隨機選取一小部分數(shù)據(jù)點計算擬合模型2.檢查一致性檢查哪些數(shù)據(jù)點符合模型符合這個模型的稱為內點不符合稱為外點3.重復迭代重復上述步驟多次找到最好的模型內點數(shù)量最大并剔除外點。本質矩陣1. 核心定義本質矩陣E是一個 3*3 的矩陣用于描述已標定相機已知內參K在不同視角下同一空間點之間的幾何約束。它是對極幾何在歸一化坐標下的表示2. 幾何意義根據(jù)定義本質矩陣 E 是一個 3 × 3 的矩陣內有 9 個未知數(shù)。從 E 的構造方式上看有以下值得注意的地方? 本質矩陣是由對極約束定義的。由于對極約束是等式為零的約束所以對 E 乘以任意非零常數(shù)后對極約束依然滿足。我們把這件事情稱為E 在不同尺度下是等價的。? 本質矩陣E 的奇異值必定是 [σ, σ, 0] 的形式。這稱為本質矩陣的內在性質。? 另一方面由于平移和旋轉各有 3 個自由度故 t ∧ R 共有 6 個自由度。但由于尺度等價性故E 實際上有 5 個自由度。3. 矩陣結構與自由度本質矩陣的秩為2僅在已經(jīng)經(jīng)過標定的相機下使用4. 本質矩陣的求解E 具有 5 個自由度的事實表明我們最少可以用 5 對點來求解 E。但是E 的內在性質是一種非線性性質在估計時會帶來麻煩因此也可以只考慮它的尺度等價性使用 8 對點來估計 E——這就是經(jīng)典的八點法Eight-point-algorithm。如果 8 對匹配點組成的矩陣滿足秩為 8 的條件那么 E 的各元素就可由上述方程解得。接下來就是從E中分解出R 、t的問題。從 E 分解到 t, R 時一共存在 4 個可能的解。不過幸運的是只有第一種解中 P 在兩個相機中都具有正的深度。因此只要把任意一點代入 4 種解中檢測該點在兩個相機下的深度就可以確定哪個解是正確的了?；A矩陣張正友標定法張正友標定法利用多幅不同姿態(tài)的平面棋盤格圖像通過棋盤格平面與圖像之間的單應性關系建立約束并利用旋轉矩陣列向量的正交性和等模性質求解相機內參隨后結合畸變模型通過最小化棋盤格角點的重投影誤差對相機內參、畸變參數(shù)以及棋盤格外參進行非線性優(yōu)化。張正友標定法的核心其實就是“利用平面棋盤格 → 求單應性 H → 利用旋轉矩陣的正交約束 → 求相機內參 K” 即利用H反推K。Kalibr標定張正友標定法主要是在“相機看到棋盤格”這件事上求相機參數(shù)Kalibr的核心思想則是讓多個傳感器同時觀測/感知同一個運動通過建立統(tǒng)一的運動和觀測模型把相機內參、相機-IMU外參、時間偏移等參數(shù)放進一個優(yōu)化問題中聯(lián)合估計。猜一組參數(shù) │ ▼ 計算Camera預測結果 │ ▼ 計算IMU預測結果 │ ▼ 和真實數(shù)據(jù)比較 │ ▼ 計算誤差 │ ▼ 調整參數(shù) │ ▼ 再次計算 │ ▼ 誤差越來越小PnP已知一組 3D 空間點 Pi和它們在圖像上的 2D 投影點 pi求相機的位姿 R,t相機看到一個世界點實際上經(jīng)歷了三角化已知兩個相機的位置和姿態(tài)以及同一個空間點在兩個圖像中的 2D 像素位置反推出這個空間點的 3D 坐標。假設空間中有一個點PP ● / \ / \ / \ / \ / \ ● C1 C2 ● 相機1 相機2