Multiple View Geometry - Estimation (Direct Linear Transformation)

Estimation
Direct Linear Transformations

백용환

Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr

Direct Linear Transformation


Our Goal?
● 다음을 만족하는 H :

● 이렇게?
– 문제점 : Scale Factor!

● 정확히는


Then How?
● 변형 :
– (Why? Wikipedia Link)

● 풀어쓰면

{ }


Reorganize
● 또한 =

● 꼴의 형태이고 이는 Linear

● 의 3개 열중 2개는 Dependent
(한 열은 무시해도 상관 X)


What is a Solution?
● 명백한 해 : =0
– Not Interested!
● 그 외의 해는?
– A is 12 x 9 (8 x 9) Matrix[Rank : 8, Null-
Space : 1] → Has a Solution
● 는 의 Scale을 제거한 것이므로
|| ||=1를 만족할 것이다.


What is the Problem?
● 4개 이상의 대응점을 주어주는 경우
Rank 개수 이상을 만족하므로 h에 대한
Exact Solution이 존재
– 하지만 만약 그 4개의 대응점이 Error를 포함하고
있다면? 그 Exact Solution은 우리가 원하는
Solution이 아닐 것이다.
(Overdetermined)


Constraints
● What to minimize?
● Avoid =0
● || ||=1
● If No Solution? Minimize || ||

● 3번째, 4번째를 요약하면 : || ||/|| ||
● 위의 사항을 이용한 Basic DLT Algorithm.


Basic DLT Algorithm


Cost Function


Algebraic Distance
● 기하학적, 통계적 의미 X
● Normalize를 거치면 좋은 결과를 냄
● Linear(Unique Solution)
● 연산이 빠름
●


Geometric Distance
● Error in one Image
– H에 의해 Transfer된 점과, 측정된 점과의
Euclidean Distance 합으로 표현

● Error in two Images (Symmetric Transfer
Error)
– 두 이미지 모두의 Error를 최소화 하고자함 →
Forward와 Backward를 모두 계산


Algebraic vs. Geometric
● Algebraic :
● Geometric :

● Geometric Distance에 Algebraic Distance
가 내포되어 있다 (조건 : )
– Affine Transformation


Reprojection Error
● True Point와 Measured Point 사이의 거리
(Correction)
– 얼마나 True Point에 가깝게 Estimate 하는가
● Transfer했을 때의 True Point와 Measured
Point 사이의 거리(Correction)
● Measured Point의 Transfer는 Perfect함


Reprojection vs. Symmetric


Geometric Interpretation
of Reprojection Error
● 2개의 평면에 대한 Homography는 4차원 공간상
에서 공간면에 Fitting하는 관점으로 해석할 수 있
다.
● 주어진 점과 4차원 공간면에 접하는 가장 가까운
점을 고른다. (Perfect Fit)
● 주어진 점과 접하는 점 사이의 Geometric
Distance를 구하면

– 이는 Reprojection Error와 동치


Geometric Error Problem
● 우선 H를 추정해야함.

● 추정한 H에 Fitting하는 Point
찾아내야함

➔ 높은 복잡도, Non-Linear, But 정확


Sampson Error
● 의 First-order Approximation을 사용
– 테일러 전개 이용

● ( )

● 가 최소가 되는 것


Sampson Error
● 적절한 식정리를 하면(책 참고)
– Error :

● 는 모두 에 Dependent함
– 적절한 처리를 하면 쉽게 구해낼 수 있음

● 를 구하는 것이 Hyperplane상의 Fitting형
태로 문제가 바뀜


Statistical Cost Function
● 측정된 값들의 Error가 확률 분포를 이룬다 라
고 생각


Error in one Image
● Exact Value의 표현

● Log-likelihood를 구함

● Maximum Likelihood Estimate는 Log-
likelihood를 Maximize = Minimize


Error in both Images
● Exact Value의 표현

● 마찬가지로 Log-likelihood를 Maximize
= Minimize


Mahalanobis Distance
● One Image인 경우, Log-likelihood를
Maximize = Mahalanobis Distance가
Minimize
● Both Images인 경우, 두 이미지는 독립이라
생각하면
● 각 Point들도 서로 독립적이라 하면


Transformation Invariance & Normalization


Invariance to Image Coordinate
Transformations
1.한 이미지에 변환 T를 가했을 경우
2.다른 한 이미지는 T’로 보일것
3.이를 이용해 H를 찾을 수 있다

● 이때, 알고리즘에 의해 영향을 받으면 안되어
야함


Non-invariance
● 변환을 가했을 경우, H와 H’은 서로 같은 조건
인가?
● H와 H’은 1:1 대응이 아닐 수 있음

● Transform의 전후 관계에 따라 H가 다르게
나올 수 있다


Invariance of Geometric Error
● Euclidean Transformation T, T’을 사용한 경
우

● Euclidean Distance는 Euclidean
Transformation에 영향을 받지 않으므로 성
립
● H는 결국 Geometric Error가 동일하게 수렴
하므로 Invarient


Normalizing Transformations
● DLT Algorithm을 적용하기 전에 사용
● SVD 분해를 할 때 극단적으로 값이 달라서
Round-Off Error가 커질 수 있음
● Point Near Infinity의 경우 힘듬

1.Centroid가 원점에 가도록 Translate
2.원점으로부터 평균 거리가 가 되도록 Scale
3.두 이미지에 각각 적용


Normalized DLT for 2D
Homographies


Iterative Minimization Methods


Iterative Minimization Method
● Minimize Cost Function에 필요한 기법
● Cons : 느림, Initial Estimate 문제, Local
Minimum 문제, Stop 조건 문제

● Iterative하게 Implement시 주의할 점이 더
필요함


Technique of Iterative
Minimization
● Cost Function
– Minimization에 대한 지표
● Parametrization
– Finite # of Parameters
● Function Specification
– Parameters에 대한 Function 정의
● Initialization
– 초기값 추정 (보통 Linear Algorithm 이용)
● Iteration
● Cost Function에 따라 점점 정확해져야함


Initialization
● Normalized DLT Algorithm으로 직접 구하기
– Outlier를 가진 경우

● Robust Estimation으로 구하기

● Dense Sampling of Parameter Space

● Fixed Point in Parameter Space


Golden Standard Algorithm +
Sampson Error


Robust Estimation


Robust Estimation
● 단순히 점들을 이용하는 경우, 선별한 점이
Mismatch할 가능성이 있음 (Outlier 정보들)

● 목표 : Inlier에 해당하는 집합을 찾아(추정)보
자


RANSAC
● 장점 : 많은 Outlier를 가지고 있어도 사용가
능
1.점 2개를 무작위로 선택 (Line을 이루게됨)
2.일정 Distance 내에 있는 Point의 수를 기록
3.위 과정을 반복한 후, 가장 많은 Point를 내포
하고 있는 것을 Robust Fit으로 사용 & 내포
된 Point들은 Inlier


RANSAC Robust Algorithm


RANSAC Problems
● 일정 Distance에 대한 판별
– Error Probability Distribution (DOF, Variance)
● Sample 개수
– 확률모델 이용( )
● Acceptable Consensus Set?
–


Robust Maximum
Likelihood Estimation
● RANSAC으로 찾아낸 Inlier들을 이용하여 re-
estimate를 하자.
– Inlier들 중에서 Optimal한 값을 추려냄
– ML Cost Function을 Minimize
● Robust Cost Function
– 전체 Data에 대한 적당한 Cost Function


Automatic Computation of
a Homography


Multiple View Geometry - Estimation (Direct Linear Transformation)

More Related Content

Featured (20)

Multiple View Geometry - Estimation (Direct Linear Transformation)