Photo Tourism 에 대한 논문 내용을 정리내용

Reconstructing Cameras and Sparse Geometry

 Photo tour 시스템은 수집된 각 사진들에 대한 초점길이와 같은 상대적인 위치, 원점, 고유 파라미터에 대한 정확한 정보가 있어야 한다. 일부 상들에 대해서는 기준 좌표계에 대하여 절대적인 위치를 요구하기도 한다. 이런 정보들이 GPS 장비와 같은 전자장치로 이용할 수 있지만, 기존 사진들은 추가적인 정보가 없다. 그러나  디지털 사진파일은 초점거리와 다른 기타 정보가 EXIF 태그 내에 저장되어 있다.

 Photo tour 시스템은 센서나 카메라 자체에 의존하지 않고, 사진이 가지는 정보로부터 계산을 통해 이루어 진다. 우선 각 사진들의 상들에 대한 점들을 검출해 내고, 사진쌍들사이에서 상의 점들을 일치시킨다. 마지막으로 카메라 파라미터를 복구하기 위해 SfM(Structure from Motion) 과정을 반복시키게 된다.

Keypoint detection and matching

 1. 각 사진들의 상에 대한 점들을 찾아낸다.
    SIFT(Scale Invariant Feature Transform)에 대한 논문은 다음과 같다.
   [ LOWE, D. 2004. Distinctive image features from scale-invariant keypoints. ]

 2. 각 사진쌍들에 대한 keypoint descriptor 들을 일치시킨다.
    아래 논문과 같은 근소한 최소 이웃 패키지 방법을 사용했다.
   [ ARYA, S., MOUNT, D. M., NETANYAHU, N. S., SILVERMAN, R.,AND WU, A. Y. 1998. An optimal algorithm for approximate nearest neighbor searching xed dimensions. J. of the ACM 45, 6, 891–923 ]

 3. 각 쌍들에 대한 기본 매트릭스를 추산한다.
   RANSAC 방법을 이용한다.
   [ FISCHLER, M., AND BOLLES, R. 1987. Random sample consensus: a paradigm for model tting with applications to image analysis and automated cartography. Readings in computer vision: issues, problems, principles, and paradigms, 726–740 ]

 4. 각 RANSAC 반복과정에서 후보기본 매트릭스를 계산한다.
    계산에 적용된 8-점 알고리즘은 아래의 책을 참조하면 된다.
  [ HARTLEY, R. I., AND ZISSERMAN, A. 2004. Multiple View Geometry. Cambridge University Press, Cambridge, UK. ]

 5. 기본 매트릭스를 복구하기 위해 일치된 점들을 제거한다.