'photo tourism'에 해당되는 글 2

  1. 2007.09.12 Photo Tourism 의 Keypoint 검출과 일치
  2. 2007.09.08 [Photo synth] Photo Tourism 의 논문
Photo Tourism 에 대한 논문 내용을 정리내용

Reconstructing Cameras and Sparse Geometry

 Photo tour 시스템은 수집된 각 사진들에 대한 초점길이와 같은 상대적인 위치, 원점, 고유 파라미터에 대한 정확한 정보가 있어야 한다. 일부 상들에 대해서는 기준 좌표계에 대하여 절대적인 위치를 요구하기도 한다. 이런 정보들이 GPS 장비와 같은 전자장치로 이용할 수 있지만, 기존 사진들은 추가적인 정보가 없다. 그러나  디지털 사진파일은 초점거리와 다른 기타 정보가 EXIF 태그 내에 저장되어 있다.

 Photo tour 시스템은 센서나 카메라 자체에 의존하지 않고, 사진이 가지는 정보로부터 계산을 통해 이루어 진다. 우선 각 사진들의 상들에 대한 점들을 검출해 내고, 사진쌍들사이에서 상의 점들을 일치시킨다. 마지막으로 카메라 파라미터를 복구하기 위해 SfM(Structure from Motion) 과정을 반복시키게 된다.

Keypoint detection and matching

 1. 각 사진들의 상에 대한 점들을 찾아낸다.
    SIFT(Scale Invariant Feature Transform)에 대한 논문은 다음과 같다.
   [ LOWE, D. 2004. Distinctive image features from scale-invariant keypoints. ]

 2. 각 사진쌍들에 대한 keypoint descriptor 들을 일치시킨다.
    아래 논문과 같은 근소한 최소 이웃 패키지 방법을 사용했다.
   [ ARYA, S., MOUNT, D. M., NETANYAHU, N. S., SILVERMAN, R.,AND WU, A. Y. 1998. An optimal algorithm for approximate nearest neighbor searching xed dimensions. J. of the ACM 45, 6, 891–923 ]

 3. 각 쌍들에 대한 기본 매트릭스를 추산한다.
   RANSAC 방법을 이용한다.
   [ FISCHLER, M., AND BOLLES, R. 1987. Random sample consensus: a paradigm for model tting with applications to image analysis and automated cartography. Readings in computer vision: issues, problems, principles, and paradigms, 726–740 ]

 4. 각 RANSAC 반복과정에서 후보기본 매트릭스를 계산한다.
    계산에 적용된 8-점 알고리즘은 아래의 책을 참조하면 된다.
  [ HARTLEY, R. I., AND ZISSERMAN, A. 2004. Multiple View Geometry. Cambridge University Press, Cambridge, UK. ]

 5. 기본 매트릭스를 복구하기 위해 일치된 점들을 제거한다.
Interesting/Photosynth | Posted by hyena0 2007. 9. 8. 18:24

[Photo synth] Photo Tourism 의 논문

Photo Tourism

 미국의 워싱턴 대학에서 나온 논문으로 사진으로 여행을 할 수 있는 시스템에 대한 내용인데, 사실상 이 논문 대로 정리된 프로그램이 바로  Photosynth 라고 할 수 있다.

 논문의 저자에서도 알 수 있듯이 Microsoft 와 공동연구를 진행하였고 워싱턴 대학의 해당 홈페이지 로 가면 Photo tourism 을 경험해 볼 수 있다. 자바 기반으로 개발된 이 웹페이지에서는 Photosynth와는 달리 마우스 스크롤 등 사용자 인터페이스가 사용하기 어렵고 응답속도가 늦긴 하다.

사용자 삽입 이미지


 논문에서 나오듯이 사진을 가지고 3차원의 형상으로 체험할 수 있도록 하는 것인데, 논문에서 사진을 통해 어떤 방법으로 정보를 얻을 수 있는가는 다음과 같이 표현했다.
 - Scene Visualization
 - Object-based photo browsing
 - Where was I?
 - What am I looking at?

 Photo tourism 의 시스템을 개발하기 위해 관련된 작업은 Image-based modeling, Image-based rendering, Image browsing 등이 있다. 다음 포스팅부터 관련된 작업들을 이 연구진들이 어떻게 개발했는가를 쫓아가볼 곳인데, 재미있는 작업이 될 것이다.

 해당 논문은 Photo tourism 의 홈페이지에서 제공하고 있으며, 데모 실행을 위해서는 JRE가 설치되어 있어야 한다. 친절하게도 홈페이지에 링크가 있으니 경험해 보고 싶은 분은 걱정할 필요가 없겠다.