HYENA0 : Don't be boiled frog

Photo Tourism 에 대한 논문 내용을 정리내용

Reconstructing Cameras and Sparse Geometry

 Photo tour 시스템은 수집된 각 사진들에 대한 초점길이와 같은 상대적인 위치, 원점, 고유 파라미터에 대한 정확한 정보가 있어야 한다. 일부 상들에 대해서는 기준 좌표계에 대하여 절대적인 위치를 요구하기도 한다. 이런 정보들이 GPS 장비와 같은 전자장치로 이용할 수 있지만, 기존 사진들은 추가적인 정보가 없다. 그러나  디지털 사진파일은 초점거리와 다른 기타 정보가 EXIF 태그 내에 저장되어 있다.

 Photo tour 시스템은 센서나 카메라 자체에 의존하지 않고, 사진이 가지는 정보로부터 계산을 통해 이루어 진다. 우선 각 사진들의 상들에 대한 점들을 검출해 내고, 사진쌍들사이에서 상의 점들을 일치시킨다. 마지막으로 카메라 파라미터를 복구하기 위해 SfM(Structure from Motion) 과정을 반복시키게 된다.

Keypoint detection and matching

 1. 각 사진들의 상에 대한 점들을 찾아낸다.
    SIFT(Scale Invariant Feature Transform)에 대한 논문은 다음과 같다.
   [ LOWE, D. 2004. Distinctive image features from scale-invariant keypoints. ]

 2. 각 사진쌍들에 대한 keypoint descriptor 들을 일치시킨다.
    아래 논문과 같은 근소한 최소 이웃 패키지 방법을 사용했다.
   [ ARYA, S., MOUNT, D. M., NETANYAHU, N. S., SILVERMAN, R.,AND WU, A. Y. 1998. An optimal algorithm for approximate nearest neighbor searching xed dimensions. J. of the ACM 45, 6, 891–923 ]

 3. 각 쌍들에 대한 기본 매트릭스를 추산한다.
   RANSAC 방법을 이용한다.
   [ FISCHLER, M., AND BOLLES, R. 1987. Random sample consensus: a paradigm for model tting with applications to image analysis and automated cartography. Readings in computer vision: issues, problems, principles, and paradigms, 726–740 ]

 4. 각 RANSAC 반복과정에서 후보기본 매트릭스를 계산한다.
    계산에 적용된 8-점 알고리즘은 아래의 책을 참조하면 된다.
  [ HARTLEY, R. I., AND ZISSERMAN, A. 2004. Multiple View Geometry. Cambridge University Press, Cambridge, UK. ]

 5. 기본 매트릭스를 복구하기 위해 일치된 점들을 제거한다.

Photo Tourism

 미국의 워싱턴 대학에서 나온 논문으로 사진으로 여행을 할 수 있는 시스템에 대한 내용인데, 사실상 이 논문 대로 정리된 프로그램이 바로  Photosynth 라고 할 수 있다.

 논문의 저자에서도 알 수 있듯이 Microsoft 와 공동연구를 진행하였고 워싱턴 대학의 해당 홈페이지 로 가면 Photo tourism 을 경험해 볼 수 있다. 자바 기반으로 개발된 이 웹페이지에서는 Photosynth와는 달리 마우스 스크롤 등 사용자 인터페이스가 사용하기 어렵고 응답속도가 늦긴 하다.



 논문에서 나오듯이 사진을 가지고 3차원의 형상으로 체험할 수 있도록 하는 것인데, 논문에서 사진을 통해 어떤 방법으로 정보를 얻을 수 있는가는 다음과 같이 표현했다.
 - Scene Visualization
 - Object-based photo browsing
 - Where was I?
 - What am I looking at?

 Photo tourism 의 시스템을 개발하기 위해 관련된 작업은 Image-based modeling, Image-based rendering, Image browsing 등이 있다. 다음 포스팅부터 관련된 작업들을 이 연구진들이 어떻게 개발했는가를 쫓아가볼 곳인데, 재미있는 작업이 될 것이다.

 해당 논문은 Photo tourism 의 홈페이지에서 제공하고 있으며, 데모 실행을 위해서는 JRE가 설치되어 있어야 한다. 친절하게도 홈페이지에 링크가 있으니 경험해 보고 싶은 분은 걱정할 필요가 없겠다.

 사용해보기

 Photosynth 가 APP 형태로 사용할 수 있는 줄 알았으나, Microsoft Live Lab 에 접속하여 Try it 버튼만 누르면 체험이 가능하다. 단지 이전 포스트에서 논했다시피 XP일 경우 서비스팩 2가 필요하고, Vista 가 깔려있어도 된다.

  또한 그래픽카드 사양이 낮다면 동작을 하지 않을 수도 있는데, 일부 PC에서 그런 현상이 발생하는 것을 확인했다. 메모리는 1G가 권장이지만, 512MB의 Win XP 에서도 충분히 동작하는데 무리없음을 확인했다.



 사용해 보고 한가지 아쉬운 점은 네트워크에서 동작하기 때문에 로딩속도가 인터넷 망이 느리다면 3D 위치에 따라 변화되는 것이 느리다는 것이다. 구글의 구글어스와 다르게 로딩되는 사진이 속도가 느리면 격자에서 필요한 부분이 로딩되는 것이 보이지 않고, 서서히 번지는 듯한 느낌으로 사진이 선명해진다. 구글어스에서 %로 로딩완료를 표시한것과 달리 선명도로만 파악해야 하는 부분이 조금 아쉽다.

 그리고 현재 사이트에서 제공하는 Collection 들은 다음과 같다. 상황에 따라 변경될 것으로 기대하고 사용자들이 자신의 사진을 공유해서 더 세밀하고 정교한 Photo Tour를 할 수 있는 서비스가 제공되길 기대한다.