9월 13일 - vggt제거, gaussian based refine, 2d pose 비교

VGGT 제거 & gaussian map based refine

VGGT로 init pose를 만드는 것은 카메라 pose의 성능을 높이는데 매우 도움이 될 수 있지만 매우 무겁고 일반화용으로 학습된 모델에 의존하게 될 수 있다. 반면 gaussian map 을 base로 카메라 pose R,t를 refine하게 되면 현재 맵에 딱 맞는 미세 정합으로 더 가볍고 일관된 로컬 정확도를 얻을 수 있을 것이라고 기대할 수 있다.

• calibrated camera이기 때문에 $x_2Ex_1​=0$ 이고 쿼리 프레임으로부터 ref 프레임까지의 상대변환 $R,t$ 를 구할 수 있게 된다. 또한 ref image들의 world scale로 맞춰주는 과정을 진행한다.
  • 이를 모든 ref 이미지에 대해서 반복 하고 top1의 retrieval image에서의 rotation값을 차용하고 모든 ref 이미지의 translation의 median값을 차용해서 최종 initail query pose를 구성하게 된다.

    gt pose compare

• 여태까지 3차원이라고 전제하고 계산했던 gt pose vs query pose 비교가 알고보니 2d - 3d compare였다. x,y,yaw에 해당하는 값 밖에 없어서 결국 3d pose를 Z+축으로 정사영시키고 distance, yaw를 비교해야 했다.

실내

best retrieval

worst retrieval

Rotation error

translation error

실외

best retrieval

Worst retrieval

Rotation error

Translation error