DUSt3R의 후속논문 MASt3R 입니다. DUSt3R는 매칭에 특화된 모델이라기 보다는 cross-view 3D regression이 가능하다보니 3D 매칭이 가능하고, 그러다보니 3D reconstruction 등 다양한 3D task를 풀 수 있는 모델 정도의 느낌이였습니다. 반면 MASt3R는 DUSt3R를 이미지 매칭에 특화되도록 확장함으로써 극한의 viewpoint changes에 보다 강인한 모델로 설계했다고 합니다. DUSt3R가 어떻게 진화했는지 살펴보겠습니다.Introduction이미지 매칭은 두 이미지가 들어왔을 때 한 이미지의 어떤 픽셀이 다른 이미지의 어떤 픽셀에 대응되는지 그 관계를 찾는 task입니다. 아래 그림은 MASt3R의 이미지 매칭의 결과를 보여주는데요, 매칭된 점들..

요즘 DUSt3R와 MASt3R를 읽고있는데요, Structure-from-Motion (SfM)에 대한 이해 없이 접근하다보니 근본없이 개념을 쌓는 느낌입니다. 제가 아는 SfM 알고리즘 중 가장 유명한 COLMAP [1]의 pipeline을 살펴보며 개념을 잡아보려 합니다.SfM은 정렬되지 않은 이미지의 집합으로부터 3D reconstruction을 하는 알고리즘을 말합니다. 다양한 각도와 위치에서 촬영된 이미지로부터 3D scene을 복원하기 위해서는 복잡한 과정이 필요한데요, COLMAP은 이를 쉽게 사용할 수 있게 만들어준 라이브러리입니다. COLMAP은 SfM 뿐만아니라 그 결과로부터 dense 3D reconstruction을 만들어내는 Multi-View Stereo (MVS)도 포함하는데..

앞서 DUSt3R를 리뷰했는데요, 3D Vision 분야에서 훨씬 핫한 논문이 있습니다. Gaussian Splatting입니다. Kate Yurkova의 글을 많이 참고했습니다.IntroductionGaussian Splatting이 큰 주목을 받은 이유는 그간 3D reconstruction 분야에서 SOTA로 취급되던 NeRF보다 빠르면서도 좋은 성능을 보여주었기 때문입니다.NeRF보다 빠르다는 의미에는 학습뿐만 아니라 랜더링도 포함됩니다. 아래 예시에서는 Gaussian Splatting이 InstantNGP [1]와 학습 속도는 6분 정도로 비슷하면서 100 fps 이상의 랜더링 속도를 보여줍니다.퀄리티의 차이를 직관적으로 느끼기엔 영상만 한 게 없습니다. 사용된 NeRF는 nerfstudio의..

3D VIsion 화제의 논문, DUSt3R을 리뷰해 봅니다.Introduction여러 각도에서 자유롭게 촬영한 이미지로부터 dense 3D reconstruction 하는 task는 mapping, navigation 등 활용 분야가 무궁무진하기에 오랫동안 연구되어 왔던 분야입니다.Dense 3D reconstruction을 하는 방법에는 여러 가지가 있지만, 대표적으로 SfM-MVS pipeline이 있습니다. SfM (Structure from Motion)은 여러 각도에서 자유롭게 촬영한 이미지를 입력으로 받아 camera parameter와 point cloud를 출력하고, MVS (Multi View Stereo)는 SfM의 출력을 입력으로 받아 dense 3D reconstruction을 합..