DUSt3R의 후속논문 MASt3R 입니다. DUSt3R는 매칭에 특화된 모델이라기 보다는 cross-view 3D regression이 가능하다보니 3D 매칭이 가능하고, 그러다보니 3D reconstruction 등 다양한 3D task를 풀 수 있는 모델 정도의 느낌이였습니다. 반면 MASt3R는 DUSt3R를 이미지 매칭에 특화되도록 확장함으로써 극한의 viewpoint changes에 보다 강인한 모델로 설계했다고 합니다. DUSt3R가 어떻게 진화했는지 살펴보겠습니다.Introduction이미지 매칭은 두 이미지가 들어왔을 때 한 이미지의 어떤 픽셀이 다른 이미지의 어떤 픽셀에 대응되는지 그 관계를 찾는 task입니다. 아래 그림은 MASt3R의 이미지 매칭의 결과를 보여주는데요, 매칭된 점들..

3D VIsion 화제의 논문, DUSt3R을 리뷰해 봅니다.Introduction여러 각도에서 자유롭게 촬영한 이미지로부터 dense 3D reconstruction 하는 task는 mapping, navigation 등 활용 분야가 무궁무진하기에 오랫동안 연구되어 왔던 분야입니다.Dense 3D reconstruction을 하는 방법에는 여러 가지가 있지만, 대표적으로 SfM-MVS pipeline이 있습니다. SfM (Structure from Motion)은 여러 각도에서 자유롭게 촬영한 이미지를 입력으로 받아 camera parameter와 point cloud를 출력하고, MVS (Multi View Stereo)는 SfM의 출력을 입력으로 받아 dense 3D reconstruction을 합..