하고 싶은 일 아이폰으로 사진을 찍었다. 사진의 특정 픽셀이 실제 world에서 어떤 위치에 있는지 알고 싶다. 그렇다고 UTM 좌표나 위도 경도를 알고 싶은 건 아니고, 내가 정하는 어떤 점을 기준으로 어디에 위치해 있는지 알고 싶다. 즉, image coordinate을 world coordinate으로 변환하고 싶다. 알아야 할 것 우선, 좌표계의 종류가 세 가지 있다는 것을 알아야 한다: (1) Image, (2) Camera, (3) World 우리가 가지고 있는 건 image coordinate system 상의 이미지이고, 알고 싶은 건 image coordinate이 world coordinate system 상에는 어디에 위치해 있을지이다. 따라서 서로 다른 좌표계간 변환 (image ..

Direct Linear Transform? Known vector \(\mathbf{x}_k \in \mathbb{R}^p\)와 \(\mathbf{y}_k \in \mathbb{R}^q\)가 아래와 같은 linear equation을 만족할 때, unknown matrix \(A\)는 쉽게 구할 수 있다 (unique solution이 있는 경우를 가정). $$\mathbf{x}_k = \mathbf{A} \mathbf{y}_k \textup{ for } k=1,...,N$$ $$\mathbf{A} = \mathbf{X} \mathbf{Y}^T (\mathbf{Y} \mathbf{Y}^T)^{-1} \textup{ where } \mathbf{X} = [\mathbf{x}_1 \vert ... \ver..

Background Meta AI에서 발표한 Segment Anything [1]의 성능이 좋다보니, Segment Anything Model (SAM)을 활용한 많은 수의 프로젝트가 공개되고 있다. Zero-shot image segmentation model인데다가, point부터 text까지 다양한 형태의 prompt를 지원해서 활용도가 높다. SAM을 기반으로 language understanding 능력을 강화한 application을 만들기도 하고, https://github.com/IDEA-Research/Grounded-Segment-Anything https://github.com/luca-medeiros/lang-segment-anything https://github.com/openg..

Video Object Segmentation (VOS) 및 Video Instance Segmentation (VIS) dataset을 정리한다 (계속 업데이트 예정) VOS는 입력으로 주어진 특정 objects만이 prediction 대상이지만, VIS는 모든 objects가 prediction 대상이라는 차이가 있다. 간단히 말하면, 첫 번째 프레임에 target annotation이 주어지는지 여부가 다르다. [Video Object Segmentation] DAVIS 2016 The 2017 DAVIS Challenge on Video Object Segmentation, arXiv'1704 Single-object VOS benchmark 20개의 highly diverse video sequ..

Motivation Instance perception task는 "영상에서 prompt에 의해 특정되는 object를 찾는 task"이다. 10종류의 instance perception tasks는 데이터셋이 각각 만들어져 있다 보니 연구도 제각각 이루어지고 있다. Object Detection Instance Segmentation Multiple Object Tracking (MOT) Multi-Object Tracking and Segmentation (MOTS) Video Instance Segmentation (VIS) Referring Expression Comprehension (REC) Referring Expression Segmentation (RES) Referring Video O..