LaSOT benchmark 상위권 논문들을 읽어보는 중입니다. 앞서 리뷰한 SAMURAI과 DAM4SAM은 memory management 개선만으로 추가적인 학습 없이 SAM 2의 성능을 올릴 수 있음을 보여주는 연구였는데요, 이번에 리뷰할 MCITrack은 Mamba를 활용한 새로운 구조의 모델을 제안합니다.Problem기존 visual trackers [1, 2, 3, 4, 5]는 target의 initial appearance만 고려했기 때문에 video sequence 동안 물체의 외형 변화에 취약했습니다. (a) 성능 향상을 위해 dynamic template을 사용하여 target의 appearance의 변화를 고려할 수 있었지만, context를 고려하는 것은 아니였습니다 [6, 7, 8..

ProblemTracking이 실패하는 주요 원인 중 하나는 distractors 입니다. Distractors를 두 종류로 구분할 수 있습니다.External distractors: Target object 주변에 비슷한 물체가 있는 경우Internal distractors: Tracked part와 비슷한 target object의 다른 part가 보이게 된 경우Distractors에 의한 visual ambiguity를 해소하기 위한 기존의 노력들은 크게 세가지로 나누어집니다.그냥 feature가 discriminative 하도록 잘 학습하기 [1, 2, 3, 4, 5],foreground와 background를 명시적으로 구분하는 모듈 추가하기 [6, 7, 8, 9],memory 기반으로 past..

ProblemSegment Anything Model (SAM) 2 [1]는 object segmentation에는 좋은 성능을 보여주었지만, visual object tracking, 특히 빠르게 움직이거나 가려진 물체로 가득찬 scene에서는 아쉬운 성능을 보여주곤 했습니다.source: https://github.com/yangchris11/samurai이는 appearance similarity에는 집중했지만 spatial 및 temporal consistency에는 소홀해 motion cue를 적절히 활용하지 못했기 때문입니다 (Case 1). 또 다른 문제점으로는 SAM 2는 streaming memory architecture를 도입했는데요, memories간 quality의 차이를 고려하..

VastTrackVastTrack: Vast Category Visual Object Tracking. NeurIPS'24The number of sequences: 50610The average sequence length: 83 framesThe number of object categories: 2115특징: 짧지만 많은 수의 video sequences와 다양한 object categoriesVOTS2024The Second Visual Object Tracking Segmentation VOTS2024 Challenge Results. ECCVW'24The number of sequences: 144The average sequence length: 2000 frames (min: 63, max..

Motivation Visual Object Tracking은 Generic Object Tracking (GOT)과 Multiple Object Tracking (MOT)으로 나누어짐. GOT는 비디오의 첫 프레임에 annotation된 bounding box를 tracking하는 문제임. MOT는 predefined category list에 속하는 물체만을 추적하는데 반해, GOT는 첫 프레임에 box가 주어지기만 하면 category가 무엇이든지간에 추적하기 때문에 real-world application에 써먹기 좋은 task임. 하지만 지금까지는 single-object GOT가 주로 연구되어 왔는데, multi-object GOT benchmark dataset이 없어서 그럼. 예를들어 La..