Multiple Object Tracking(MOT)

Mutliple Object Tracking(MOT)

Mutliple Object Tracking

다수의 물체(multiple object)를 추적(tracking)하는 태스크.
일반적으로 Detector와 Tracker 2가지로 구성.

• Detector에서는 흔히 YOLO와 같은 detection 모델을 사용하고, 객체의 bounding box를 추출하여 Tracker 모델로 넘겨준다.

• Tracker에서는 이전에 찾았던 객체들의 bounding box와 새로 받은 bounding box를 이용해서 객체들을 추적한다.

• Tracker는 assignment problem(할당 문제)에 기반하여 객체를 추적한다. 이 과정에서 Hungarian algorithm이나 Bipartite algorithm 등이 사용된다.

• Tracker는 크게 (1) motion 또는 (2) appearance를 기준으로 객체를 추적한다.

• motion은 이전 프레임 위치 기준 이동 거리를 파악하여 객체를 추적하는 것이고, appearance는 동일한 특성을 보이는 객체가 이전 프레임에서 어디로 이동했는지를 파악하여 객체를 추적한다.

assignment problem

assignment problem은 에이전트 집합과 작업 집합이 존재할 때, 각 에이전트와 작업이 일대일 대응(bijection)을 이루면서 비용(cost)을 최소화하는 최적해를 찾는 과정이다.

에이전트 집합을 $A$, 작업의 집합을 $P$라 할 때, 에이전트 $a$$(a\in A)$가 작업 $p$$(p\in P)$를 처리하기 위해 사용되는 비용을 $c(a, p)$라 한다.

이 때, 비용을 최소화하는 최적해 $M$은 $\sum _{(a,p)\in M} c(a, p)$ 이 된다.

---

MOT benchmarks

MOT benchmark dataset의 평가 지표는 HOTA / MOTA / IDF1 3가지이다.

• HOTA(Higher Order Tracking Accruacy)
• MOTA(Multiple Object Tracking Accuracy)
• IDF1(Identification F1 score)

✔️ MOT-17

RANK	MODEL	HOTA	MOTA	IDF1
1	SMILEtrack(2022)	65.24	81.06	80.5
2	BoT-SORT(2022)	65.0	80.5	80.2
3	StrongSORT(2022)	64.4	79.6	79.5
4	OC-SORT(2022)	63.2	78.0	77.5
…
10	ByteTrack(2021)		80.3	77.3

✔️ MOT-20

RANK	MODEL	HOTA	MOTA	IDF1
1	SMILEtrack(2022)	78.19	77.53	63.43
2	BoT-SORT(2022)	77.8	77.5	63.3
3	ByteTrack(2021)	77.8	75.2	61.3
4	STGT(2022)	77.5	75.2
5	OC-SORT(2022)	75.9	76.4	62.4
6	StrongSORT(2022)	73.8	77.0	62.6