3.1 YOLOX

본 논문에서는 객체검출기로 YOLOX⁽⁵⁾를 사용한다. YOLOX는 특징 추출기, 넥(Neck) 그리고 헤드(Head)로 구성된다. 특징 추출기는 정확도를 유지하며 경량화를 한 CSPdarknet⁽¹¹⁾이 사용된다. 특징 추출기가 추출한 물체의 윤곽선과 같은 저 수준의 특징 맵과 물체에 대한 전반적인 정보를 가진 고 수준의 특징 맵을 PAFPN⁽¹²⁾ 넥을 통해 혼합한다. 그리고 혼합된 특징 맵을 기반으로 헤드는 검출된 물체가 어떤 카테고리에 속할지 결정하는 분류(classification) 모듈, 검출기가 얼마나 물체라고 확신하는지를 나타내는 물체성(objectness) 모듈 그리고 검출된 객체의 경계 상자와 위치를 예측하는 회귀(regression) 모듈로 구성된다.

3.2 분리된 외형특징 추출 네트워크

원샷 다중객체 추적에서는 객체검출의 카테고리 분류와 재식별의 고유한 ID 분류를 하나의 넥과 헤드에서 수행하는데, 서로 상충되는 태스크이기 때문에 다중객체 추적의 성능이 감소할 수 있다. 또한 대부분 다중객체 추적에서는 COCO⁽¹³⁾ 데이터로 사전 학습된 검출기를 사용하기 때문에, 특징 추출기, 넥, 그리고 헤드가 객체 검출에 편향되는 경향이 있다. 특징 추출기와 달리 넥과 헤드는 소량의 파라미터만을 가지고 있기 때문에 두 가지 이상의 태스크를 다루기가 어렵다.

구체적으로, 객체의 고유한 ID를 구분하기 위해서는 물체의 윤곽선과 같은 저 수준의 특징 맵보다는 해당 물체에 대한 전반적인 정보를 가진 고 수준의 특징 맵이 더 중요하다. 따라서 서로 다른 크기의 특징 맵인 저 수준과 고 수준의 특성을 함께 포함하는 하는 PAFPN 넥보다는 고 수준의 특성을 주로 포함하는 FPN⁽⁹⁾ 넥이 외형특징 추출기에 적합하다.

이러한 문제를 해결하기 위해 YOLOX의 PAFPN 기반의 객체검출 모듈에 FPN 넥 기반의 외형특징 추출 모듈을 병렬적으로 구성하는 방식을 제안한다. 그림 2에 전체 다중객체 추적 모델의 구조도가 나와 있으며, 점선으로 나타낸 앞 부분이 제안된 FPN 기반의 외형특징 추출 모듈이며, 뒷 부분이 제안된 오프셋을 나타낸다.

3.3 변형된 오프셋

물체의 중심에서 외형특징 벡터를 추출 시, 물체의 중심이 가려지면 가린 물체의 중심에 해당하는 영역에서 특징이 추출되기 때문에, 유효한 외형특징 벡터를 추출하기 어렵다. 기존 연구⁽⁴⁾는 기본적인 오프셋을 사용하여 개선을 시도했으나, 각 객체마다 크기가 다른 점을 고려하지 않고, 제한되지 않은 넓은 공간에서 여러 오프셋을 예측하기 때문에, 정확도가 떨어진다. 반면, 본 논문에서는 모든 객체마다 제한된 공간에서 오프셋을 찾은 후, 각 물체의 크기에 따라 보정하고, 가장 적절한 위치의 오프셋을 찾아서 외형특징 벡터를 추출한다. 그림 3은 기존 오프셋을, 그림 4는 제안된 오프셋을 나타낸다.

제안된 오프셋 설정 기법은 다음과 같다. 먼저 객체의 중심에 대응되는 그리드에서 외형특징 벡터 $f_{a}\in R^{256}$를 추출한다. 그리고 수식 (1)처럼 하나의 완전 연결층(Fully Connected layer)를 거쳐 $offset_{2}\in R^{2}$를 추출한다. 그리고 수식 (2)을 이용해 $offset_{2}$의 범위를 –0.5 ~ 0.5 사이로 정해준다. 그 다음 수식 (3)과 (4)처럼 추출 객체의 크기만큼 확대해준다. 이렇게 하여 오프셋과 객체의 중심 위치를 더한 위치에서 객체를 표현하는 유용한 외형특징 벡터 $f_{a-offset}\in R^{256}$를 추출할 수 있게 된다. 그림 5에 물체의 중심이 가려진 예시가 나와 있고 그림 6은 객체의 중심을 오프셋으로 보정된 위치를 나타낸 예시이다.

3.4 손실함수

제안된 기법에서는 크게 두 가지 손실함수가 사용된다. YOLOX의 객체검출 손실함수 $Loss_{\det}$와 객체의 고유한 ID를 구분하도록 하는 $Loss_{ID}$로 수식 (5)로 표현된다.

객체검출 손실함수 $Loss_{\det}$는 분류 손실함수 $Loss_{cls}$, 컨피던스 손실함수 $Loss_{obj}$ 그리고 경계 상자 손실함수 $Loss_{reg}$로 구성되며 각각은 식 (6), (7), (8), (9)로 표현된다. $1_{i}$는

지시함수로 i번째 그리드(Grid)에 물체가 있으면 1, 없으면 0을 의미한다. $Loss_{cls}$는 검출된 객체의 카테고리가 정답 카테고리에 속하도록 하는 손실함수, $Loss_{reg}$는 예측한 경계 상자와 정답 경계 사자간의 IOU가 높아지도록 하는 손실함수 그리고 $Loss_{obj}$는 해당 그리드에 실체 물체가 있으면 높아지도록, 물체가 없으면 낮아지도록 하여 객체와 배경을 구분하는 손실함수이다. $S^{2}$는 총 그리드 수 그리고 ^은 예측한 것을 의미한다.

오프셋이 적용된 외형특징 벡터를 분류기의 입력으로 객체의 고유한 ID를 구분하며 이는 다음과 같이 식 (10)과 같다. CE(Cross Entropy) 손실함수를 사용하여 예측한 ID $FC(f_{a-offset})_{i}$가 정답 ID $t_{i}$와 일치하도록 한다.

4.1 데이터 셋

학습 및 테스트에 도쿄 시의 도심 지역을 이동하는 차량에서 촬영한 TITAN 데이터⁽⁸⁾를 사용한다. 각 데이터의 프레임 해상도는 2704x1520이고, 카테고리(Category)는 사람, 사륜차, 이륜차 3개로 구성된다. 데이터 수와 사륜차 카테고리의 ID수가 표 1에 나타나 있다. 본 논문에서는 사륜차 카테고리만을 사용한다.

4.2 평가지표

평가지표로 MOTA⁽⁹⁾, FP, FN, IDs, IDF1⁽¹⁰⁾과 FPS를 사용한다. MOTA를 구성하는 FN, FP와 IDs는 추적기가 실제 물체가 있는데 검출을 못한 사례, 실제 물체가 없는데 검출한 사례, 그리고 임의의 객체에 대한 추적 ID가 바뀐 사례를 의미한다. IDF1은 임의의 객체에 대해 추적기가 얼마나 일관되게 ID를 부여하는지를 측정하는 지표이다. 그리고 이를 구성하는 IDTP(True Positive Identities), IDFP(False Positive Identities)와 IDFN(False Negative Identities) 각각은 추적기가 실제 객체에 올바른 예측 ID를 부여한 경우, 틀린 ID를 예측한 경우, 실제 객체가 틀린 ID를 부여받거나 어떠한 ID도 부여 받지 못한 경우를 의미한다. FPS는 초당 프레임 처리 수를 의미한다. MOTA와 IDF1에 대한 식 (11)과 (12)에 나와 있다.

4.3 실험 세부사항

실험에 사용되는 객체 검출기는 COCO⁽¹³⁾ 데이터로 사전 학습된 YOLOX-tiny를 사용하고 재식별 모델은 학습되지 않은 FPN구조를 사용한다. 연관은 Bot-SORT⁽²⁾방식을 이용한다. 입력 이미지는 1,440x800로 재조정하고, 외형특징 벡터 차원은 256, 오프셋은 1개를 사용한다. 데이터 증강은 roation, rescaling, shearing, mosaic, mixup을 적용한다. 하이퍼 파라미터는 옵티마이저로 모멘텀 값이 0.9인 SGD, 러닝 레이트 0.005, 배치 사이즈 32, 에폭 80을 사용한다.

4.4 실험 결과

제안된 방법의 유효성을 확인하기 위해 TITAN 데이터 셋으로 실험한 FairMOT⁽³⁾, ByteTrack⁽¹⁾, YOLOX+one_shot, YOLOX+ decoupled_pafpn과 비교한다. YOLOX+one_shot은 원샷 다중객체 추적기의 검출기를 YOLOX로 사용한 것을 의미하고, YOLOX+ decoupled_pfpan은 제안기법의 넥을 PAFPN으로 사용한 것을 의미한다. 표 2는 FairMOT, ByteTrack, YOLOX+one_shot, YOLOX+ decoupled_pafpn과 제안 기법 네트워크에 대한 파라미터 수와 FPS가 나타나 있다.

표 3은 TITAN 데이터에 대한 비교 실험 결과이다. 제안 기법이 IDF1, MOTA에서 성능이 우수한 것을 볼 수 있다. 표 3에서 아래 4개의 기법과 달리 FairMOT는 CenterNet 객체 검출기를 사용하여 성능이 미흡하다. 반면 아래 3개의 방법은 YOLOX-Tiny 객체 검출기를 사용하며 낮은 컨피던스 점수(Confidnc Score)를 갖는 검출 객체도 추적하는 Byte⁽¹⁾ 연관 기법을 사용하여 성능이 전반적으로 우수하다.

제안된 방법은 IDF1/MOTA/FP/FN/IDs에서 각각 83.7%/75%/1,887개/5,561개/155개를 달성했다. 그리고 6.34M개의 파라미터 수를 가지며 68.69FPS를 얻었다. IOU 기반의 다중객체 추적 방식인 ByteTrack보다 파라미터 수는 1.31M많고 FPS는 4.7만큼 느리지만, IDF1/MOTA에서 각각 0.2%/0.2% 증가되었으며 FP/FN/IDs에서 각각 194개/-80개/-6개 감소했다.

4.5 오프셋 적용 결과

표 4는 center point, MTCL(Multi-View Contrastive Learning)과 본 논문에서 제안된 오프셋 방식을 이용해 외형특징 추출했

을 때 결과이다. Center point는 물체의 중심위치에 대응되는 곳에서 외형특징 벡터를 추출한 것을 나타내고 MTCL은 ⁽⁴⁾에서 사용된 오프셋을 이용하여 추출한 것을 의미한다. center point보다 제안된 오프셋을 이용했을 때, IDF1/MOTA에서 각각 0.15%/0.35% 향상했으며 FP/FN/IDs에서 각각 64개/17개/19개 감소했다.

4.6 객체 추적 예시

그림 7은 TITAN 데이터에 대한 제안한 기법의 객체 추적 예시이다. 객체가 가려진 경우, 사라졌다 다시 등장한 경우 그리고 여러 객체가 등장한 경우에도 객체 추적이 잘되는 것을 볼 수 있다.