2.1 사람 재식별 수행 과정

기존 대부분의 재식별 연구들에서는^{[1, 2, 4-9]} 그림 1과 같이 ResNet50^[12]을 기본 네트워크로 사용하고 있어서 본 연구도 동등한 비교를 위하여 같은 네트워크를 사용한다. 입력은 $N\times K$개의 이미지 $I_{n}^{k}$ ∈ $R^{H\times W\times C}$, $n$ ∈ $N$, $k$ ∈ $K$ 이다. 입력은 합성곱 신경망의 순전파를 통해 $f_{id}(I_{n}^{k})$ ∈ $R^{24\times 12\times 2048}$ 벡터로 표현된다. 여기서 $n$은 사람을 구분 짓는 ID이고 $k$는 같은 ID로, 동일인에 대한 서로 다른 이미지이다. 동일한 ID를 가진 $k$개의 이미지는 동일한 복장 이미지인 SC(Same Cloth)와 복장이 변경된 이미지인 CC(Change Cloth)로 구성된다.

그림 1. 사람 재식별을 위한 기본 네트워크 - ResNet50

Fig. 1. Baseline network for Person Re-Identification - ResNet50

사람 재식별 네트워크는 교차 엔트로피 손실 함수(cross entropy loss)를 사용하여 각 사람들의 ID를 구분할 수 있도록 학습되고, 삼중 손실 함수(triplet loss)를 통해 같은 사람들 간의 표현 벡터가 유사해지도록 학습된다. 두 손실 함수는 식 (1) 및 (2)와 같다.

여기서, I는 ID의 클래스 수, $y_{i}^{id}$는 완전 연결층을 통한 ID 예측 값, $t_{i}^{id}$는 ID 레이블 값, $f_{a}^{i}$는 anchor 표현 벡터, $f_{p}^{i}$는 anchor와 동일한 ID의 표현 벡터, $f_{n}^{i}$는 anchor와 다른 ID의 표현 벡터, $d$는 유클리드 거리(Euclidean distance), m은 과적합을 방지하기 위한 실수값 마진이다.

2.2 복장 변경 재식별의 어려움

그림 2는 복장 변화를 고려하지 않은 기존의 재식별 기법의 추론 과정을 시각적으로 나타낸 것이다. 그림 2는 쿼리(query) 이미지 ID C를 대상으로 갤러리(gallery) 이미지 ID A, B, C 중에서 동일인을 찾는 추론 과정을 보여주고 있으며, 오른쪽 그래프는 재식별 모델의 분류 예측 결과를 나타낸다. 그림 2에서 확인할 수 있듯이, 복장이 변경된 동일인 ID C 이미지에 낮은 점수가 부여되며, 반면에 복장이 유사한 다른 사람인 ID A와 ID B 이미지에는 높은 점수가 부여된다. 이로 인해, 추론 과정에서 비슷한 복장을 한 사람을 동일인으로 오인할 수 있다. 이러한 원인은 재식별 수행에 어려움을 초래하게 된다.

그림 2. 복장 변경 사람 재식별 오분류

Fig. 2. Misclassification in Cloth-changing Person Re-identification

3.1 전체 개념도

그림 3에서와 같이 제안된 모델은 크게 3개의 가지로 나눌 수 있다. 첫 번째는 복장 변경 사람 재식별을 수행하기 위해서 입력으로 복장이 변경된 사람 이미지와 복장이 변경되지 않은 사람 이미지가 섞여 ResNet50에 들어간다 (그림 3 상단). 두 번째는 복장을 분류하는 분기와 코사인 유사도 기반 색상 정보 배제 손실 함수를 추가한다 (그림 3 중앙). 이 과정에서 복장 레이블 기반으로 학습되는 복장 분류 분기의 역전파와 표현 다양화 손실 함수에 의해 공유된 스테이지 1-3이 옷에 대한 특징을 추출하는 역할을 수행하도록 한다. 세 번째는 복장의 색상 정보를 배제시키기 위해서 복장의 상의 및 하의의 색상을 추론하는 분기와 코사인 유사도 기반 색상 정보 배제 손실 함수를 추가한다 (그림 3 하단). 다시 말해, 복장이 변경된 동일인에 대해서 복장위치에서의 색상을 제외한 공통점을 인식시킴으로써 모델의 재식별 능력을 향상 시킨다. 또한, 추가된 두 개의 분기는 학습 과정에서만 수행을 하고, 추론 과정에서는 사용되지 않아 연산량의 증가가 없다.

그림 3. 전체적인 모델 구성도

Fig. 3. Overall configuration of the proposed model

그림 4. 복장 분류 분기 추가

Fig. 4. Addition of clothing classification branch

3.2 복장 분류 분기

2.1절의 기본 네트워크가 복장 정보를 활용하기 위해서 기본 네트워크의 스테이지 3의 출력 결과를 입력으로 받아 복장을 분류하는 분기를 추가한다. 입력은 합성곱 신경망의 순전파를 통해 $f_{cloth}(I_{n}^{k})$ ∈ $R^{24\times 12\times 2048}$ 벡터로 표현된다. 복장 레이블 기반으로 학습되는 분기의 역전파에 의해 공유된 스테이지 1-3이 옷에 대한 특징을 추출하는 역할을 수행하도록 한다. 분기는 스테이지 4의 구조를 사용하고 교차 엔트로피로 학습된다. 손실함수는 다음과 같다

C는 복장의 클래스 수, $y_{i}^{cloth}$는 완전 연결층을 통한 복장 예측 값, $t_{i}^{cloth}$는 복장 레이블 값이다. 추가적으로 복장 정보를 내포하는 복장 표현 벡터를 더 효과적으로 반영하기 위해 표현 다양화 손실 함수 $L_{cos}^{sim}$를 추가한다.

3.3 복장 색상 분류 분기

3.2절에서 분기가 추가된 기본 네트워크가 활용하는 복장 정보에서 사람 재식별수행에 방해가 되는 복장의 색상 정보의 추출을 억제하기 위해, 이를 추론하는 분기에 대한 역전파를 차단한다. 입력은 합성곱 신경망의 순전파를 통해 $f_{col}(I_{n}^{k})$ ∈ $R^{24\times 12\times 2048}$ 벡터로 표현된다. 이때 상의와 하의의 복장의 색상은 일반적으로 연관성이 없기 때문에, 표현 벡터를 식 (5), (6)과 같이 두 부분으로 동일하게 병렬 분할한다.

분할된 표현 벡터를 각각의 색상으로 분류하는 완전연결층을 추가한다. 분기는 스테이지 4의 구조를 사용하고 교차 엔트로피로 학습된다. 이는 다음과 같이 표현된다

$y_{i}^{col\_up}$, $y_{i}^{col\_low}$는 각각 완전연결층을 통한 상의, 하의의 색상 예측값이고, $t_{i}^{col\_up}$, $t_{i}^{col\_low}$는 각각 상의, 하의의 색상 레이블 값이다. 3.2절에서 기본 네트워크가 활용하는 복장 표현 벡터에서 복장 색상 정보를 배제하기 위해 색상 정보 배제 손실 함수 $L_{cos}^{dis}$를 다음 식 (7)과 같이 추가한다.

$f_{col}^{*}(I_{n}^{k})$ ∈ $R^{12\times 12\times 4096}$는 $f_{col\_up}(I_{n}^{k})$와 $f_{col\_low}(I_{n}^{k})$를 이어 붙인 것이다. $f_{cloth}^{*}(I_{n}^{k})$는 $f_{col}^{*}(I_{n}^{k})$와 크기를 맞춰주기 위해 $Concatenate(Spl(f_{cloth}(I_{n}^{k})))$ ∈ $R^{12\times 12\times 4096}$을 수행한 것이다. 같은 이유로 $f_{"id"}(I_{n}^{k})$도 $f_{"id"}^{*}(I_{n}^{k})$로 변환해 준다. 최종 손실 함수 $Loss$는 다음과 같다

$\lambda_{cos}$는 코사인 유사도 기반 두가지 손실 함수의 계수로 하이퍼 파라미터이다. 본 논문에서는 0.1을 사용한다.

3.4 자동 컬러 레이블링

3.3절에서 추가된 복장 색상 분류 분기는 상의 및 하의 각각의 복장 색상 레이블을 필요로 하지만 일반적인 사람 재식별 데이터 셋에서는 복장 색상 레이블을 제공하지 않는다. 따라서 본 논문에서는 색상 레이블이 없는 데이터 셋에 대해 효율적인 자동 색상 레이블 생성 기법을 제안한다. 동일 복장 레이블을 가진 모든 학습 이미지에 대해서 그림 5와 같이, 특정 영역 픽셀들의 평균값에 대하여 HSV 변환을 통해 해당 Hue의 값을 포함하는 영역을 색상 레이블로 사용한다.

그림 5. Hue 색상 공간 기반 복장 컬러 레이블

Fig. 5. Hue color space based clothing color label

4.1 실험 준비

제안된 기법의 성능을 평가하기 위해 복장 변경 데이터셋인 LTCC^[11] 데이터 셋에 대해서 mAP와 Rank-1 성능을 평가하고 기존의 최신 기법과 비교한다. mAP는 상위 예측에 참값이 얼마나 근접하는지를 나타내는 확률이고 Rank-1은 최상위 예측이 참값과 일치하는 확률이다.

LTCC는 현재 존재하는 복장 변경 데이터 세트들 중에서 가장 어려운 데이터로, 152명의 사람을 포함한 17,119개의 이미지로 구성되며, 두 개의 세트로 구분된다. 첫 번째는 91명의 사람이 14,783개의 이미지에 416개의 서로 다른 복장 변경 세트이고, 두 번째는 61명의 사람이 2,336개의 이미지에 복장 변경이 없는 세트이다. train, test, 쿼리로 구성되며 각각 복장 변경 유무에 관계없이 9576, 7050, 493장의 데이터로 구성된다. 코드는 파이토치 환경에서 구현되었으며, 해당 실험은 두 대의 Nvidia RTX 3090 GPU를 사용하여 수행되었다.

4.2 실험 결과

표 1을 보면 제안된 기법의 성능이 Rank-1/mAP 41.1%/18.1%으로 기존 기법들 보다 대부분 우수함을 나타낸다. 복장 외의 특징에 집중하는 기법들 중, 발걸음 예측에 집중한 ^[7]에 비해서는 Rank-1/mAP이 각각 12.2%/3.9% 증가하였고 복장과 관련 없는 특징을 보완하는 학습법을 제안한 ^[8]에 비해 Rank-1/mAP이 각각 2.6%/1.9% 증가하였다. 복장의 영향을 최소화하는 기법들 중, 복장의 예측에 대한 페널티를 주는 CAL^[9]에 비해 Rank-1/mAP이 각각 1.0%/0.1% 증가하였고 복장의 편향을 최대한 배제하기 위한 인과관계기반의 모델을 제안한 AIM^[10]와 비교하면 Rank-1이 0.5% 증가하였다.

제안된 기법이 비교 기법들에 비해서 좋은 성능을 보여주는데, 이는 기존 접근법들에서 간과된 복장 정보를 보완함으로써 향상된 성능을 얻은 것으로 생각된다.

그림 6은 LTCC 데이터 셋의 쿼리와 갤러리 간의 동일 인물에 대한 기본 네트워크와 제안된 네트워크의 재식별 결과를 Rank1부터 5까지 순차적으로 보여준다. 초록색 박스는 정답, 빨간색 박스는 오답이다. 첫 번째와 두 번째 결과는 갤러리 이미지에 쿼리와 동일한 복장과 다른 복장이 있는 경우이다. 기본 네트워크는 동일한 복장만 식별을 했다면 제안된 네트워크는 다른 복장도 식별하는 것을 볼 수 있다. 세 번째와 네 번째 결과는 갤러리 이미지에 쿼리와 다른 복장만 있는 경우이다. 기본 네트워크는 동일한 복장의 경우가 없기 때문에 식별을 하지 못했지만, 제안된 네트워크는 다른 복장을 식별하는 것을 볼 수 있다. 이것은 색상 정보를 제외한 복장 정보의 적용이 효과가 있음을 의미한다.

그림 6. 동일인물 재식별 결과 예시

Fig. 6. Person Re-Identification retrival results

4.3 개별 구성 요소별 실험 (Ablation Study)

표 2는 기본 네트워크인 ResNet50의 각 스테이지별 제안된 추가 복장 분류 분기 위치에 대한 ablation study 결과를 보여준다. 분기는 추가된 위치의 스테이지부터 마지막 스테이지까지의 구조를 사용한다. 손실 함수는 $L_{ce}^{id}+L_{tri}^{id}+L_{ce}^{cloth}$을 사용한다. Index 1은 baseline인 ResNet50의 복장 변화 재식별 결과이고, Index 2-5는 복장 분기의 추가 위치별 복장 변화 재식별 결과 및 모델의 크기를 나타낸다. 스테이지 4에서의 추가가 가장 작은 크기의 분기를 추가하고 R-1은 2.3% mAP는 0.9% 증가하였다. 모든 위치에서의 복장 분기의 추가가 성능 향상에 도움을 주므로, 제안된 모델의 복장 정보의 활용이 복장 변경 사람 재식별수행에 도움이 된다는 것을 유추할 수 있다.

표 3은 제안 기법에서의 각 요소에 대한 ablation study 결과를 보여준다. branch1은 3.2절의 복장 분류 분기의 추가 여부를 의미하고, branch2는 3.3절의 복장 색상 분류 분기의 추가 여부를 의미한다. Index 1과 Index 2는 표 2의 Index 1과 Index 5이다. Index 3은 3.2절에서 제안한 표현 다양화 손실 함수 추가의 결과로 Index 2와 비교해서 Rank-1/mAP이 각각 0.5%/1.3% 증가하였다. Index 4는 3.3절에서 제안한 복장 색상 분류 분기의 추가와 색상 정보 배제 손실 함수 추가의 결과로 Index 3와 비교해서 Rank-1/mAP이 각각 0.8%/0.4% 증가하였다. 이로써 표현 다양화 손실 함수로 재식별에 도움이 되는 복장 정보가 더 반영되었다는 것과 복장 정보에서 색상 정보를 배제 시켜주는 방식이 재식별에 도움이 된다는 것이 검증되었다.