2.1 Diffusion 모델 기반의 T2V 네트워크

Diffusion 모델은 확률적 생성 모델로서 학습 데이터 분포를 근사하는 고품질 샘플을 생성한다. 특히 DDPM^[9]은 이미지에 가우시안 노이즈를 점진적으로 주입해 최종적으로 표준 정규분포에 가까워지도록 하는 순방향 과정과, 순수 노이즈로부터 단계적으로 노이즈를 제거해 이미지를 복원하는 역방향 과정을 마르코프 연쇄로 정의한다. DDPM은 GAN^[12] 대비 학습이 안정적이며 사실적이고 자연스러운 생성 결과를 제공함에 따라 다양한 후속 연구로 확장되었다. 그러나 DDPM은 고품질 샘플을 얻기 위해 추론 시 수백에서 수천 단계의 샘플링이 필요해 생성 시간이 길다는 한계가 있다. 또한 입력 해상도가 증가할수록 각 단계의 연산량과 메모리 사용량이 커져 고해상도 이미지 생성에서 효율 저하가 더욱 두드러진다.

Diffusion 모델의 추론 효율을 높이기 위해, 샘플링 단계 수를 줄인 DDIM^[13]과 각 단계의 연산 부담을 낮춘 LDM^[10]이 제안되었다. DDIM은 DDPM과 동일한 학습 목표를 유지하면서, 추론 시 역방향 과정을 암시적 경로로 재구성해 필요한 샘플링 단계 수를 줄인다. 그 결과 수십 단계만으로 경쟁력 있는 품질의 이미지를 생성할 수 있으며, 설정에 따라 결정론적 생성도 가능해 속도와 품질의 절충을 조절할 수 있다. LDM은 VQGAN^[14]의 오토인코더를 사용해 입력 이미지를 압축된 잠재 표현으로 변환한 뒤, 저차원 잠재 공간에서 확산 과정을 수행한다. 이러한 접근은 각 단계의 연산량과 메모리 요구를 낮춰, 고해상도 이미지 생성에 필요한 컴퓨팅 리소스와 시간을 크게 절감하면서도 높은 품질을 유지한다.

이러한 발전을 바탕으로 Diffusion 모델은 다양한 생성 및 복원 과제로 확장되었으며, 특히 이미지 초해상도에서 우수한 성능을 보였다. 대표적으로 ResShift^[11]는 저해상도와 고해상도 이미지 간 잔차를 직접 이동시키는 마르코프 연쇄 기반 과정을 설계하여, 추론 시 샘플링 단계 수를 단 15단계로 줄이면서도 우수한 복원 품질을 달성하였다. 또한 연산 효율을 높이기 위해 VQGAN 오토인코더 기반 잠재 공간 전이를 결합하였다. 따라서 ResShift는 고해상도 이미지 생성에서 추론 속도와 복원 품질을 동시에 고려한 모델로 활용될 수 있다.

한편 기존 Diffusion 모델을 T2V 변환에 적용한 연구로 T2V-DDPM^[7]과 DiffTV^[8]가 보고되었다. 이들 연구는 각각 DDPM과 LDM을 기반으로 하므로, 여전히 추론 단계 수와 연산 효율 측면에서 한계가 있다. 본 연구는 추론 효율이 높은 Diffusion 프레임워크를 기반으로, 열화상 얼굴 이미지를 가시광 얼굴 이미지로 변환한 뒤 기존 가시광 얼굴 인식 모델을 활용하여 열화상 얼굴 인식 성능을 향상시키는 것을 목표로 한다. 이를 위해 초해상도 문제에 특화된 ResShift^[11]를 T2V 모달리티 변환에 맞게 확장하고, 잔차 이동 기반 순·역방향 확산 프레임워크의 기본 골격은 유지하되 모달리티 변환 목적에 부합하도록 네트워크 구조와 마르코프 연쇄를 재설계하여 적용한다.

2.2 ArcFace 기반의 얼굴 인식기

ArcFace^[1]는 얼굴 인식을 위한 임베딩 추출 네트워크 학습에서 널리 사용되는 대표적인 마진 기반 분류 손실 함수이다. 얼굴 인식은 새로운 인물이 등장할 수 있는 open-set 환경에서 임베딩 간 유사도 비교로 수행되는 경우가 많기 때문에, 학습 단계에서부터 임베딩 공간에서의 분리도를 직접 향상시키는 손실 설계가 중요하다. ArcFace는 이러한 요구를 반영하여, 단순 분류 정확도뿐 아니라 임베딩 기반 검증 및 식별 성능을 동시에 개선하는 방향으로 제안되었다.

ArcFace loss의 핵심 아이디어는 특징 벡터와 분류 가중치를 정규화 하여 임베딩을 hypersphere 상에서 각도 기반으로 비교하도록 만든 뒤, 정답 클래스에 대해서만 각도 마진을 직접 부가하는 것이다. 구체적으로 정답 클래스 $t$에 대한 로짓 $logit_t$를 다음과 같이 정의한다.

여기서 $\theta_t$는 샘플 특징 벡터와 정답 클래스 가중치 벡터 사이의 각도이며, $s$는 스케일링 계수, $m$은 각도 마진이다. 식 (1)은 정답으로 분류되기 위해 해당 클래스 방향으로 $m$만큼 더 가까워야 함을 학습에 반영한다. 결과적으로 이는 동일 인물 간 응집(intra-class compactness)을 강화하고 서로 다른 인물 간 분리(inter-class separation)를 확대한다.

ArcFace는 기존 마진 기반 손실^{[15- 17]} 대비 학습 안정성이 높고, 다양한 공개 벤치마크에서 우수한 인식 성능을 보여 대표적인 얼굴 인식 모델로 널리 사용되고 있다. 또한 ArcFace 기반 얼굴 인식 절차는 파이프라인 1을 따르며, 공식 파이프라인 1 ArcFace 기반 얼굴 인식 파이프라인 공개 구현 프레임워크인 InsightFace^{[18- 19]}를 통해 재현 가능하다. 본 연구에서는 ArcFace 기반 얼굴 인식기를 가시광 얼굴 인식의 기준 모델로 설정하고, 열화상 입력과 T2V 변환 입력 간의 차이가 얼굴 인식 성능에 미치는 영향을 비교 및 분석한다.

Pipeline 1. ArcFace based Face Recognition Pipeline

3.1 제안하는 방법의 개요

본 연구는 열화상 얼굴 이미지를 가시광 얼굴 이미지로 변환한 뒤 기존 가시광 얼굴 인식 모델을 활용하여 열화상 얼굴 인식 성능을 향상시키는 방법을 제안한다. 제안하는 방법의 전체 열화상 얼굴 인식 파이프라인은 그림 2를 따른다. 먼저, ResShift^[11]의 잔차 이동 기반 Diffusion 프레임워크를 바탕으로 열화상–가시광 모달리티 변환에 맞게 설계한 T2V 변환 네트워크를 통해 입력 열화상 얼굴 이미지의 T2V 변환을 수행한다. 이후 변환된 가시광 얼굴 이미지를 ArcFace 기반 얼굴 인식 네트워크에 입력하여 얼굴 임베딩을 추출하고, 이를 등록된 가시광 갤러리 임베딩 데이터베이스와 비교함으로써 최종 얼굴 인식을 수행한다.

기존 ResShift는 가시광 도메인에서 저해상도–고해상도 이미지 간 잔차를 이동시키는 마르코프 연쇄를 통해 효율적인 초해상도 복원을 수행한다. 반면 본 연구의 T2V 변환 네트워크는 잔차의 개념을 해상도 차이가 아닌 열화상–가시광 간 모달리티 차이로 확장하여 변환을 수행한다. 이를 위해 열화상과 가시광 모달리티에 각각 특화된 오토인코더를 분리 구성하여 두 이미지의 잠재 표현을 인코딩·디코딩한다. 그리고 두 잠재 표현 간 차이를 잔차로 정의한 뒤 잔차 이동 기반 확산 과정을 통해 열화상 잠재 표현으로부터 가시광 잠재 표현을 복원한다. 이를 통해 열화상 입력의 신원 단서를 보존하면서 얼굴 인식에 유리한 가시광 얼굴 이미지를 생성한다. 제안한 ResShift 기반의 T2V 변환 네트워크의 세부 구조는 그림 3에 제시한다.

그림 2 제안하는 열화상 얼굴 인식 방법의 추론 파이프라인

Fig. 2. Inference Pipeline of the Proposed Thermal Face Recognition Method

그림 3 제안하는 ResShift 기반 열화상–가시광 변환 모델 구조

Fig. 3. Architecture of the Proposed ResShift-Based Thermal-to-Visible Transformation Model

3.2 모달리티 특화 오토인코더

본 절에서는 열화상-가시광 모달리티 변환을 위해 도입한 모달리티 특화 오토인코더 구조를 설명한다. 기존 ResShift는 입력과 출력이 동일한 가시광 모달리티 내에서 복원을 수행하므로 단일 오토인코더만으로도 잠재 공간 전이가 가능하다. 반면 T2V 변환은 입력과 출력의 모달리티가 서로 달라 신호 통계 및 표현 특성이 상이하므로, 단일 오토인코더를 사용할 경우 모달리티 차이로 인해 잠재 표현 추출의 일관성이 저하될 수 있다. 이에 본 연구는 열화상과 가시광에 각각 특화된 오토인코더를 분리 구성함으로써 각 모달리티의 잠재 표현을 안정적으로 형성하고, 이후 확산 기반 잔차 이동 과정에서 입력 및 목표 표현을 신뢰성 있게 제공하도록 한다.

열화상 오토인코더는 열화상 얼굴 데이터셋으로, 가시광 오토인코더는 가시광 얼굴 데이터셋으로 각각 학습하여 모달리티별 데이터 분포를 반영하도록 하였다. 구체적으로 열화상 오토인코더는 인코더 $E_{thr}^{AE}$와 디코더 $D_{thr}^{AE}$로, 가시광 오토인코더는 인코더 $E_{rgb}^{AE}$와 디코더 $D_{rgb}^{AE}$로 구성된다. 열화상 얼굴 이미지 $y$와 가시광 얼굴 이미지 $x$는 각각 다음과 같이 잠재 표현으로 변환된다.

여기서 $z_y$와 $z_x$는 각각 열화상 잠재 표현과 가시광 잠재 표현으로 이후 절에서 정의하는 잠재 공간 잔차를 구성하는 핵심 변수이다. 이를 통해 열화상–가시광 간 차이를 잠재 공간에서 직접 비교할 수 있으며, 잔차 이동 기반 확산 과정으로 가시광 잠재 표현을 복원하는 것이 가능해진다. 이때 오토인코더는 동결하여 사용함으로써 잠재 공간의 변동을 억제하고 학습 안정성을 높인다.

3.3 잔차 정의와 순방향 과정

열화상-가시광 모달리티 변환은 잠재 공간에서 열화상 잠재 표현으로부터 가시광 잠재 표현을 복원하는 문제로 볼 수 있다. 이를 위해 본 연구는 두 잠재 표현 간 차이를 잔차로 모델링하고, 해당 잔차에 대한 순방향 및 역방향 확산 과정을 구성한다. 먼저, 모달리티 특화 오토인코더로 추출한 열화상, 가시광 잠재 표현 $z_y$, $z_x$에 대해 잔차 $e_0$를 다음과 같이 정의한다.

이는 모달리티 차이를 반영하므로, 잔차를 이동시키는 확산 과정을 통해 모달리티 변환을 수행할 수 있다.

순방향 과정은 잔차 $e_0$를 점진적으로 이동시켜 $z_x$에서 노이즈가 섞인 $z_y$로 전환한다. 순방향 과정에서 임의의 시간 단계 $t$의 주변 분포 $q(z_t|z_x, z_y)$는 다음과 같이 닫힌 형으로 정의한다.

여기서 $\eta_t$ ($t = 1, 2, ..., T$)는 $\eta_1 \to 0$, $\eta_T \to 1$를 만족하는 전환 시퀀스이며 $\kappa$는 노이즈 분산을 제어하는 파라미터, $I$는 항등 행렬이다. 또한 $z_t$는 각 시간 단계 t에서의 잠재 표현이다.

잔차와 전환 시퀀스에 의해 정의되는 순방향 과정에서는 잠재 표현의 모달리티가 가시광에서 열화상으로 전이된다. 구체적으로 $t = 1$에서 주변 분포의 평균은 $z_x$에 위치하므로 초기 상태는 가시광 모달리티에 대응한다. 이후 $t = 1, 2, ..., T$에 대해 잔차 이동을 반복함으로써 평균이 이동하며, $t = T$에서 주변 분포의 평균은 $z_y$로 수렴하므로 최종 상태는 열화상 모달리티에 대응한다. 따라서 식 (2)에서 정의한 잔차 $e_0$는 확산 과정에서 분포의 평균 이동을 결정하는 핵심 변수로서, 순방향 과정이 가시광 $\to$ 열화상 모달리티 변환 효과를 갖도록 한다.

3.4 역방향 과정과 학습 목표

역방향 과정은 $z_t$로부터 $z_{t-1}$을 복원하는 과정을 반복하여 $z_x$를 추정한다. 식 (3)으로부터 유도되는 역방향 과정의 조건부 분포 $q(z_{t-1}|z_t, z_x, z_y)$는 다음과 같이 닫힌 형으로 표현된다.

여기서 $\alpha_t$는 $\eta_t - \eta_{t-1}$이다. 그러나 실제 추론 단계에서는 정답 가시광 잠재 표현 $z_x$를 알 수 없으므로 식 (4)를 직접 계산할 수 없다. 따라서 학습 가능한 네트워크를 사용하여 $z_x$를 추정하고, 이를 바탕으로 역방향 복원을 수행한다.

$f_\theta$는 인코더-디코더 및 잔차 연결로 구성된 U-Net 구조의 네트워크이며, 입력은 $z_t$, $z_y$, $t$이고 출력은 $\tilde{z}_{t-1}$이다.

여기서 $\tilde{z}_{t-1}$은 현재 시간 단계 $t$에 대한 네트워크의 추정치이며, 이는 다음 시간 단계 $t-1$에서 네트워크의 입력 $z_t$로 사용된다.

$f_\theta$의 학습 목표는 역방향 과정의 모든 시간 단계 $t = T, T-1, ..., 1$에 대해 정답 가시광 잠재 표현 $z_x$를 예측하는 것이며, 이에 따라 손실 함수는 모델의 예측과 목표 사이의 차이를 최소화하는 L2 기반 제곱 오차를 사용하여 다음과 같이 정의된다.

이러한 학습을 통해 $f_\theta$는 역방향 과정의 잠재 표현 $z_t$를 조건 $z_y$가 제공하는 열화상 얼굴 정보에 기반해 가시광 잠재 표현을 추정하도록 최적화되며, 결과적으로 열화상 $\to$ 가시광 모달리티 변환을 수행한다. 식 (5)를 $T$번 수행하면 최종적으로 가시광 잠재 표현의 추정치 $\tilde{z}_x$가 산출된다.

이후 잠재 공간에서 픽셀 공간으로 복원하기 위해 $D_{rgb}^{AE}$를 사용한다.

여기서 $\tilde{x}$는 제안하는 방법을 통해 입력 열화상 얼굴 이미지 $y$로부터 가시광 얼굴 이미지로 변환된 결과이며, $y$와 동일한 해상도를 갖는다.

3.4 열화상 얼굴 인식 추론 파이프라인

제안하는 열화상 얼굴 인식 추론 파이프라인은 그림 2에 나타낸 바와 같다. 먼저 Diffusion 기반의 T2V 변환 네트워크는 입력 열화상 얼굴 이미지 $y$로부터 잠재 표현 $z_y$를 추출하고, 여기에 노이즈를 추가하여 초기 상태 $z_T$를 생성한다. $z_T$는 다음과 같이 정의된다.

여기서 $\epsilon$은 표준 정규분포에서 샘플링된 노이즈이다. 이후 $t = T, T-1, ..., 1$으로 진행되는 역방향 과정을 반복적으로 수행하면서 열화상 이미지로부터 가시광 이미지를 생성한다. 이렇게 변환된 가시광 얼굴 이미지를 ArcFace 얼굴 인식 네트워크에 입력하여 얼굴 임베딩 $e_{\tilde{x}}$를 추출한다. 그리고 이를 등록된 가시광 갤러리 임베딩 데이터베이스와 비교하여 유사도 기반 매칭을 수행함으로써 최종 얼굴 인식을 수행한다.

4.1 데이터셋

본 연구의 목표는 열화상 카메라로 획득된 얼굴 이미지를 가시광 얼굴 이미지로 변환하여 얼굴 인식 성능을 향상시키는 것이다. 이를 위해 다양한 인물에 대해 열화상–가시광 얼굴 이미지 쌍을 제공하는 공개 데이터셋을 사용하여 실험을 수행하였으며, 본 연구에서는 SpeakingFaces 데이터셋^[20]을 활용하였다.

SpeakingFaces는 피험자가 음성 명령을 수행하는 동안의 얼굴을 가시광 및 열화상 카메라로 동시 촬영하고, 이에 동기화된 음성 스트림을 함께 제공하는 대규모 공개 멀티모달 데이터셋이다. 열화상 카메라와 가시광 카메라는 각각 9대로 구성되어 총 9개 시점에서 촬영되며, 열화상–가시광 얼굴 이미지 쌍은 시간적으로 동기화되어 정렬된 형태로 제공된다. 각 이미지의 해상도는 464×348이며, 두 모달리티 모두 3채널로 제공된다. 데이터셋은 성별 균형과 다양한 인종 구성을 포함하는 총 142명의 피험자로 구성된다. 한 피험자에 대해 각 시점당 900장의 이미지가 제공되므로, 피험자 1명당 열화상–가시광 이미지 쌍은 총 8,100장이다. 또한 데이터셋은 피험자 ID 기준으로 학습 세트가 1번부터 100번, 검증 세트가 101번부터 120번, 테스트 세트가 121번부터 142번으로 분할되어 있으며, 각 세트 간 피험자는 중복되지 않는다.

본 연구의 구현에서는 위의 공식 분할 체계를 그대로 따르되 학습 세트의 규모가 약 81만 장으로 매우 크기 때문에 소규모 학습·검증·테스트 세트를 별도로 구성하였다. 각 피험자에 대해 인덱스 1번 이미지부터 시작하여 학습 세트는 10장 간격으로 샘플링하였고, 검증 및 테스트 세트는 100장 간격으로 샘플링하여 데이터 규모를 조정하였다. 또한 테스트 세트에서 피험자 125번의 9번째 시점 카메라 데이터는 손상되어 제공되므로 제외하였다. 그 결과 본 연구에서 사용한 최종 이미지 쌍의 개수는 학습 81,000장, 검증 1,620장, 테스트 1,773장이다. 전처리 과정에서는 열화상–가시광 이미지 쌍을 모두 256×256 해상도로 리사이징하였으며, 밝기 변환, 추가 정렬, 크롭 등 별도의 전처리는 수행하지 않았다. 학습 데이터의 다양성을 확보하기 위해 데이터 증강 기법으로는 좌우 반전을 적용하였다.

4.2 학습 세부 사항

모달리티 특화 오토인코더는 열화상 오토인코더와 가시광 오토인코더로 구성된다. 두 오토인코더는 동일한 학습 설정을 적용하였으며, 학습에 사용한 데이터만 모달리티에 따라 다르게 구성하였다. 구체적으로 열화상 오토인코더는 열화상 이미지로만 학습하였고 가시광 오토인코더는 가시광 이미지로만 학습하였다. 오토인코더 구조는 VQGAN^[14]에서 제안된 Vector Quantization Autoencoder를 사용하였다. 해당 오토인코더는 압축 배율이 4이며, 코드북 크기는 8192, 코드북 차원은 3이다. 학습률은 $4.5 \times 10^{-6}$, 배치 크기는 4로 설정하였고 이외의 하이퍼파라미터는 기존 구성을 그대로 따랐다. 각 오토인코더 학습은 NVIDIA RTX 4090 GPU 환경에서 수행하였으며, 총 18 에폭 동안 약 67시간 소요되었다.

오토인코더 학습을 통해 열화상 및 가시광 이미지를 잠재 공간으로 안정적으로 변환할 수 있으므로, 이후 Diffusion 기반 T2V 변환 네트워크는 해당 잠재 표현 상에서 학습된다. 확산 과정의 시간 단계 $T$는 ResShift^[11]에서 제안한 설정과 동일하게 15로 두었으며, 전환 시퀀스 $\eta_t$는 0.04에서 0.99까지 점진적으로 증가하도록 설정하였다. 역방향 과정에서 사용되는 네트워크 $f_\theta$는 ResShift와 동일한 U-Net을 사용하였다. 해당 네트워크는 인코더-디코더 구조를 가지며, 총 8개의 잔차 레이어로 구성되고 각 잔차 블록 사이에 attention 레이어가 배치된 형태이다. 학습률은 $5 \times 10^{-5}$, 배치크기는 64로 설정하였고, 이외의 하이퍼파라미터는 기존 구성을 그대로 따랐다. 학습은 NVIDIA RTX 4090 GPU 환경에서 수행하였으며, 총 60,000 이터레이션 동안 약 36시간이 소요되었다. Diffusion 기반 T2V 변환 네트워크의 추론 단계 계산 부하를 측정한 결과, RTX 4090 환경에서 평균 추론 시간은 1.887초/image, 최대 GPU 메모리 사용량은 1.23 GB로 나타났다.

4.3 평가 지표

본 연구는 제안하는 방법이 열화상 얼굴 인식에 유효한지 평가하기 위해, 얼굴 인식 성능을 식별과 검증 관점에서 측정하였다. 식별 성능은 Rank-1 정확도로, 검증 성능은 VR@FAR(Verification Rate at False Acceptance Rate)로 평가하였다.

Rank-1 정확도는 질의(probe) 이미지가 주어졌을 때, 등록(gallery) 집합 내에서 유사도 점수가 가장 높은 1개 후보가 정답 신원과 일치하는 비율을 의미한다. 이는 1:N 식별 시나리오에서의 Top-1 성능을 나타내며, 값이 높을수록 올바른 신원을 1순위로 찾는 능력이 우수함을 의미한다.

VR@FAR는 1:1 검증 시나리오에서 동일인/타인 판별 성능을 나타내는 지표이다. FAR은 서로 다른 사람 쌍을 동일인으로 잘못 수락하는 비율이며, VR은 동일인 쌍을 올바르게 수락하는 비율이다. VR@FAR는 FAR을 특정 값으로 고정하도록 임계값을 설정한 뒤, 해당 임계값에서의 VR을 측정한 값이다. 본 연구에서는 보안 수준이 다른 두 조건을 고려하여 VR@FAR=1% 및 VR@FAR=0.1%를 사용하였다. FAR이 낮을수록 더 엄격한 조건을 의미하며, VR@FAR 값이 높을수록 동일인을 더 높은 비율로 올바르게 수락함을 의미한다.

4.4 얼굴 검출 성능 결과

Rank-1 및 VR@FAR 평가는 알고리즘 1을 따른다. 따라서 얼굴 인식 성능 평가에 앞서 알고리즘 1의 Step 1에 해당하는 얼굴 검출 성능을 분석하였다. 얼굴 검출은 입력 이미지에서 얼굴 위치를 탐지하는 과정으로, 검출에 실패할 경우 임베딩 추출이 불가능하므로 후속 얼굴 인식 평가를 수행할 수 없다.

그림 4 제안하는 방법의 열화상–가시광 변환 결과 시각화

Fig. 4. Visualization of Thermal-to-Visible Transformation Results by the Proposed Method

표 1에서 볼 수 있듯이, 기존 ArcFace 방법은 열화상 얼굴 이미지를 직접 입력으로 사용할 경우 얼굴 검출률이 70.4%에 그쳤다. 이는 열화상 이미지가 가시광 이미지에 비해 색상 및 텍스처 정보가 제한적이기 때문에 기존 가시광 기반 얼굴 검출기가 얼굴 영역을 정확히 탐지하기 어려운 특성에 기인한다. 반면 제안하는 방법은 열화상 이미지를 T2V 변환을 통해 가시광 형태로 변환한 후 얼굴 검출을 수행함으로써, 전체 1,773장의 테스트 이미지에서 모두 얼굴 검출에 성공하여100%의 검출률을 달성하였다. 이러한 결과는 제안하는 T2V 변환 네트워크가 얼굴 구조 정보를 효과적으로 복원하여 기존 가시광 기반 얼굴 검출기가 안정적으로 동작할 수 있도록 함을 보여준다.

그림 5 얼굴 인식 단계에서의 True Positive 및 False Positive 예시

Fig. 5. Examples of True Positive and False Positive in the Face Recognition Stage

4.5 얼굴 인식 성능 결과

표 2는 테스트 세트에서 기존 ArcFace 방법과 제안하는 방법의 얼굴 인식 성능을 비교한 결과이다. 성능 평가는 Rank-1 정확도와 VR@FAR 지표를 사용하였으며, 가시광 갤러리 임베딩 데이터베이스는 각 열화상 얼굴 이미지에 대응하는 가시광 얼굴 이미지를 ArcFace 기반 얼굴 인식 네트워크로 임베딩하여 구성하였다.

기존 ArcFace 방법은 열화상 얼굴 이미지를 직접 입력으로 사용할 경우 Rank-1 정확도 49.92%, VR@FAR=1%에서 41.56%, VR@FAR=0.1%에서 18.86%를 기록하였다. 이는 열화상 이미지와 가시광 기반 얼굴 인식 모델 간의 모달리티 차이로 인해 신원 구분에 필요한 특징이 충분히 반영되지 못함을 의미한다.

반면 제안하는 방법은 T2V 변환을 통해 열화상 얼굴 이미지를 가시광 도메인으로 변환한 후 얼굴 인식을 수행함으로써 Rank-1 정확도 88.95%, VR@FAR=1%에서 67.31%, VR@FAR=0.1%에서 44.43%의 성능을 보였다. 이는 기존 ArcFace 방법 대비 Rank-1 정확도에서 39.03%p, VR@FAR=1%에서 25.75%p, VR@FAR=0.1%에서 25.57%p 향상된 결과이다. 또한 이러한 결과는 제안한 T2V 변환이 열화상 이미지의 얼굴 구조와 신원 단서를 효과적으로 복원하여, 대응되는 가시광 갤러리 임베딩과의 비교에서 기존 가시광 기반 얼굴 인식 모델을 보다 안정적으로 활용할 수 있음을 의미한다.

4.6 결과 이미지 분석

그림 4는 SpeakingFaces 데이터셋의 열화상 입력(Thermal), 정답 가시광(RGB), 그리고 제안하는 방법의 T2V 변환 결과를 비교한 것이다. 제안하는 방법은 열화상에서 관측되는 얼굴 윤곽, 눈·코·입의 상대적 위치, 머리카락 경계 등 기하학적 구조를 유지한 채 가시광 모달리티로 변환한다. 정면 및 측면등 다양한 포즈에서도 얼굴 형태와 주요 랜드마크 위치가 크게 변형되지 않으며, 안경 착용 사례에서도 안경테의 형태가 보존되어 출력에 반영된다. 또한 배경 및 조명 조건에 대해서도 정답 RGB와 유사한 밝기 분포로 전환되는 경향이 관찰된다. 다만 열화상 이미지만으로는 구분이 어려운 피부의 미세 디테일은 충분히 복원되지 않을 수 있어, 일부 영역에서 질감이 상대적으로 단순화되는 경향이 있다. 전반적으로 제안하는 방법의 T2V 변환 결과는 열화상 입력만으로는 직접 관측하기 어려운 가시광 모달리티의 시각적 단서를 복원하며, 정답 RGB와 비교했을 때 얼굴 구조 및 신원 단서의 일관성이 유지됨을 확인할 수 있다.

그림 5는 얼굴 인식 단계에서의 대표적인 True Positive 및 False Positive 예시를 보여준다. 각 행은 True Positive 와 False Positive 사례를 나타내며, 각 열은 순서대로 테스트(probe) 이미지의 가시광(Visible), 열화상(Thermal), 제안 방법으로 변환된 T2V (Ours) 결과, 그리고 VR@FAR=1% 기준에서 해당 probe 이미지와 매칭된 갤러리 가시광 이미지를 나타낸다. True Positive 사례에서는 T2V 결과가 신원 판별에 필요한 주요 얼굴 구조를 유지하여 올바르게 인식되었다. 반면 False Positive 사례에서는 일부 얼굴 구조가 유사하게 복원되어 서로 다른 신원이 동일 인물로 잘못 인식되었다. 이는 제안 방법이 얼굴 인식에 유효한 정보를 제공하지만, 일부 사례에서는 얼굴 구조의 유사성이 인식 결과에 영향을 줄 수 있음을 보여준다.