2.1 전체 구조

그림 1에서와 같이 제안된 학습법은 두 개의 입력과 각각의 출력에 대해서 분리된 손실함수를 사용한다. 입력 2는 목표 이미지에 대해 3차 보간법을 통해 해상도를 낮춘 이미지이며, 입력 1은 입력 2에 대해서 흑백으로 변환시킨 이미지다. Network 1은 영상채색 모델이며, Network 2는 초해상화 모델이다. 입력 1은 순차적으로 Network 1, 2를 통과하고 목표 이미지와 손실을 계산하며, 이 때 손실함수는 GAN Loss⁽¹³⁾와 VGG Loss를 사용한다. 입력 2는 Network 2만을 통과하여 목표 이미지와 손실을 계산하고, 이 때 손실함수는 L1 Loss를 사용한다. 분리된 손실함수에 대한 자세한 내용은 2.3절에서 소개한다.

2.2 사전 학습 모델

영상채색 및 초해상화 네트워크의 성능을 보장하는 상호 독립적인 학습법을 보여주기 위해 영상채색, 초해상화, VGG, 판별자, 총 4개의 사전 학습된 네트워크를 사용한다. 영상채색 및 초해상화 네트워크는 이미지를 복원하기 위해, VGG 및 판별자 네트워크는 손실을 계산하기 위해 사용한다.

영상채색 네트워크는 BigGAN⁽¹⁴⁾을 재학습시킨 BigColor 모델을 사용하고, 추가적인 학습은 진행하지 않는다. 구조도는 그림 2와 같고, 분류기를 통해 클래스 정보를 임베딩하여 해당 객체에 대해 자연스러운 색상을 선택하도록 학습하는 모델이다. 초해상화 네트워크는 EDSR-64⁽¹⁰⁾을 사용하고, 미세 조정을 통해 영상채색 네트워크와 상호 간섭 없이 독립적인 역할을 하도록 학습한다. 구조도는 그림 3과 같고, 16개의 잔차 블록을 포함하며 모델명의 64는 각 컨볼루션 층의 채널을 의미한다. 사전 학습된 VGG 네트워크는 VGG Loss를 계산하기 위해⁽¹⁵⁾, 판별자 네트워크는 GAN Loss를 계산하기 위해 사용한다. 이 때, BigColor가 아닌 BigGAN에서 사용된 판별자 네트워크가 사용되는데, 이는 이미지 복원 모델로 사용하는 BigColor 모델에 과적합되어 모드 붕괴가 발생하는 것을 방지하기 위함이다.

2.3 분리된 손실함수

일반적인 영상채색과 초해상화의 종단 학습은 그림 1에서 상단과 중단 부분만을 사용하여 각 이미지에 대해서 모든 손실을 계산하고 역전파를 수행한다. 손실함수는 식 (1)과 같다.

$N_{1}$, $N_{2}$는 각각 Network 1, 2이며, $x$, $y$, $L$, $n$은 각각 입력, 목표, 손실함수, 손실함수의 개수를 의미한다. 그러나, 이러한 순차 연결 방식으로 학습을 진행할 경우, 역전파 과정 중 채색과 초해상 네트워크의 손실을 구분할 수 없어서 개별 네트워크의 고유 역할을 제대로 수행하지 못하게 된다. 이러한 문제를 해결하기 위해서 그림 1의 하단의 점선 부분을 추가하여 손실함수를 분리 적용한다.

이미지 복원에 사용되는 대표적인 손실함수로 L1 Loss, GAN Loss, 그리고 VGG Loss가 있다. L1 Loss는 각 픽셀간의 거리을 줄여주는 손실함수다. L1 Loss의 식은 (2)과 같다.

$h$, $w$는 각각 이미지의 높이와 넓이, $p_{ij}$는 각 픽셀을 의미한다. 자연계 색상의 편차가 적은 객체에 대해서는 문제가 없지만, 편차가 큰 객체에 대해서는 문제가 발생할 수 있다. 예를 들어, 사과를 보고 L1 Loss를 통해 학습하면, 빨간색(R)과 초록색(G)사이에서 혼란을 일으킬 수 있고, 손실함수를 최소화하기 위해 낮은 채도의 색상으로 회귀하도록 학습될 수 있다. GAN Loss는 이미지의 개연성을 증가시켜 자연스러운 이미지를 만들도록 하는 손실함수다. GAN Loss의 식은 (3) 및 (4)과 같다.

$D$는 판별자, $G$는 이미지 복원 네트워크, $c$는 임베딩 벡터를 의미 한다 픽셀간의 거리보다는 이미지가 얼마나 자연스럽고 현실성 있느냐에 집중하기 때문에 자연스러운 이미지를 만들어야하는 영상채색에 적합한 손실함수다. VGG Loss는 VGG 네트워크를 통과시켜 나오는 특징맵 간의 거리를 줄여주는 손실함수로써 식 (5)와 같다.

$\phi_{j}$는 사전 학습된 $j$번째 계층까지의 VGG 네트워크이며, $C_{j},\: W_{j},\: H_{j}$는 순서대로 VGG 네트워크의 $j$번째 계층 출력 특징 맵에 대한 채널, 넓이, 높이를 의미한다. 픽셀간의 거리보다는 사람이 느끼는 구조적인 특성(엣지, 질감 등)이나 추상적인 의미에 집중하는 손실함수이기 때문에, GAN Loss와 마찬가지로 영상채색에 적합하다. VGG16 네트워크에서, 층 번호 $j$가 작을수록 엣지와 같은 낮은 수준의 특징에 집중하고, 클수록 추상적이고 의미론적인 높은 수준의 특징에 집중한다.

본 논문에서는 순차적인 네트워크에서 위와 같은 각 손실함수의 역할이 간섭없이 독립적으로 수행되어, 각각의 네트워크의 성능을 보장하는 학습법을 제안한다. 그림 1에서에서 두 가지 네트워크를 순차적으로 통과하는 입력 1의 출력에 대해서는 영상채색에 적합한 GAN Loss와 VGG Loss를 사용하여 초해상화 네트워크가 영상채색 네트워크를 보완하도록 학습한다. 초해상화 네트워크만 통과하는 입력 2의 출력 대해서는 초해상화에 적합한 L1 Loss를 사용하여, 초해상화 네트워크의 본래 성능을 보장하도록 학습한다. 식으로 표현하면 (6), (7) 및 (8)과 같다.

$N_{1}$, $N_{2}$는 각각 Network 1, 2이며, $x$, $y$, $L$은 각각 입력, 목표, 손실함수를 의미한다. $n$과 $m$은 각각 $Loss_{1}$과 $Loss_{2}$로 분리된 손실함수의 개수인데, 여기서 $n$은 GAN Loss과 VGG Loss로 2이며, m은 L1 Loss를 사용하므로 1이다. 이러한 과정을 통해 초해상화 네트워크 본래의 역할이 붕괴되지 않고, 영상채색 네트워크를 보완하도록 학습한다.

3.1 실험 환경

제안된 기법을 통해 학습된 모델을 DIV2K, ImageNet-1k 데이터셋에 대해서 PSNR, SSIM 그리고 FID 지표를 통해 평가하고, 개별로 학습된 모델 및 미세 조정을 통해 학습된 모델과 비교한다. 사용된 데이터 셋은 표 1과 같다. DIV2K는 고화질 이미지 데이터셋으로, 800장의 훈련 데이터와 100장의 검증 데이터로 이루어져 있으며, 고화질의 세부적인 특징들을 얼마나 잘 복원하는지 판단하기에 적합하다. ImageNet-1k는 1000개의 클래스를 가진 데이터셋으로, 50000장의 검증 데이터를 사용한다. 다수의 클래스로 구성되어 있기 때문에, 다양한 종류의 객체에 대해서 얼마나 강인하게 이미지 복원을 해내는지 판단할 수 있다. ImageNet-1k는 검증용으로만 사용하고, 훈련용으로는 사용하지 않는다.

PSNR(Peak Signal-to-Noise Ratio)은 픽셀간의 거리에 대한 제곱평균에 반비례하는 지표이다. SSIM(Structural Similarity Index Measure)은 밝기, 대조, 구조적인 유사도에 대한 수치이다. FID(Fréchet Inception Distance)는 Inception-v3 네트워크⁽¹⁶⁾를 통과시켜서 나온 특징맵들을 이용하는 거리기반 지표로, 목표로 하는 이미지 집합과 생성된 이미지 집합간의 특징 분포를 측정한다. PSNR과 SSIM은 높을수록 좋은 지표고, FID는 낮을수록 좋은 지표다.

학습은 DIV2K 학습 데이터셋에 대해서 512x512 random crop하여 목표 이미지로 하고, 이후 256x256으로 resize하여 입력 2로 사용하고, 흑백 전환을 추가로 적용하여 입력 1로 사용한다. 데이터 증강을 위해 각 이미지에 대해서 horizontal flip, vertical flip, $90^{\circ}$rotation을 각각 0.5 확률로 적용한다. 검증은 원본 이미지를 목표이미지로 하고, 2분의 1로 축소하여 입력으로 사용한다.

하이퍼 파라미터 설정은 표 2와 같다. optimizer는 미세 조정에 적합한 SGD를 사용하며 모멘텀은 0.9로 설정한다. 초해상화 네트워크의 학습률은 사전 학습 종료에 맞추어 0.00005를 사용하고, 판별자 네트워크의 학습률은 BigColor에 맞추어 0.00003으로 설정한다. 손실함수 계수 또한, BigColor에 맞추어 L1 Loss는 1.0, VGG Loss는 0.2, GAN Loss는 0.03을 적용하고, $j =1,\: 2,\: 13,\: 20$에 대하여 VGG Loss를 계산한다. 200 epoch간 학습하며, $\lambda =0.995$의 람다 학습률 감소(lambda learning rate decay)를 사용한다. batch size는 8로 설정하고, 실험은 pytorch 환경에서 수행한다.

3.2 실험 결과

DIV2K 데이터 셋에 대해서 제안된 기법과 기존 기법을 비교한 결과가 표 3에 나와 있다. 여기서 베이스 라인은 전자채색과 초해상화에 대해서 개별 학습된 두 모델을 순차적으로 수행한 방식의 결과이다. 제안 기법의 PSNR, SSIM, FID가 각각 0.18, 0.003, 0.160 만큼 향상되었다. 영상채색에 대해 가장 직접적인 지표인 FID가 가장 크게 향상되었는데, 이는 우리의 의도대로 초해상화 네트워크가 영상채색 네트워크에 대해 보완적인 역할을 하면서도 기존 역할인 초해상화를 잘 수행하도록 학습 되었다는 의미다. 기존의 기법을 적용한 경우에는 PSNR 성능은 개선되었지만, SSIM과 FID성능은 재학습 이전과 비교해 오히려 낮아지는 모습을 보인다. 이는 재학습 과정에서 초해상화 네트워크가 붕괴되어 구조적, 의미론적인 부분에 대한 복원 성능이 약화되었음을 의미한다.

ImageNet-1k 검증 데이터셋을 사용한 실험결과인 표 4에서도 FID에 대해서 높은 성능 향상을 보였고, PSNR과 SSIM 성능도 개선되었다. 이와 같은 결과는 이미지의 구조적인 특징 복원 능력이 개선되었고, 다양한 객체에 대해서 강인한 복원 능력을 학습했음을 보인다.

그림 4의 (e), (f)는 제안된 기법 없이 미세 조정한 모델의 결과로, 개별 학습된 베이스 라인 모델의 결과인 (c), (d)와 비교하여 색성분이 과도하게 억제된 것을 보여준다. L1 Loss는 입력 이미지의 특징들이 가질만한 색상의 평균으로 회귀하기 때문에 영상채색 네트워크 훈련에 대해서 해당 손실함수를 사용하면 색성분이 열화 되는 현상이 발생한다. 이러한 이유로 픽셀간의 거리 기반 손실이 최소화 되도록 학습된 모델은 PSNR 수치는 개선될 수 있었지만, 구조적, 의미론적인 특징들에 대한 복원 성능이 떨어지게 되어 SSIM과 FID 지표에 대해 낮은 성능을 보인다. 그에 반해 제안된 기법의 결과물인 (g)와 (h)를보면 색성분의 억제 없이 자연스러운 이미지를 만들도록 학습된 것을 알 수 있다. 특히, (g)는 과도한 색성분과 오차 누적으로 왜곡이 발생했지만, 제안된 기법으로 학습된 모델은 상호 독립적으로 작업을 수행해 (g)처럼 자연스러운 이미지를 복원한다.

그림 5은 샘플 이미지에 대해서 일부분을 확대한 사진이다. (a)는 일반적인 재학습을 수행한 모델의 출력이고 (c)는 그에 대한 확대 사진이며, (b)는 제안된 기법을 통해 재학습한 모델의 출력이고 (d)는 그에 대한 확대 사진이다. (c)를 보면 ‘체커보드 아티팩트’라 불리는 격자점 발생 현상이 나타났다. 이는 재학습 과정에서 초해상화 네트워크의 본래 기능이 열화 되어 발생한 문제이다. 그에 반해, 제안된 기법을 통해 학습한 모델은 체커보드 아티팩트 없이 깔끔한 결과를 보여준다. 이를 통해 제안한 기법이 각 네트워크간의 상호 간섭 없이 독립적인 기능을 유지하도록 학습시켜, 각 네트워므의 특성을 보존함을 알 수 있다.