1. 서 론

영상 신호가 random noise 혹은 blurring 등에 의하여 손상되었을 때 손상된 영상으로부터 원 영상을 복원하기 위한 많은 연구가 진행되고 있다. Image deblurring 기법은 영상을 획득할 때 불안정한 움직임에 의해서 발생한 motion blur 혹은 camera의 초점이 맞지 않아서 생기는 Gaussian blur 등을 포함한 다양한 blurring 요소에 의해서 손상된 영상을 복원하는 기법이다⁽¹⁾. Image deblurring은 손상된 영상의 화질 개선 뿐만 아니라 위성, 드론 및 자율 주행차 등에서 촬영된 영상의 원형을 복원하는 등에도 활용될 수 있다. Deblurring 기법에는 blur kernel을 알고 있다고 가정하고 영상을 복원하는 non-blind deblurring 기법과 blur kernel을 모른다고 가정하고 영상을 복원하는 blind deblurring 기법이 있다^(2,3). Blind deblurring 기법은 blur kernel과 원 영상을 함께 추정해야 하는 severely ill-posed problem이다^(1,2). 최근에는 deep learning을 이용한 deblurring 기법이 그 성능의 우수함으로 많은 주목을 받고 있다^(3-12). Deep learning을 이용한 blind deblurring 기법은 크게 blur kernel을 먼저 추정하고 blurry image를 복원하는 기법과 blur kernel을 별도로 추정하지 않고 end-to-end 기법으로 blurry image를 복원하는 기법이 있다⁽⁸⁾.

Deep learning을 이용한 image deblurring 기법의 성능을 최적화하기 위해서 손실 함수를 최적화하는 기법, GAN(generative adversarial network)을 사용하여 성능을 향상시키는 기법 등의 learning 기법에 대한 연구와 deep neural network의 구조를 최적화하여 성능을 극대화하는 연구 등이 진행되고 있다^(3-12). Deep neural network으로는 short cut을 이용하여 성능을 향상시키는 ResNet 구조와 auto endcoder 구조에 skip connection을 추가한 U-Net 구조 등이 많이 사용된다^(13,14). U-Net은 영상 인식 뿐만 아니라 영상 복원을 위한 deep learning에도 적용되어 우수한 성능을 보이는 것이 입증되었다. 이러한 U-Net의 구조를 개선하여 전체 deep learning 성능을 개선하려는 연구가 진행되고 있다^(14,15).

본 논문에서는 image deblurring을 위한 새로운 구조의 U-Net을 연구한다. Auto encoder 구조에 skip connection을 추가한 U-Net의 기본적인 구조의 각 stage의 구조를 개선하여 전체 성능을 향상시키는 방법을 연구한다. 또한 U-Net에 pre-processing과 post-processing 역할을 하는 부분을 추가하여 성능을 향상시키는 방법을 연구한다. 영상이 motion blur에 의해서 손상되었을 때 image deblurring 성능을 측정하기 위하여 많이 사용되는 GoPro image dataset을 사용하여 본 논문에서 제안하는 U-Net 구조와 기존의 U-Net 구조의 image deblurring 성능을 비교한 결과 제안하는 U-Net이 우수한 성능을 보임을 입증한다. 또한 Gaussian blur에 의해서 영상이 손상되었을 때도 제안하는 U-Net이 기존의 U-Net에 비해서 우수한 성능을 보임을 확인한다.

2. Blind image deblurring 기법

영상 신호가 random noise 혹은 blurring 등에 의하여 손상되었을 때 손상된 영상으로부터 원 영상을 복원하기 위한 많은 연구가 진행되고 있다. 영상을 획득할 때 불안정한 움직임에 의해 영상 신호가 motion blur 등에 의해서 손상되었을 때 손상된 영상 신호 $y$는 다음 식 (1)과 같이 원 영상 $x$가 특정한 blur kernel $h$와 convolution 연산 후에 가산 잡음 $n$이 더해진 것으로 모델링할 수 있다.

식 (1)에서 blur kernel $h$에 의해서 영상 blurring 정도와 형태가 결정되는데 blur kernel을 모르는 상태에서 blurry image로부터 원영상 $x$를 추정해야 하는 blind deblurring 문제는 무수히 많은 $x$와 $h$로부터 최적의 해를 추정해야 하는 severely ill-posed problem이다^(1,2). Deblurring은 blur kernel $h$와의 convolution 연산의 영향을 제거하는 과정이기 때문에 deconvolution으로 불리기도 한다⁽³⁾. 원 영상 $x$의 추정치 $\hat x$와 blur kernel $h$의 추정치 $\hat h$를 구하기 위하여 다음 식 (2)와 같은 maximum- a-posterior (MAP) framework에 이론적인 기반을 둔 방법이 많이 연구되었다⁽¹⁰⁾.

$Pr(y \vert x,\:h)$는 $(x,\:h)$가 주어졌을 때 noisy output $y$의 값이 가질 수 있는 확률 값이다. $Pr(x)$와 $Pr(h)$는 각각 natural image와 blur kernel의 통계적인 특성을 나타내고 image prior와 blur kernel prior로 나타낼 수 있는데 원 영상을 추정하기 위한 regularizer로 사용할 수 있다. 위 식에서 나타낸 것과 같이 blind deblurring은 blurry image $y$가 주어졌을 때 $x$와 $h$의 확률을 최대화하는 추정치 $\hat x$와 $\hat h$를 구하는 문제로 볼 수 있다. MAP based 기법은 주로 iterative algorithm에 의해서 구현된다.

Blind image deblurring 문제를 해결하기 위한 다양한 방법이 연구되었다. Levin 등은 MAP based approach를 보완하는 방법을 연구하였고⁽¹⁶⁾, Cho 등은 효율적인 예측 기법과 image derivatives를 이용한 고속 image deblurring 기법을 제안하였다⁽¹⁷⁾. Perrone 등은 total-variation regularization 기법에 초점을 맞춘 방법을 제안하였다⁽¹⁸⁾. 이상의 방법들은 보통 iterative algorithm으로 구현되는데 최근에는 이러한 방법들의 한계를 극복하기 위하여 deep learning 기법을 이용한 image deblurring 기법이 활발히 연구되고 있다. Xu 등은 convolutional neural network(CNN)을 이용한 blur kernel에 기반한 방법을 제안하였고⁽⁴⁾, Nah 등은 multi-scale CNN을 사용한 image deblurring 기법을 제안하고 GoPro image dataset을 이용한 deblurring 성능을 측정하였는데 GoPro image dataset은 motion blur를 위한 표준 영상으로 사용되고 있다⁽¹¹⁾. Zhang 등은 CNN과 recurrent neural network(RNN)을 이용한 기법을 연구하였고⁽¹²⁾, Kupyn 등은 GAN 기법에 근거한 deep learning 기법을 사용한 image deblurring 기법을 제안하였다⁽⁹⁾. 이러한 deep learning에 기반한 blind image deblurring 기법은 기존의 최적화 기법을 사용한 방법에 비해서 매우 우수한 deblurring 성능을 보인다.

3. Image deblurring을 위한 deep neural network

Deep learning을 이용하여 image deblurring을 수행하기 위해서는 최적화된 deep neural network을 사용하는 것이 중요하다. Deep learning 기법에서 사용되는 deep neural network의 구조를 최적화하기 위한 많은 연구가 진행되었다. He 등은 short cut 구조를 사용한 ResNet 구조를 제안하여 영상 인식 분야에 적용하였을 때 성능을 향상시켰는데⁽¹³⁾, short cut 구조를 활용한 deep neural network이 다양한 영상 처리 분야에서 폭넓게 적용되어 우수한 성능을 보임이 입증되었다. 다중의 short cut 구조를 사용하여 성능을 향상시킬 수 있는 DenseNet 구조도 연구되었고⁽¹⁹⁾, image deblurring을 포함한 영상 복원 분야에서도 ResNet을 개선한 short cut을 사용하는 다양한 구조의 deep neural network이 연구되었다⁽⁹⁾.

그림. 1. U-Net

Fig. 1. U-Net

U-Net은 그림 1에 도시한 것과 같이 auto encoder 구조에 skip connection을 추가한 구조를 갖는다⁽¹⁴⁾. 영상 복원에 사용되는 U-Net은 auto encoder의 encoder 부분에서 영상의 특성을 추출하고 decoder 부분에서 추출된 특성 벡터들로부터 영상을 복원한다. Encoder 부분은 다수의 contractive stage로 구성되는데 각 stage를 거칠 때마다 특성 벡터의 크기는 줄어들고 layer 수는 늘어나는 구조를 갖는다.

U-Net의 decoder 부분은 encoder에서 추출된 특징 벡터를 이용하여 영상을 복원하는데 다수의 expansive stage로 구성된다. Expansive path를 거치면서 크기는 커지고 layer 수는 줄어들어서 마지막에는 원 영상과 같은 크기를 갖는 영상을 복원하게 된다. Contractive path에서 특징 벡터의 크기를 줄이는 과정에서 손실될 수 있는 이미지 특성은 U-Net의 skip connection을 통해 expansive path로 전달되어 영상 복원 과정에서 사용되므로 skip connection이 없는 auto encoder에 비해서 수렴 성능이 향상된다. 딥 러닝 과정에서 contractive path에서 추출된 특징 벡터가 원 영상의 특징 벡터에 최대한 근접하도록 훈련되고 추출된 특징 벡터가 expansive path를 거치며 원 영상에 최대한 가깝게 복원되도록 U-Net이 learning된다.

4. 제안하는 U-Net

본 논문에서는 deep learning을 사용한 image deblurring에서 성능을 극대화하기 위하여 3장에서 설명한 U-Net의 구조를 개선한다. 기존의 U-Net을 두가지 방법으로 개선하고 이를 각각 그림 2와 그림3에 도시하였는데 먼저 그림 2에 도시한 개선 사항을 설명한다. 그림 1에 도시한 U-Net의 contractive path와 expansive path의 각 stage를 이루는 부분인 Cont1~Cont4와 Exp1~Exp4 부분을 그림 2의 Cont1’~Cont4’와 Exp1’~Exp4’의 구조를 갖도록 개선하였다. 각 stage에 그림 2의 ResN1과 같이 short cut을 추가한 구조를 사용하여 수렴 성능을 향상시킨다. 제안하는 구조에서는 ResN1의 short cut으로 인해서 다중의 path가 생성됨으로써 contractive path에서 추출하는 특성 벡터가 원 영상의 특성 벡터와 최대한 근접하도록 learning되고 expansive path에서 복원되는 영상이 원영상과 최대한 가깝도록 learning된다. 특히 contractive path의 각 stage에서 layer 수가 두배씩 증가하기 때문에 short cut을 직접 사용하기 어려운데 ResN1을 병렬로 연결하여 각각 short cut을 사용하고 이를 병합함으로써 이 문제를 해결하고 수렴 성능을 극대화하였다. 다음에 image deblurring 성능을 더욱 개선하기 위하여 그림 3에 도시한 것과 같이 U-Net에 전처리와 후처리 역할을 하는 module을 추가하는 방법을 연구한다. 이러한 전처리와 후처리를 추가한 구조는 deep learning을 이용한 영상의 잡음 제거를 위하여 제안된 구조에서⁽²²⁾ activation unit을 Leaky ReLU로 개선한 구조인데 영상의 deblurring에 적용되어서도 성능을 향상시킬 수 있음을 입증한다. 전처리와 후처리 부분은 직렬로 계속 연결하기 용이한 module 구조를 가지고 있기 때문에 그림 3에서 도시한 것과 같이 cascade 연결하여 전처리와 후처리를 여러 번 거칠 수 있도록 함으로써 성능을 향상시킬 수 있다. 전처리를 담당하는 부분인 Pre1~Pre3과 후처리를 담당하는 부분인 Post1~Post3은 ResN2이 핵심적인 구조를 이루는데 ResN2은 short cut을 사용한 구조를 가지고 있어서 수렴 성능을 높이도록 설계되어 있다. 입력 영상은 Pre1~Pre3에서 전처리되어 contractive path에 전달되어 특성 벡터를 추출하고 expansive path에서 복원된 영상은 최종 출력 영상으로 변환되기 전에 Post1~Post3에서 후처리된다. 이상에서 설명한 제안하는 구조가 기존의 U-Net에 비해서 deblurring 성능을 향상시킬 수 있음을 5장의 실험 결과에서 입증한다.

그림. 2. 각 stage에 short cut을 사용하여 기존의 U-Net을 개선한 제안하는 U-Net

Fig. 2. Proposed U-Net using short cut at each stage

그림. 3. Pre-processing과 post-processing을 사용하여 기존의 U-Net을 개선한 제안하는 U-Net

Fig. 3. Proposed U-Net using pre-processing and post-processing

5. 성능 평가

본 논문에서 제안하는 U-Net의 영상 deblurring 성능을 분석하기 위해서 motion blur와 Gaussian blur에 대해서 다양한 영상을 이용하여 deblurring 성능을 분석하였다. Motion blur의 경우 deblurring 성능 평가를 위하여 많이 사용되는 GoPro 영상을 사용하여 성능을 평가하였는데 GoPro 영상의 경우 실제 촬영으로 구한 다양한 motion blur로 손상된 영상으로 구성되어서 motion blur를 복원하는 영상 deblurring 시스템의 성능 측정에 많이 사용되는 dataset이다⁽¹¹⁾. Training을 위하여 2,103 개의 blur image와 clean image pair를 사용하였고 test 영상으로는 1,111 개의 image pair를 사용하였다. 또한 Gaussian blur의 경우 식 (1)을 이용하여 Gaussian blur와 잡음으로 손상된 영상을 생성한 후에 deblurring 성능을 측정하였는데 Gaussian blur kernel의 표준 편차는 1~3의 다양한 값을 갖도록 하였고 잡음의 표준 편차를 2로 하여 blur 영상을 생성하였다. MSCoCo training 영상⁽²³⁾ 중에서 1,011 개의 영상을 선택하여 training image pair를 생성하였고 test 영상으로는 130 개의 MSCoCo test image pair와 24개의 Kodak test image pair를 사용하였다.

Pytorch를 이용하여 제안하는 U-Net과 기존의 U-Net을 구현하였고^(9,20), 최적화 방법으로는 Adam optimizer를 사용하였다⁽²¹⁾. 손실 함수로는 L1loss인 MAE(mean absolute error)를 사용하였고 training을 위해서는 training image pair에서 무작위로 선택된 $256\times 256$ image patch가 사용되었다. 총 400 epoch의 training 중에서 초기 200 epoch는 10-4의 learning rate가 사용되었고 다음의 200 epoch에서는 learning rate가 선형적으로 0까지 감소하도록 하였다.

표 1에 각각의 test 영상으로 측정한 PSNR(peak signal to noise ratio)과 SSIM(structural similarity index) 결과를 제시하였고 그림 4와 그림 5에 deblurring 결과 영상을 제시하였다. PSNR은 원 영상과 복원 영상의 정량적인 유사도를 나타내고 SSIM은 원 영상과 복원 영상의 구조적인 유사도를 나타낸다. Deep learning을 이용한 영상 deblurring의 성능에 영향을 미치는 것은 사용하는 손실 함수, GAN 등의 deep learning 기법 및 deep neural network의 구조 등 여러 가지 요인이 있다. 본 논문에서는 deep neural network 중에서 영상 복원에 많이 사용되는 U-Net의 구조 개선에 중점을 두고 성능을 극대화하는 U-Net의 새로운 구조를 제안하고 성능을 분석하였다. 따라서 표 1과 그림 4와 그림 5에서 제시한 결과에는 그림 1에 도시한 기존의 U-Net⁽¹⁴⁾을 개선한 제안하는 U-Net이 기존의 U-Net에 비해서 얼마나 성능이 향상되는지에 대한 정량적, 정성적 성능 해석에 집중하였다. 제안하는 U-Net에 대해서는 그림 2의 개선 사항만 적용한 경우와 ⁽²²⁾에서 제안하고 본 논문에서 activation unit 등을 개선한 그림 3의 개선 사항도 그림 2의 개선 사항과 함께 적용한 경우에 대해서 성능을 분석하였다. 그림 3의 pre-processing과 post-processing은 module 구조를 가지고 있으므로 원하는 수 만큼 연결할 수 있는데 3개를 사용한 경우의 성능을 평가하였다. 표 1에서 제시하는 PSNR 및 SSIM의 결과에서 제안하는 U-Net이 기존의 U-Net에 비해서 deblurring 성능을 크게 향상시키는 것을 알 수 있다. 특히 그림 2의 제안하는 구조와 그림 3의 전처리 및 후처리를 모두 사용하는 구조를 동시에 적용한 경우에 제안하는 U-Net이 기존의 U-Net에 비해서 GoPro 영상을 사용한 motion blur의 경우 PSNR 성능을 최대 1.3dB 정도

그림. 4. Motion blur에 대한 deblurring 결과 비교 (GoPro 영상) ((a)~(d) 원영상 (확대한 부분 붉은 박스 표시), (e)~(i) deblurring 결과 1, (j)~(n) deblurring 결과 2, (o)~(s) deblurring 결과 3, (t)~(x) deblurring 결과 4, 각 deblurring 결과 영상에 대해서 원 영상, blur 영상, conventional U-Net으로 복원, proposed U-Net1으로 복원, proposed U-Net2로 복원 순서임)

Fig. 4. Deblurring results for motion blur

그림. 5. Gaussian blur에 대한 결과 비교 (MSCoCo test 영상과 Kodak test 영상) ((a)~(c) 원영상 (확대한 부분 붉은 박스 표시), (d)~(h) deblurring 결과 1, (i)~(m) deblurring 결과 2, (n)~(r) deblurring 결과 3, 각 deblurring 결과 영상에 대해서 원 영상, blur 영상, conventional U-Net으로 복원, proposed U-Net1으로 복원, proposed U-Net2로 복원 순서임)

Fig. 5. Deblurring results for Gaussian blur

향상시키고 Gaussian blur의 경우에도 최대 1dB 정도의 PSNR 성능 향상을 보이는 것을 확인할 수 있다. 그림 4와 그림 5에서 알 수 있는 것과 같이 제안하는 U-Net이 기존의 U-Net에 비해서 우수한 deblurring 결과를 보이는 것을 알 수 있다. 특히 영상의 세밀한 edge 부분에서 제안하는 U-Net이 좀 더 우수한 복원 결과를 보이는 것을 알 수 있다.

6. 결 론

본 논문에서는 deep learning을 이용한 image deblurring을 위하여 기존의 U-Net을 개선한 새로운 U-Net을 제안하였다. Blur kernel을 모르는 blind image deblurring은 blur kernel과 복원된 영상을 함께 구해야 하는 severely ill-posed problem이다. 본 논문에서는 short cut을 이용하여 U-Net의 contractive path와 expansive path의 구조를 개선함으로써 영상 복원 성능을 향상시켰다. 또한 U-Net의 입력 영상과 출력 영상 처리를 위한 전처리 블록과 후처리 블록을 추가함으로써 전체 복원 성능을 향상시켰다. 제안하는 구조의 성능을 평가하기 위해서 motion blur와 Gaussian blur로 손상된 영상에 대해서 deblurring 성능을 평가한 결과 기존의 U-Net에 비해서 PSNR과 SSIM 성능 면에서 의미있는 성능 향상을 보이는 것을 확인하였고 복원되는 영상의 화질도 향상됨을 입증하였다. 제안하는 U-Net은 deblurring 뿐만 아니라 denoising 등을 포함한 영상 복원 분야에도 활용될 수 있다.