2.1 위 내시경 데이터셋 제작

연구에 사용된 백색광 위 내시경 영상은 국립 경상대학교 병원의 소화기내과를 통해 수집하였다. 모든 영상은 내과 전문의의 진단과 조직 검사를 통해 검증함으로써 데이터의 신뢰도를 높였다. 또한, 모든 데이터는 환자의 동의 및 임상 심사 위원회의 승인을 받았다. 총 192명의 환자로부터 1,200장의 내시경 영상을 수집하였고 수집된 데이터의 구성은 표 1에 나타내었다.

비정상 이미지 중 병변은 조기 위암, 위염, 종양, 궤양, 용종 등이 포함되고 기타 병변에는 출혈, 황색종, 혈전이 포함된다. 이미지는 환자 당 최소 1장부터 최대 18장까지 수집되었고 평균적으로는 약 6장이 수집되었다. 이처럼 한 환자 당 여러 장의 이미지가 수집되기에 동일한 병변에 대해서도 비슷한 사진이 다소 포함될 수 있다. 따라서 한 환자로부터 수집한 이미지를 딥러닝 모델의 학습과 테스트에 임의로 분배한다면, 모델 성능 평가에 있어 신뢰성을 감소시킬 수 있는 요인이다. 본 연구에서는 이러한 경우를 방지하고자 이미지는 딥러닝 모델의 학습과 테스트에 환자 구성이 중복되지 않는 조건하에 무작위로 분배되었다. 결과적으로 비정상과 정상 분류에는 각 클래스 당 48명씩 분배되었고, 조기 위암과 조기 위암이 아닌 비정상의 분류에는 각 클래스 당 24명씩 분배되었다.

2.2 데이터 증대

딥러닝 모델 학습에서 많은 양의 데이터는 모델의 과적합을 방지하고, 좋은 품질의 데이터는 가중치의 수렴을 빠르게 만들어준다. 하지만 의료 데이터는 보호받아야 할 환자의 개인 정보이고 IRB의 승인을 받는 과정이 필수적이기에 다른 분야에 비해 데이터 수집에 많은 인력 및 시간이 소요된다. 따라서 본 연구에서는 이러한 점을 극복하고자 구글의 증대정책인 AutoAugment를 사용하여 데이터를 증대하였다. 연구에 사용된 AutoAugment의 증대정책 결정 과정은 다음과 같은 과정을 통해 결정된다. Recurrent Neural Network(RNN)을 Controller로 사용하고, 증대정책인 Strategy(S)를 자식 네트워크에 적용한 후 그에 대한 성능 R을 얻는다. 그 후 R을 Controller에 갱신시켜 업데이트된 증대정책을 얻는다. 결과적으로 이 과정을 반복함으로써 최적의 증대정책을 얻게 된다. AutoAugment에는 Cifar10, ImageNet, SVHN 등 3가지 데이터 셋에 대한 최적의 증대 정책을 제공한다. Cifar10은 32 x 32 크기의 비행기, 자동차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭 등 총 10개의 클래스로 구성된 데이터셋이다⁽¹⁰⁾. ImageNet은 140만 장 이상의 데이터가 1000개의 클래스로 구분되어있는 데이터셋이다⁽¹¹⁾. SVHN은 Google Street View에서 수집된 숫자 데이터셋이고 약 10만장의 이미지가 포함되어 있다⁽¹²⁾. 본 연구에서는 분류 클래스의 개수가 많지 않은 점을 고려하여 클래스 개수가 적은 Cifar10으로 증대를 진행하였다. Cifar10 증대정책에는 25개의 Sub-policy가 존재하고 Sub-policy에는 영상처리 증대기법과 적용강도 및 적용확률이 포함된다. 결과적으로 위 내시경 데이터셋에 Cifar10 증대정책을 적용하여 원본 대비 25배 된 데이터를 얻을 수 있었다.

2.3 이미지 선별

본 연구에서는 부족한 데이터셋의 보완 및 딥러닝 모델의 과적합을 방지하기 위해 Cifar10 증대정책을 통해 원본 데이터셋을 25배 증대하였다. 하지만 Cifar10 데이터셋에 최적화된 증대정책을 사용하였기 때문에 증대된 이미지는 병변의 특징이 왜곡되거나 변형되었을 수 있다. 따라서 본 연구에서는 Cifar10으로 증대된 데이터셋을 원본 데이터셋으로 학습한 딥러닝 모델에 입력으로 넣어주고 모델의 분류 결과를 기준으로 선별 과정을 거쳤다.

그림 2는 증대 이미지 선별 과정을 보여준다. 분류를 위한 임곗값은 0.9로 설정하여 병변의 특징을 최대한 보존한 증대 이미지만을 수집하고자 하였다. 표 2에 네트워크별 선별된 이미지 장 수를 나타내었다. 기존 연구를 보면 각 질병에 대한 데이터 수가 충분한 경우 병변별 특징 학습이 정확히 이루어질 수 있으므로 다중분류를 수행하였다⁽¹³⁾. 하지만 데이터가 부족한 연구에서는 이진분류를 여러번 수행하는 연구가 진행되기도 하였다⁽¹⁴⁾. 본 연구의 데이터는 조기 위암을 제외한 다른 병변의 데이터 양이 부족하기에 두가지 Task를 통해 조기 위암을 분류한다. Task1은 비정상과 정상의 분류를 진행하고 Task2는 Task1에 포함된 비정상 중 조기 위암과 조기 위암이 아닌 비정상 이미지 분류를 수행한다. 결과적으로 EfficientNetV2-L는 Task1에서는 1,869장이 제거되었고 Task2에서는 318장이 제거되었다. Xception은 Task1에서 4,730장이 제거되었고 Task2에서 1,187장 제거되었다.

그림. 2. 학습 데이터셋 제작 과정

Fig. 2. Process of generating the train dataset

2.4 EfficientNetV2

본 연구에서는 위 내시경 이미지에서 병변의 특징을 학습하고 진단하기 위해 Convolution Neural Network(CNN) 구조의 딥러닝 네트워크를 사용하였다. CNN은 컨볼루션 연산과 풀링 등의 과정을 거치면서 이미지 특징을 효율적으로 학습하기에 결과적으로 이미지 분류에서 높은 성능을 보인다. 이러한 딥러닝 네트워크를 제한된 하드웨어 상황이나 여러 분야에서 사용하기 위해서는 높은 성능을 유지하면서 더 적은 파라미터로 최대한의 효율을 내는 개발이 요구된다. 대부분의 연구에서는 이론적인 지식을 바탕으로 연구자가 직접 구조를 설계하는 방식으로 진행되었다. 하지만 네트워크의 구조를 인공지능을 통해 설계하는 Neural Architecture Search(NAS)가 연구되면서 적은 파라미터로 높은 성능을 가지는 네트워크가 등장하였다⁽¹⁵⁾. 그 중 EfficientNetV2는 EfficientNetV1을 백본으로 선택하고 Training- Aware NAS를 통해 구조가 결정되었다⁽¹⁶⁾.

그림 3은 EfficientNetV2에 사용된 레이어의 구조를 보여준다. MBConv와 Fused-MBConv 구조가 사용되었고 두 구조의 차이는 다음과 같다. MBConv은 Depthwise Seperable Convolution 연산을 수행하는 반면, Fused-MBConv에서는 일반 Convoluton으로 변경함으로써 초기 레이어에서의 연산속도를 증가시켰다. 또한, SENet에서 제안한 SE Block(Squeeze-and-Excitation Block)을 사용하여 피쳐맵의 채널간 중요도를 학습에 활용하였다⁽¹⁷⁾. 추가로 EfficientNetV1은 채널 수, 레이어 수, 이미지 해상도를 동시에 키우는 Compound scaling을 제안하였다. EfficientNetV2에서도 Compound scaling을 적용하지만 이미지 해상도를 최대 480으로 제한하고 Non-uniform 하게 Scaling하여 최종적으로 S, M, L 세 가지 크기의 모델을 설계하였다. 본 연구에서는 가장 큰 모델인 EfficientNetV2-L로 이미지 학습 및 테스트를 진행하였다.

그림. 3. EfficientNetV2 레이어 구조

Fig. 3. Structure of EfficientNetV2 layer

2.5 Xception

Xception은 Cross-channel correlations와 Spatial correlation를 완벽히 분리하고자 설계된 딥러닝 네트워크이다⁽¹⁸⁾. 이를 위해 Depthwise Separable Convolution를 주로 사용하는 구조로 모델이 설계되었다.

따라서 초기 레이어에서 Depthwise Separable Convolution을 사용하지 않은 EfficientNetV2와의 성능 비교를 위해 Xception을 활용하였다. Xception은 Pointwise Convolution을 먼저 수행하여 출력 채널 개수를 조절한 후 Depthwise Convolution을 수행한다. 이 과정에서 일반 컨볼루션보다 연산량을 감소시켜 적은 연산량으로도 특징 추출이 효율적으로 이루어졌다. 또한, 비선형 함수는 딥러닝 모델의 표현성을 높이기 위해 사용되지만 오히려 Depthwise 연산처럼 채널이 얕은 특징 맵에서는 정보의 손실이 발생할 수 있어 성능을 감소하게 하는 원인이 될 수 있다. 따라서 Xception은 Pointwise 연산과 Depthwise 연산 사이 비선형 함수를 제거함으로써 수렴 속도와 성능 향상을 이루어냈다. 추가로 ResNet의 Skip Connection과 Batch normalization을 적용함으로써 그레디언트 손실을 해결하여 더 깊은 층의 구조가 설계되었다. 그림 4는 Xception 레이어의 구조를 보여준다.

그림. 4. Xception 레이어 구조

Fig. 4. Structure of Xception layer