Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Main Menu

Journal Search

[

Research article

]

The Transactions of the Korean Institute of Electrical Engineers

KIEE Vol. 72, No. 11, p.1399-1405

ISSN (print) :

1975-8359

ISSN (online) :

2287-4364

Received : 3 October 2023Revised : 24 October 2023Accepted : 26 October 2023

DOI :

http://doi.org/10.5370/KIEE.2023.72.11.1399

A Study on Improving the Performance of Gastroscopy Image Classification CADx System with SAM Optimizer

SAM Optimizer를 통한 위내시경 이미지 분류 CADx의 성능 향상 연구

박재범 (Jae-beom Park) ¹iD 김민준 (Min-jun Kim) ²iD 원형식 (Hyeong-sik Won) ²iD 조현진 (Hyun Chin Cho) ³iD 조현종 (Hyun-chong Cho) ^†iD

(Dept. of Interdisciplinary Graduate Program for BIT Medical Convergence, Kangwon National University, Korea.)
(Dept. of Electronics Engineering Kangwon National University, Korea.)
(Dept. of Internal Medicine & Institute of Health Sciences, Gyeongsang National University School of Medicine and Gyeongsang National University Hospital, Korea.)

^†Corresponding Author : Dept. of Electronics Engineering and Interdisciplinary Graduate Program for BIT Medical Convergence, Kangwon National University, Korea.

E-mail : hyuncho@kangwon.ac.kr

License :

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.(www.kiee.or.kr).

Abstract

Gastric cancer has a high incidence in East Asians, and the risk increases over time. Often, gastric cancer presents no early symptoms, leading to missed treatments. Consequently, in Korea, support is provided to individuals over 40 years of age who undergo gastroscopy. However, as the number of gastroscopy patients increases, doctors' fatigue rises, becoming a factor that can lead to misdiagnosis. Therefore, this paper proposes a CADx (Computer-Aided Diagnosis) system for gastric lesion classification based on ConvNeXt and ViT (Vision Transformer), applying the SAM (Sharpness Aware Minimization) optimizer. ConvNeXt is a network that achieves high performance by incorporating techniques from Swin Transformer and the latest advancements, with ResNet-50 as the base model. ViT divides the image into smaller patches and uses these patches as input to the Transformer. This allows for learning relationships between patches and ultimately leads to image classification. To address the issue of limited data in medical images, the gastric abnormal dataset was augmented using the AutoAugment policy. The SAM Optimizer is an optimization technique that detects and minimizes the "sharpness" of the loss function that may occur during the deep learning model's learning process. Using this method, the sensitivity of classifying abnormal and normal gastroscopy images in ConvNeXt increased from 0.7167 to 0.9583 for the original dataset and from 0.7583 to 0.9833 for the augmented dataset. ViT exhibited a significant decrease from 0.9500 to 0.7750 in the original dataset but increased from 0.9500 to 0.9583 in the augmented dataset. This demonstrates that the SAM Optimizer can effectively enhance CADx performance.

Key words

CADx, Gastric Diagnosis, Classification, Convolution Neural Network, Deep learning, Vision Transformer

1. 서 론

2020년 국제암연구소 IARC(International Agency for Research on Cancer)에서 발표한 보고서에 따르면 위암은 특히 한국, 중국, 일본 등 동아시아인에게 발병률이 높은 질병이다⁽¹⁾. 동아시아 지역은 인구 10만 명당 32.5명으로 2위인 동유럽 발병률인 17.4명보다 15.1명 더 높은 수치를 가지고 있다. 다음 그림 1은 위암 발병률이 가장 높은 상위 5개 지역의 발병률을 나타내었다. 위암 초기에는 증상을 보이지 않아 조기 발견이 힘들다. 하지만 증상을 보이고 추후 발견 시 이미 전이된 진행성 위암일 경우가 매우 높다. 조기 위암과 진행성 위암은 생존율에 큰 차이를 보인다.

그림. 1. 위암 발병률이 가장 높은 5개 지역의 발병률

Fig. 1. Incidence rates in the five regions with the highest incidence of gastric cancer

2023년 대한민국 보건복지부에서 발표한 2020년 국가암등록 사업보고서에 따르면 병변이 국한된 1기 환자의 5년 생존율은 97.5%로 상당히 높으나 2-3기 국소 병변 환자의 5년 생존율은 62.3%, 원격전이가 있는 말기 위암 환자의 생존율은 6.7%로 급격히 감소한다⁽²⁾. 따라서 대한민국 보건복지부에서는 위암 예방과 조기 발견을 위해 40세 이상 국민을 대상으로 2년마다 위내시경 검사를 받을 수 있도록 국가암검진 프로그램을 운영하고 있다. 국립암센터의 위암 검진 수검률에 따르면 2004년 약 40%에 불과하던 수검률 추이가 꾸준히 상승하여 2012년에 74.2%를 달성하고 꾸준히 70% 이상을 유지 중이다⁽³⁾. 하지만 대한의학회의 2021년 분과전문의 제도 연보에 따르면 신규 소화기내과 분과전문의 수는 2012년 200명 이후 꾸준히 감소하여 2021년에는 120명으로 최저치를 달성하였다⁽⁴⁾. 이는 내시경을 검사할 전문의 수가 부족해지고, 전문의가 부담해야 할 수검자 수는 증가함을 의미한다. 한 내시경 전문의가 부담해야 할 수검자 수가 증가할수록 피로도는 증가하고, 이는 오진과 같은 치명적인 실수를 유발할 수 있는 요인이 된다. 이를 해결하고자 위내시경 단계에서 일정하고 정확도 높은 진단으로 의사에게 2차 의견을 제시하는 딥러닝 기반 위 병변 위내시경 이미지 분류 CADx(Computer-Aided Diagnosis, 컴퓨터 보조 진단 시스템)를 위한 개발이 활발히 연구되고 있다. 위내시경 이미지를 통한 위장관 질환 분류 모델 CADx 시스템 개발 연구가 수행되었다⁽⁵⁾. 기존 연구를 통해 CADx 시스템이 의사에게 일관적인 2차 의견을 제시하고 안정적인 성능을 보여줄 수 있음을 보였다. D-CNN(Deep Convolution Neural Network, 심층 컨볼루션 신경망)을 활용하여 위 질환을 분류하는 연구도 진행되었다⁽⁶⁾. InceptionV3 및 DenseNet-201를 통해 특징 벡터를 추출하고 Binary dragonfly 알고리즘을 적용하여 정확도 99.8%의 성능을 보였다. 위 질환뿐만 아니라 조기 위암을 진단하는 연구 또한 수행되었다⁽⁷⁾. ResNet-50를 활용하여 조기 위암 분류 정확도 98.7%를 달성하였다. 또한 위 병변 탐지에 관한 연구도 수행되었다⁽⁸⁾. 엑스레이(X-ray) 이미지를 통해 악성 영역을 검출하기 위하여 Faster R-CNN 모델을 사용하여 재현율 92.3%를 달성하였다. 조기 위암(EGC) 및 진행성 위암(AGC) 병변을 분할 하는 연구 또한 진행되었다⁽⁹⁾. U-Net을 통해 조기 위암의 Dice 계수는 0.555, 진행성 위암의 Dice 계수는 0.716을 달성하였다. 전반적으로 기존 연구에서는 타 분야에 비해 데이터 수집에 장기간이 소요되고 작은 데이터셋을 구성함을 확인할 수 있다. 이러한 점을 해결하고자 데이터 증대를 통해 성능을 향상한 연구가 진행되었다⁽¹⁰⁾. 기존 연구에서는 이미지를 회전, 이동, 절단, 줌 및 뒤집기를 포함한 아홉 가지 유형의 증대기법을 적용하였다. 그 결과 증대기법을 사용하지 않은 네트워크보다 AUC가 1.5% 향상하는 결과를 얻었다. 데이터 증대뿐만 아니라 전이 학습을 함께 적용하여 위내시경을 통한 위장 질환을 분류하는 연구도 수행되었다⁽¹¹⁾. 상하좌우 이동, 확대/축소, 밝기 조정, 상하 반전 등을 활용한 데이터 증대 방식과 전이 학습을 통해 VGGNet은 10.61%, InceptionNet은 11.8%, ResNet은 14.99%의 성능 개선을 보였다.

기존 연구를 통해 알 수 있듯이 의료 데이터는 환자의 동의 와 IRB(Institutional Review Board, 기관 검토 위원회)의 승인이 필수적이어서 수집 기간이 오래 걸리고 작은 데이터셋이 주로 구성된다. 이러한 데이터셋은 CADx의 성능을 감소시키는 요인이 될 수 있다. 이를 해결하기 위하여 Google에서 개발한 AutoAugment 증대정책을 적용하였다. 또한 본 연구에서는 SAM(Sharpness Aware Minimization) 최적화 알고리즘을 적용한 CNN 기반의 ConvNeXt와 트랜스포머 기반의 ViT(Vision Transformer)를 적용하였다. 이를 통해 원본 데이터셋과 증대 데이터셋의 학습 결과를 각각 비교함으로써 비정상 위 병변 분류 컴퓨터 보조 진단 시스템의 성능을 향상하고자 한다.

2. 학습 데이터

본 연구에서는 경상국립대학교병원의 소화기내과를 통해 수집한 비정상 및 정상 백색광 위내시경 이미지를 사용하였다. 본 연구에 사용된 모든 데이터셋은 환자 개인의 동의와 IRB의 승인을 받고 수집되었다. 또한 조직 검사 및 전문의의 2차 검증을 통해 데이터셋의 신뢰도를 향상하였다.

2.1 데이터셋 구성

본 연구에 사용된 데이터셋은 총 96명의 환자로부터 비정상 이미지 300장과 정상 이미지 300장을 수집하여 총 600장을 구성하였다. 위내시경 이미지는 한 환자로부터 여러 장이 수집될 가능성이 있다. 한 환자의 이미지가 훈련 데이터셋과 테스트 데이터셋에 들어가면 충분한 학습이 되지 않고, 과적합이 발생할 가능성이 높기에 환자 구성이 중요하다. 따라서 본 연구에서는 훈련 및 검증, 테스트 데이터셋에 환자가 겹치지 않도록 무작위 분배하였다. 본 연구에 적용한 환자 수 및 이미지 수 구성은 표 1에 나타내었다.

표 1. 비정상 위내시경 이미지 데이터셋 구성(단위 : 장)

Table 1. Construction of abnormal gastroscopy image dataset

	Type		Number
	Type		Train	Valid	Test
patients	Normal		28	10	10
	Abnormal	Gastritis	9	5	3
		Ulcer	7	1	1
		Polyp	2	2	2
		Others	10	2	4
Images	Normal		180	60	60
	Abnormal	Gastritis	77	40	23
		Ulcer	51	6	4
		Polyp	8	7	6
		Others	44	7	27

2.2 데이터 증대

위 병변은 증상이 다양한 만큼 여러 특징을 포함해야 한다. 이러한 특징은 딥러닝 학습에 있어 매우 중요한 요소이며 위 병변 이미지가 부족할 때 과적합이나 학습이 충분히 되지 않을 가능성이 매우 높다. 위내시경 이미지 데이터셋은 의료 영상이므로 환자 개인정보보호를 위해 환자의 동의 및 익명화를 필요로 한다. 그렇기에 수집에 오랜 기간이 소요되고, 다른 분야의 데이터셋보다 작은 데이터셋이 구성된다. 이러한 의료 영상 부족 문제를 해결하고자 본 연구에서는 AutoAugment를 적용하였다⁽¹²⁾. AutoAugment는 구글에서 제안한 증대정책으로 여러 데이터셋에 대한 최적의 증대정책을 제공한다. AutoAugment는 25개의 하위 정책으로 구성되며 각 하위 정책은 Shear, Translate, Auto Contrast, Equalize 등 16가지 영상처리 방식 중 2가지와 각 방식의 적용 확률 10단계, 적용 강도 11단계로 구성된다. 이를 통해 사전 학습된 모델을 통해 정해진 증대정책을 위 병변 이미지에 적용하여 원본 데이터셋의 25배를 증대하여 본 연구에 사용하였다. AutoAugment는 Cifar10, ImageNet, 그리고 SVHN 세 가지 주요 데이터셋에 대해 특화된 이미지 증대정책을 제시한다. Cifar10 데이터셋은 32x32 픽셀 크기의 이미지로, 총 10개의 클래스가 있다⁽¹³⁾. 반면, ImageNet은 1,000개 이상의 클래스와 함께 140만 개가 넘는 이미지를 포함하고 있다⁽¹⁴⁾. SVHN은 Google Street View에서 추출한 숫자 이미지로, 대략 10만 개의 이미지로 이루어져 있다⁽¹⁵⁾. 본 연구에서는 이 중에서도 가장 방대한 이미지와 클래스를 가진 ImageNet의 증대정책을 활용하였다.

3. 딥러닝 모델과 최적화 알고리즘

3.1 ConvNeXt

ViT(Vision Transformer)는 2020년 등장해 기존 CNN 기반 모델보다 높은 성능을 보여주는 모델이다⁽¹⁶⁾. 하지만 Transformer는 입력의 위치가 변하면 출력의 위치가 변한 정보를 유지하기 힘들어 Inductive bias가 CNN 기반 모델에 비해 상대적으로 부족한 모습을 보였다. ConvNeXt는 Inductive bias를 위해 CNN이 중요하다는 점을 활용하였다⁽¹⁷⁾. Resnet-50을 최신화 기법을 적용하여 성능을 올리고자 하였다⁽¹⁸⁾. Mixup, Cutmix, Random Augment와 같은 데이터 증강 기법만 아니라 Stochastic depth, label smoothing과 같은 기법도 적용하였다. 또한 Swin transformer의 구조를 활용하여 Stage마다 블록의 개수를 3:4:6:3에서 3:3:9:3으로 변환하고 Stem 부분에서도 성능을 향상하기 위해 ViT의 Patchify layer의 형태인 4x4 Convolution, 4 stride로 변경하였다. 또한 ResNeXt의 ResNeXt-ify를 적용하였다. 256차원 입력을 총 32 path로 나누고 채널 수를 4로 줄인 후 다시 256채널로 키워 모든 path를 합치고 Depthwise separable convolution을 추가로 배치하였다. 이를 통해 연산량은 줄이고 성능은 향상하는 결과를 달성하였다. 다음 그림 2는 ResNeXt-ify의 자세한 구조를 나타내었다.

그림. 2. ConvNeXt의 ResNeXt-ify의 상세 구조

Fig. 2. Detailed structure of ResNeXt-ify by ConvNeXt

활성화 함수는 신경망의 각 노드에서 비선형을 추가한다. 트랜스포머 구조에는 모델의 복잡성을 줄이고 계산 효율성을 높이고자 일반 CNN모델보다 더 적은 활성화 함수를 사용한다. 이를 ConvNeXt에 적용하고자 1x1 Convolution layer를 제외하고 남은 레이어에서 활성화 함수를 제거하였다. 또한 배치 정규화 수를 줄이고 레이어 정규화를 추가하여 성능을 향상하고 일반화 성능을 달성할 수 있도록 하였다. 본 연구에서는 21,000개의 클래스와 1,000만 장 이상의 이미지로 구성된 ImageNet21k 데이터셋을 적용하여 사전 훈련된 ConvNeXt-B 모델을 사용하였다.

3.2 Title

트랜스포머 구조는 자연어 처리 분야에서 뛰어난 성능으로 성공을 거뒀다. 트랜스포머는 단어나 문장의 관계를 파악할 수 있게 해주는 구조로 이를 통해 문장의 문맥을 이해할 수 있다. 이러한 점을 응용하여 트랜스포머에 Vision task를 접목하려는 시도가 수행되었다. 그 결과로 ViT(Vision Transformer)가 등장하였다. ViT는 기존의 CNN 모델과는 다르게 이미지를 패치 단위로 나누어 트랜스포머의 입력으로 사용한다. 각 패치는 이미지의 일부분을 나타내며, 이 패치들 사이의 관계를 트랜스포머가 학습하게 된다. 다음 그림 3은 ViT의 전체적인 흐름을 나타내었다.

그림. 3. ViT 아키텍쳐 세부 구조

Fig. 3. ViT architecture detailed structure

ViT는 패치 임베딩(Patch Embedding)을 통하여 이미지를 고정된 크기의 패치로 나누고 이를 1차원 벡터로 변환한 다음 위치 임베딩(Position Embedding)으로 각 패치에 위치 정보를 추가한다. 변환된 1차원 입력 벡터는 트랜스포머 인코더에서 Feed- forward 신경망과 Multi-head Self-Attention을 통해 이미지의 복잡한 패턴과 정보를 추출한다. 마지막으로 MLP(Multi Layer Perceptron, 다층 퍼셉트론) Head에서 입력 이미지의 클래스를 분류하는 작업을 수행한다. 본 연구에서는 ConvNeXt 모델과 비교하기 위하여 21,000개의 클래스와 1,000만 장 이상 이미지로 구성된 ImageNet21k로 사전 훈련된 ViT-B 모델을 사용하였다.

3.3 Title

현재 많은 딥러닝 모델의 훈련 손실의 그래프는 복잡하고 날카로운 형태를 가진다. 전역 최소 손실을 찾기 위해 일반화가 필수적인데, SAM(Sharpness Aware Minimization) 최적화 알고리즘은 손실 값을 낮추고 날카로운 형태 또한 최소화함으로써 일반화를 개선하였다⁽¹⁹⁾. SAM 최적화 알고리즘을 순차적으로 표현하면 다음 식과 같다. $W(t)$는 현재 가중치이며, $\nabla_{W}L(W_{t},\:X,\:Y)$는 $W(t)$에서의 손실 함수 $L$에 대한 기울기이다. $X$ 및 $Y$는 입력 데이터와 해당 레이블이다. $\rho$는 교란의 크기를 조절하는 하이퍼파라미터, $\eta$는 학습률(LR, Learning Rate)이다.

(1)

$W_{a d v}=W_t+\rho \cdot \frac{\nabla_W L\left(W_t, X, Y\right)}{|| \nabla_W L\left(W_t, X, Y\right)||_2}$

(2)

$g =\nabla_{w}L(W_{adv},\:X,\:Y)$

(3)

$W_{t+1}=W_{t}-\eta g$

$W(t)$에서 손실이 최대화되도록 하는 교란(perturbation)을 찾는다. 이 교란을 적용한 후의 가중치를 $W_{adv}$라고 한다. 이후 $W_{adv}$에서 손실이 최소화되도록 하는 기울기를 계산 후 원래 가중치 $W(t)$에서 경사 하강법을 시행하여 가중치를 업데이트한다. 이러한 절차를 통해 SAM은 훈련 중에 모델의 가중치에 교란을 주어 손실의 날카로운 부분을 인식하고 이를 최소화한다.

4. 연구결과

본 연구는 ConvNeXt와 ViT에 SAM 최적화 알고리즘을 적용하여 비정상과 정상 위내시경 이미지를 분류하고자 하였다. 학습은 과적합을 방지하고자 학습 및 검증 손실값이 더 이상의 수렴을 보이지 않을 때 종료하였다. 또한 성능을 향상하고자 증대정책인 AutoAugment를 적용하여 학습 데이터를 25배 증대하고 원본 데이터셋을 더하였다. 원본 데이터셋과 증대한 데이터셋의 학습 데이터를 표 2에 자세히 나타내었다.

표 2. 위내시경 이미지 학습 원본 및 증대 데이터셋 구성(단위 : 장)

Table 2. Constructing original and augmented gastroscopy image learning dataset

Type	Number of Training images
Type	Original	Augment
ABN	180	4,680
NOR	180	4,680

이를 통해 각 모델이 비정상과 정상 이미지의 미세한 변화와 다양한 패턴을 학습하여 과적합을 방지하고 CADx의 성능을 향상할 수 있도록 하였다.

학습된 모델의 성능 평가를 비교하기 위해 모델마다 원본 데이터셋과 증대 데이터셋을 적용하여 테스트를 진행하였다. 분류 성능으로는 정밀도(Precision), 민감도(Sensitivity), F1-score, 정확도(Accuracy)를 평가지표로 사용하였다. 정밀도는 모델이 분류한 비정상 이미지 중 실제 비정상 이미지인 경우의 비율이다. 민감도는 전체 비정상 클래스 중 모델이 비정상 클래스 분류에 성공한 비율을 의미한다. F1-score는 정밀도와 민감도의 조화평균으로 편향된 평가를 방지한다. 정확도는 전체 이미지 중 모델이 정확하게 비정상과 정상을 분류한 비율을 의미한다. 표 3은 원본 데이터셋 및 증대한 데이터셋으로 학습된 ConvNeXt 모델과 SAM 최적화 알고리즘을 적용한 모델의 비정상과 정상 테스트 이미지 분류 결과이다.

표 3. ConvNeXt 모델의 세부 분류 성능

Table 3. Detailed classification performance of ConvNeXt modelv

Model	Type	Abnormal vs Normal
Model	Type	Original	AutoAugment
ConvNeXt -Base	Precision	0.7770	0.7756
	Sensitivity	0.7167	0.7583
	F1-score	0.7456	0.7668
	Accuracy	0.7167	0.7583
	Precision	0.9585	0.9833
ConvNeXt -Base (SAM Optimizer)	Precision	0.9585	0.9833
	Sensitivity	0.9583	0.9833
	F1-score	0.9584	0.9833
	Accuracy	0.9583	0.9833

모든 평가지표를 비교했을 때, ConvNeXt에 SAM을 적용하였을 경우 매우 큰 성능 차이를 보였다. 이는 의료 영상을 통해 개발한 CADx의 평가지표는 정확도보다 민감도가 더 중요한 의미를 내포한다. 의료 데이터는 클래스마다 환자의 분포가 달라 불균형한 데이터셋이 형성될 수 있으므로 정확도만으로 평가하면 신뢰도가 감소한다. 실제로는 비정상이나 정상으로 분류할 경우, 환자의 위 병변의 발견이 늦어 치료 시기를 놓칠 수 있다. 따라서 민감도는 중요한 평가지표로 사용된다. 하지만 본 연구에서는 데이터셋의 각 클래스 장 수가 동일하므로 민감도와 정확도가 동일한 모습을 보여준다. SAM을 적용하지 않은 ConvNeXt의 민감도를 보면 원본 데이터셋으로 학습하였을 때는 0.7167을 달성하였고 증대 데이터셋으로 학습하였을 때 0.7583을 달성하여 원본 데이터셋 대비 4.16%의 성능 향상을 보였다. 반면에 Original 모델에 SAM 최적화 알고리즘을 적용하였을 경우, 0.9583에서 0.9833으로 SAM을 적용하지 않은 ConvNeXt보다 성능 향상 폭 2.5%로 원본 데이터셋 대비 향상폭은 적지만 Original 모델 대비 24.16%, 22.5%의 성능 향상폭을 보였다. 다음 표 4는 ViT-Base 모델의 세부 분류 성능을 나타내었다.

표 4. ViT 모델의 세부 분류 성능

Table 4. Detailed classification performance of ViT model

Model	Type	Abnormal vs Normal
Model	Type	Original	AutoAugment
ViT -Base	Precision	0.9520	0.9520
	Sensitivity	0.9500	0.9500
	F1-score	0.9510	0.9510
	Accuracy	0.9500	0.9500
ViT-Base (SAM Optimizer)	Precision	0.7769	0.9595
	Sensitivity	0.7750	0.9583
	F1-score	0.7760	0.9589
	Accuracy	0.7750	0.9583

SAM을 적용하지 않은 ViT의 Sensitivity를 확인하면 원본 데이터셋으로 학습하였을 때 0.9500을 달성하였으며 증대 데이터셋으로 학습하였을 때 또한 원본 데이터셋과 동일한 성능이 나왔다. SAM을 적용한 ViT의 경우 원본 데이터셋으로 학습하였을 때는 0.7750으로 보다 낮은 성능을 보여주었지만 증대 데이터셋으로 학습하였을 때 0.9583으로 원본 데이터셋 대비 18.33% 성능 향상폭을 보였다. 결과적으로, 증대 데이터셋을 사용하고 SAM을 적용한 모델이 더 우수한 성능을 가짐을 알 수 있다.

5. 결 론

본 연구에서는 경상국립대학교병원 소화기내과에서 수집한 비정상 및 정상 위내시경 이미지 데이터셋을 사용하여 비정상과 정상 클래스 이미지를 분류하는 CADx 시스템을 SAM 최적화 알고리즘을 적용하여 성능을 향상하는 연구를 진행하였다. 본 연구에 사용된 데이터셋은 의료 영상으로 수집이 어려워 이에 따라 작은 데이터셋이 구성되었다. 이는 학습해야 하는 다양한 병변의 특징이 부족하여 과적합을 유발하고 성능을 하락할 수 있다. 이러한 점을 해결하기 위해 구글에서 제안한 AutoAugment를 활용하여 원본 데이터셋을 증대하였다. 이를 통해 충분한 패턴과 병변의 특징을 학습에 적용하였다.

이미지 분류 모델인 ConvNeXt와 ViT에 SAM 최적화 알고리즘을 적용하여 원본 데이터셋과 증대 데이터셋으로 학습한 분류 모델의 성능을 각각 비교하였다. 원본 데이터셋에 대한 ConvNeXt와 ViT에 SAM 최적화 알고리즘을 적용하였을 때 Original 모델에 비해 ConvNeXt는 24.16% 높은 성능을 보였지만 ViT모델에서는 17.5% 낮은 성능을 보였다. 하지만 ImageNet 증대정책을 적용한 AutoAugment 증대 데이터셋에 대한 ConvNeXt와 ViT에 SAM 최적화 알고리즘을 적용한 모델의 민감도는 Original 모델과 비교하여 ConvNeXt는 22.5% 높은 성능을 보였고, ViT 또한 0.83% 높은 성능을 보였다. 이를 통해 SAM 최적화 알고리즘이 CADx 성능을 충분히 향상할 수 있다는 사실을 입증하였다.

본 연구에서는 SAM 최적화 알고리즘을 적용한 CNN 기반의 모델과 트랜스포머 기반의 모델을 통해 CADx의 성능을 향상하고자 하였다. 하지만 SAM Optimizer를 적용함에 있어 학습률 및 Rho 값과 같은 하이퍼파라미터는 별도로 조정하지 않아 완벽히 SAM 최적화 알고리즘의 성능을 끌어냈다고 보기에 어려운 점이 존재한다. 추후 연구에서는 이러한 점을 개선하기 위하여 하이퍼파라미터 미세조정을 통해 SAM 최적화 알고리즘의 성능을 더욱 향상할 수 있는 연구를 진행할 예정이다. 또한, 기본 최적화 알고리즘으로 SGD(Stochastic Gradient Descent)뿐만 아니라 최신 최적화 알고리즘을 추가로 적용하여 더 빠르게 손실값을 수렴할 수 있도록 추가 연구를 진행할 예정이다. 또한 ImageNet 기반의 증대정책을 적용한 AutoAugment는 비정상 및 정상 위내시경 이미지에 적합한 증대정책이라고 보기에 힘들다. 이러한 점을 바탕으로 추후 연구에서는 과적합을 막고 다양한 위 병변의 패턴을 학습할 수 있는 위내시경 이미지에 맞는 데이터 증대정책을 개발하는 연구를 수행 예정이다.

Acknowledgements

This research was supported by Basic Science Research Program through the National Research Foundation of Korea(NRF) funded by the Ministry of Education (No. 2022R1I1A3053872) and was supported by "Regional Innovation Strategy (RIS)" through the National Research Foundation of Korea(NRF) funded by the Ministry of Education(MOE)(2022RIS-005).

References

F. Bray, J. Ferlay, I. Soerjomataram, R. L. Siegel, L. A. Torre, A. Jemal, 2018, Global Cancer Statistics 2018: GLOBOCAN Estimates of Incidence and Mortality Worldwide for 36 Cancers in 185 Countries, Int. J. Cancer, Vol. 144, pp. 1941-1953

Ministry of Health and Welfare, 2023, Annual report of the National Cancer Registration Program 2020, Ministry of Health and Welfare

Korea National Cancer Center, 2021, Cancer trend report through data,

Korean Academy of Medical Sciences, 2021, Annual Report of Medical Subspecialty in Korea 2021,

O. Attallah, M. Sharkas, 2021, GASTRO-CADx: a three stages framework for diagnosing gastrointestinal diseases, PeerJ Computer Science, Vol. 7, pp. e423-

F. Mohammad, M. Al-Razgan, 2022, Deep feature fusion and optimization-based approach for stomach disease classification, Sensors, Vol. 22, No. 7, pp. 2801-

H. Ueyama, 2021, Application of Artificial Intelligence with a Convolutional Neural Network for Early Gastric Cancer Diagnosis Based on Magnifying Endoscopy with Narrow‐Band Imaging, Journal of Gastroenterology and Hepatology, Vol. 36, No. 2, pp. 482-489

H. Okamoto, Q. Cap, T. Nomura, H. Iyatomi, J. Hashimoto, 2019, Stochastic Gastric Image Augmentation for Cancer Detection from X-ray Images, Proceedings of the 2019 IEEE International Conference on Big Data, pp. 4858-4863

A. Teramoto, T. Shibata, H. Yamada, Y. Hirooka, K. Saito, H. Fujita, 2022, Detection and characterization of gastric cancer using a cascade deep learning model in endoscopic images, Diagnostics, Vol. 12, No. 8, pp. 1996-

Y. Sakai, S. Takemoto, K. Hori, M. Nishimura, H. Ikematsu, T. Yano, H. Yokota, 2018, Automatic detection of early gastric cancer in endoscopic images using a transferring convolutional neural network, Proceedings of the 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp. 4138-4141

M. Kang, S. Kang, K. Oh, 2020, Verification of the Effect of Data Augmentation and Transfer Learning on the Performance Improvement of CNN-Based Gastroscope Classification/ Segmentation, Proceedings of the Korea Information Science Society Conference, pp. 593-595

E.D. Cubuk, B. Zoph, D. Mane, V. Vasudevan, Q.V. Le, 2019, Autoaugment: Learning augmentation strategies from data. Proc, In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 113-123

A. Krizhevsky, 2009, Learning multiple layers of features from tiny images, Technical report

J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, L. Fei-Fei, 2009, Imagenet: A large-scale hierarchical image database, IEEE Conference on Computer Vision and Pattern Recognition, pp. 248-255

Y. Netzer, T. Wang, A. Coates, A. Bissacco, B. Wu, A. Y. Ng, 2011, Reading Digits in Natural Images with Unsupervised Feature Learning, Neural Information Processing Systems (NIPS)

A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, N. Houlsby, 2020, An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, arXiv preprint arXiv:2010.11929

Z. Liu, H. Mao, C.-Y. Wu, C. Feichtenhofer, T. Darrell, S. Xie, Mar. 2022, A ConvNet for the 2020s, In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 11976-11986

S. Xie, R. Girshick, P. Dollár, Z. Tu, K. He, 2017, Aggregated residual transformations for deep neural networks, In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1492-1500

P. Foret, A. Kleiner, H. Mobahi, B. Neyshabur, 2020, Sharpness-aware minimization for efficiently improving generalization, arXiv preprint arXiv:2010.01412

저자소개

박재범 (Jae-beom Park)

Jae-beom Park currently working toward B.S and M.S. degree in Interdisciplinary Graduate Program for BIT Medical Convergence from Kangwon National University, South Korea.

김민준 (Min-jun Kim)

Min-jun Kim currently working toward the B.S. degree in Electrical and Electronic Engineering from Kangwon National University, South Korea.

원형식(Hyeong-sik Won)

Hyeong-sik Won currently working toward the B.S. degree in Electrical and Electronic Engineering from Kangwon National University, South Korea.

조현진(Hyun Chin Cho)

She received the M.S. and Ph.D. degrees in Internal Medicine from Gyeongsang National University School of Medicine of Jinju, South Korea in 2008 and 2014, she was a Fellow at Samsung Medical Center, Sungkyunkwan University School of Medicine, Seoul, South Korea from 2009 to 2010.

During 2011-2015, she was a professor at Samsung Changwon Hospital, Sungkyunkwan University School of Medicine, Changwon, South Korea.

She is currently a professor at Gyeongsang National University School of Medicine and Gyeongsang National University Hospital, Jinju, Korea.

조현종 (Hyun-chong Cho)

Hyun-chong Cho received his M.S. and Ph.D. degrees in electrical and computer engineering from the University of Florida, USA, in 2009.

During 2010–2011, he was a Research Fellow at the University of Michigan, Ann Arbor, USA.

From 2012 to 2013, he was a Chief Research Engineer at LG Electronics, South Korea.

He is currently a Professor with the Department of Electronics Engineering and Interdisciplinary Graduate Program for BIT Medical, Kangwon National University, South Korea.

KIEEThe Transactions of
the Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Journal Search

Journal XML

Journal Information

SAM Optimizer를 통한 위내시경 이미지 분류 CADx의 성능 향상 연구

Abstract

Key words

1. 서 론

2. 학습 데이터

2.1 데이터셋 구성

2.2 데이터 증대

3. 딥러닝 모델과 최적화 알고리즘

3.1 ConvNeXt

3.2 Title

3.3 Title

(1)

(2)

(3)

4. 연구결과

5. 결 론

Acknowledgements

References

저자소개

박재범 (Jae-beom Park)

김민준 (Min-jun Kim)

원형식(Hyeong-sik Won)

조현진(Hyun Chin Cho)

조현종 (Hyun-chong Cho)

Article Information (continued)

Key words

KIEEThe Transactions ofthe Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Journal Search

Journal XML

Journal Information

SAM Optimizer를 통한 위내시경 이미지 분류 CADx의 성능 향상 연구

Abstract

Key words

1. 서 론

2. 학습 데이터

2.1 데이터셋 구성

2.2 데이터 증대

3. 딥러닝 모델과 최적화 알고리즘

3.1 ConvNeXt

3.2 Title

3.3 Title

(1)

(2)

(3)

4. 연구결과

5. 결 론

Acknowledgements

References

저자소개

박재범 (Jae-beom Park)

김민준 (Min-jun Kim)

원형식(Hyeong-sik Won)

조현진(Hyun Chin Cho)

조현종 (Hyun-chong Cho)

Article Information (continued)

Key words

KIEEThe Transactions of
the Korean Institute of Electrical Engineers