원혜연
(Hyeyeon Won)
1iD
김수복
(Subok Kim)
2iD
김은빈
(Eun Bin Kim)
2iD
이언석,
(Onseok Lee)
†iD
-
(Dept. of Medical IT Engineering, Soonchunhyang University, Korea.)
-
(Dept. of Software Convergence, Graduate School, Soonchunhyang University, Korea.)
Copyright © The Korean Institute of Electrical Engineers(KIEE)
Key words
Stroke, Synchrotron Radiation Imaging, Biomedical, CNN, Deep Learning
1. 서 론
뇌졸중(Stroke)은 뇌세포에 손상이 가해져 뇌에 국소적인 기능부전으로 신경학적 문제가 수반되는 질환이다. 뇌졸중은 대표적인 중추신경계(Central
Nervous System) 질환으로 의식장애, 편측마비, 언어장애 등의 증상이 발생하며, 발병 후 공통적으로 편측의 근력저하가 나타나는 편마비(hemiplegia)를
겪게 된다(1). 특히, 하지 근육은 자세와 보행 그리고 기립 상태의 균형을 조절하는 주축으로 뇌 손상에 따라 운동 및 감각 마비로 인한 기능 장애가 발생한다(2). 편마비 환자의 가장 중요한 재활 훈련 목표 중 하나는 독립적인 보행으로 원활한 걷기 능력을 위해 균형과 자세 조절 향상을 목적으로 설정하고 있다(3). 따라서, 뇌 손상에 따른 하지 근육의 손상 정도를 정확하게 파악하는 것은 효과적인 재활치료에 기여하는데 매우 중요한 요소이다.
기존의 근육 구조 분석 연구로는 생검(biopsy)이 있으나, 연조직으로 이루어진 근육은 손상에 위험이 있으므로 최소한의 비파괴적인 방법이 요구된다.
방법으로는 컴퓨터단층촬영(CT)과 자기공명영상(MRI) 등이 있으며, 이를 이용하여 근육 조직의 특성을 추정하는데 유용하다. 하지만, 위 방법은 세포
수준에서 근육의 조직 상태, 질병 진행 정도의 메커니즘 분석을 파악하기에는 어렵다(4). 한편, 의료영상분석에 용이한 방사광 이미징(Synchrotron Radiation Imaging, SRI) 기법을 이용한 분석이 활발하게 이루어지고
있는 추세이다. SRI는 세포에서 분자 단위 연구에 주로 사용되고 있으며, 모양과 구조 손상이 최소화된 상태에서 전자현미경 없이 고해상도의 내부 구조
영상을 얻을 수 있는 기술로 근육의 구조적 손상에 대한 분석이 가능하다(4).
기존의 영상 촬영 기법과 인공지능을 활용하여 근육 조직의 반자동/자동화를 위한 연구가 활발하게 진행되고 있다(5-6). 하지만, 침습적이고 상당한 샘플링 편향에 취약하다는 단점이 있다. 또한, 근 조직검사를 위해 질환이 의심되는 위치 선정에 있어서 가치가 있을 수
있지만, 패턴 인식의 형태로 유사한 질병을 구별하는 정도로 특정 범위 내에서만 연구가 가능하며, 질병 매커니즘 분석을 할 수 없다는 한계가 있다.
인공지능을 이용한 근육 조직 분석은 막대한 데이터와 정확한 메커니즘 분석이 요구된다. 즉, SRI 기법은 우수한 공간 분해능을 통해 세밀한 조직의
모습으로 수천 장의 이미지 획득이 가능하며, 딥러닝에 적용하였을 때, 근육의 섬유(fiber) 및 공간(space)의 정확한 분할과 분류가 가능하다.
따라서, 본 연구는 SRI 기술로 뇌졸중 모델의 근육을 검출하여 딥러닝을 기반으로 손상 정도를 분류하고자 한다. 또한, 분할된 손상 근육 영역의 분포
정도를 분석하여 결과를 보여주는 Graphical User Interface(GUI)를 구성하여, 뇌졸중 후 시간 경과에 따른 근육 조직의 결과를
직관적으로 보여줄 수 있는 시스템을 개발하고자 한다.
2. 본 론
2.1 데이터셋(Dataset)
2.1.1 동물 모델
본 연구에 사용된 데이터는 강원대학교 Institutional Animal Care and Use Committee(IACUC)(승인번호 : KW-200113-1)에
의해 승인된 6마리의 사막쥐(gerbil) 모델을 대상으로 시료를 채취하였다(6). 해당 모델은 뇌졸중 연구에 적합한 모델로, 마취 후 동맥류 클립(aneurysm clip)으로 30분 동안 우측 목동맥을 막아 뇌경색을 유발시켜
마비가 발생되는 왼쪽 다리와 마비가 발생하지 않은 오른쪽 다리를 획득하였다(7).
2.1.2 방사광 이미징(Synchrotron Radiation Imaging)
방사광은 빛의 속도에 가깝게 운동하는 가속된 전자가 자기장을 통과하면서 운동궤도가 휘어질 때 방출되는 빛이다. 일반 X-ray 발생기 광원보다 수
백만배 강하며, 실험에 적합한 파장의 빛을 선택할 수 있는 폭이 넓다는 장점으로 기초과학뿐 만 아니라 의학, 산업체를 포함한 여러 응용 분야에 넓게
사용되고 있다(8). 뇌졸중은 발병 후 초기 2주간은 회복 속도가 빠르고, 13주까지 50%의 회복이 진행된다는 결과가 있다(9). 따라서, 뇌졸중 발생 후 기간은 시작한 날 0일와 회복 속도 기간이 가장 빠른 2주 사이에서 7일와 14일로 나누어 데이터를 얻고자 하였다. 따라서,
본 연구는 SRI의 대조를 증가시킬 수 있는 메탈 스테인(metal staining) 후, 뇌졸중 모델의 가자미근 부위의 0일, 7일, 14일의 시료를
획득한 후, 포항 방사광 가속기 연구소 PLS-Ⅱ에서 6C-생체 의료 영상 빔 라인(6C-Bio Medical Imaging beam line) X선
광자 에너지 34keV 대역을 이용하여, 다리의 일별 4,320장씩 총 25,920장의 2549$\times$2549 해상도 영상을 획득하였다(10-11).
2.1.3 근육 데이터 어노테이션 처리
뇌졸중 자극이 가해진 데이터에서 신경해부학을 전공한 전문가의 도움을 받아 일별 근육 섬유와 공간의 유의미한 차이가 보이는 근육 영역(muscle belly)를
지정하고, 그림 1 (a), (b)의 빨간색 사각형으로 관심 영역(Region of Interest(ROI))를 설정하였다. 총 25,920장 데이터는 왼쪽 근육,
오른쪽 근육의 일별 연속 촬영된 데이터로, 공간과 섬유 영역의 특징이 연속적으로 보인다는 특성을 가진다. 따라서, 전체 데이터를 검토하여, 지정한
ROI가 해당되는 부위부터 연속적인 데이터를 왼쪽 근육, 오른쪽 근육의 일별 각 15장씩 총 90장을 선정하고, 동일 위치에서 크롭하여 데이터를 구성하였다.
이후, 딥러닝 학습 및 평가에 사용하기 위해 공간 영역을 중점으로 참값(Ground Trutn(GT)) 어노테이션을 수행하였다. 라벨링 수행 결과는
그림 2와 같다. Adobe Photoshop CS6 프로그램에서 연필 - 부드러운 불투명 브러쉬를 사용하였으며, ㈜아이에스브이 광펜마우스 P&M-DOLPHIN-WIRED(D13-1905210090)을
이용하였다. 라벨링된 GT는 데이터마다 기간을 기준으로 폴더로 구분하여 0일, 7일, 14일의 분류 라벨값을 지정해주었다.
그림 1 SRI 영상(빨간색으로 표시된 부분이 ROI 및 크롭된 위치) (a) None Stroke 오른쪽 근육 (b) Stroke 왼쪽 근육 (파란색)
fiber (노란색) space (대표적인 예시. Right/Left 7day muscle)
Fig. 1 In the SRI image, region indicated in red are ROI and crop positions. (a) None
Stroke Right muscle (b) Stroke Left muscle (blue) fiber (yellow) space (Example. Right/Left
7day muscle)
2.1.4 데이터 분배 및 이미지 증대
총 90장의 데이터에서 학습, 검증, 테스트 데이터은 6:1:3의 비율로으로 분할하였다. 보유하고 있는 데이터를 학습 데이터와 테스트 데이터로 분할하면,
학습에 사용하는 데이터 수가 부족하다. 따라서, 모델이 더욱 다양한 패턴을 학습하고 일반화 능력을 향상시키기 위해, 충분한 데이터 수로 학습 및 평가
하도록 증강을 수행하였다. 증강 방법에는 기하학적 방법, 오토인코더 등이 있으며, 오토인코더 사용 시 입력 데이터를 왜곡시키거나 원하지 않는 변형을
추가할 수 있으므로, 이미지에 변환을 적용할 때 이미지가 뒤틀리거나 왜곡의 상황을 최소화 하기 위해 기하학적 방법만을 적용하였다.
그림 2 original에서 crop하여 손상된 근육 이미지와 손상되지 않은 근육 이미지의 day별 annotation 결과이다. (left muscle
= 손상된 근육, right muscle = 손상되지 않은 근육)
Fig. 2 The result of day-by-day annotation of damaged muscle images and undamaged
muscle images by crop at the original. (left muscle = damaged muscle, right muscle
= intact muscle)
수평대칭변환(Horizontal Flip), 수직대칭변환(Vertical Flip), 회전(Rotation) 45°만을 이용하였으며, 학습 데이터,
검증데이터와 테스트 데이터 각각 228장, 24장, 108장으로 구성하여, 학습 및 평가를 진행하였다.
2.2 실험 환경
연구에 사용된 환경은 구글 코랩(Google colab)의 파이썬3 구글 컴퓨트 엔진(Python3 Google Compute Engine) 백엔드
(GPU)에서 수행되었으며, 파이토치(Pytorch)에 파이썬(Python)을 사용하여 코드를 구현하였다.
2.3 학습 모델
분할(segmentation)은 U-Net, Attention U-Net, SegNet, PsPNet 모델을 사용하여 성능을 평가하였다. 옵티마이저(optimizer)
Adam, 배치 사이즈(batch size) 2, 에폭(epoch) 300, 학습률(learning rate) 0.0001이며, 학습에 사용된 손실
함수(loss function)는 Binary Cross Entropy(BCE) Loss와 다이스 계수(Sørensen-Dice coefficient(Dice))
Loss를 통합한 Dice BCE Loss를 사용하였다. 분류(classification)은 ResNet50, MobileNetV2, VGG16 모델을
사용하여 성능을 평가하였다. 옵티마이저(optimizer) SGD, 배치 사이즈(batch size) 2, 에폭(epoch) 200, 학습률(learning
rate) 0.001이며, 학습에 사용된 손실 함수는 다중 분류의 대표적 손실함수인 Cross Entropy Loss를 사용하였다.
2.3.1 분할 모델
근육의 섬유와 공간 영역을 분할하기위해, 이미지 분할에서 자주 사용되는 CNN 기반 모델인 U-Net(12), Attention U-Net(13), SegNet(14), PsPNet(15)을 이용하였다. 분할 모델의 알고리즘은 그림 3과 같다.
그림 3 본 연구의 분할 알고리즘 흐름도
Fig. 3 Flowchart of segmentation algorithms in this study
2.3.2 분류 모델
분할 모델의 결과로 분류(classification)를 수행하며, stroke 근육의 시간에 따른 근 손상 정도를 0일, 7일, 14일 기간으로 분류한다.
분류 모델은 깊은 은닉층을 가진 신경망에서 매우 우수한 성능을 보이는 CNN 기반 모델인 ResNet50(16), MobileNetV2(17), VGG16(18)을 이용하였다. 분류 모델의 알고리즘은 그림 4와 같다.
그림 4 본 연구의 분류 알고리즘 흐름도
Fig. 4 Flowchart of classification algorithms in this study
2.4 성능 평가
분할의 목적은 섬유와 공간 영역을 분할해 낼 수 있는 것이기 때문에 Ground Truth와 분할 결과가 얼마나 유사한지의 수치를 표현하는 식 (1)의 자카드 유사계수(jaccard)를 사용하였다. 또한, 섬유와 공간으로 분할된 영역을 클래스로서 나눠 예측의 정확도를 표 1과 같은 혼동행렬(confustion matrix)로 평가하였다. 그 중, 정밀도(precision)와 민감도(recall)의 값이 한쪽으로 치우치지
않도록 조화평균의 값으로 표현하는 f1 score를 이용하여 추가로 성능을 검증하였다.
분류의 목적은 0일, 7일, 14일의 기간으로 분류해내는 것이기 때문에 전체 테스트 데이터 중 분류 값이 라벨링된 데이터를 대상으로 얼마나 정답으로
잘 분류하는지 정확도(accuracy) (5)를 사용하여 평가하였다.
표 1 혼동 행렬
Table 1 confusion matrix
|
|
Condition
|
|
Positive
|
Negative
|
|
Prediction
|
Positive
|
True
Positive(TP)
|
False
Positive(FP)
|
|
Negative
|
False
Negative(FN)
|
True
Negative(TN)
|
2.5 섬유 분포 분석
뇌졸중 후 가장 영향을 받는 근력의 원인인 섬유의 직경의 변화를 확인한다. 분할과 분류 모델의 결과로 섬유 영역의 분포를 픽셀 값으로 계산하여 분포
정도를 분석한다.
2.6 SRI 기반 뇌졸중 손상 근육 평가 시스템(SRI based Stroke- Damage Muscle Assessment System(SMA))
임상에서 뇌졸중에 의한 근 손상 정도를 파악하는데 보조 도구로서 유용하게 사용하기 위하여 성능 평가 결과 우수한 성능을 보인 모델을 선택하여 최종적으로
근육의 섬유와 공간 를 분할하고, 분류하여 뇌졸중 발생 이후 기간을 결과로서 파악할 수 있는 시스템 GUI를 구축하였다. 추가로 분할 및 분류된 결과에서
픽셀 값을 대상으로 섬유와 공간 영역의 분포 비율을 계산하여 원 그래프로 보여준다. GUI는 파이썬 기본 라이브러리 tk interface(tkinter)를
이용하여, CPU, GPU에서 모두 실행 가능하도록 제작하였다. GUI 프로세스 흐름은 그림 5와 같다.
그림 5 본 연구에서 개발한 시스템 프로세스
Fig. 5 System processes developed in this study
3. 결 과
3.1 분할 결과 및 분할 모델별 성능 평가
표 2는 4가지 분할 모델을 훈련한 결과 모델별 학습 loss을 보여준다. loss는 0에 가까울수록 손실이 없는 것으로, U-Net 모델에서 0.096으로
가장 낮은 loss 값을 보였으며, PsPNet에서 0.112로 가장 높은 loss 값을 보였다.
표 2 훈련된 분할 모델 손실 값
Table 2 Trained segmentation model loss value
|
|
U-Net
|
Attention U-Net
|
SegNet
|
PsPNet
|
|
train loss
|
0.096
|
0.097
|
0.098
|
0.112
|
그림 6과 그림 7은 테스트 데이터 108장에 대한 각 모델의 뇌졸중 모델인 왼쪽 다리와 뇌졸중이 아닌 오른쪽 다리의 분할 결과를 보인다. 각 분할 결과는 근육의 공간
영역을 분할해내는 것으로, 검은색의 공간 영역과 흰색의 섬유 영역으로 분할된 것을 확인하였다.
표 4는 분할 모델의 결과를 GT와 비교하여 성능을 평가한 결과이다. U-Net, Attention U-Net, SegNet, PsPNet 모델에서 각각
95.12%, 95.32%, 94.82%, 94.41%의 결과를 얻었으며, 그중에서도 Attention U-Net 모델이 분할 모델 중 가장 성능이
좋은 모습을 보였다.
그림 6 손상된 left muscle의 모델별 분할 결과로 space 영역은 검은색, fiber 영역은 흰색이다
Fig. 6 As a result of model-specific segmentation of the damaged Left muscle, the
space area is black and the fiber area is white
그림 7 손상되지 않은 right muscle의 모델별 분할 결과로 space 영역은 검은색, fiber 영역은 흰색이다
Fig. 7 As a result of model-specific segmentation of the undamaged right musle, the
space area is black and the fiber area is white
그림 6과 그림 7은 test 데이터 108장에 대한 각 모델의 뇌졸중 모델인 left leg와 뇌졸중이 아닌 right leg의 분할 결과를 보인다. 각 분할 결과는
근육의 space 영역을 분할해내는 것으로, 검은색의 space 영역과 흰색의 fiber 영역으로 분할된 것을 확인하였다.
표 4는 분할 모델의 결과를 GT와 비교하여 성능을 평가한 결과이다. U-Net, Attention U-Net, SegNet, PsPNet 모델에서 각각
95.12%, 95.32%, 94.82%, 94.41%의 결과를 얻었으며, 그중에서도 Attention U-Net 모델이 분할 모델 중 가장 성능이
좋은 모습을 보였다.
표 3 훈련된 분류 모델 손실 값
Table 3 Trained classification model loss value
|
|
ResNet50
|
MobileNetV2
|
VGG16
|
|
train loss
|
0.158
|
0.588
|
0.245
|
3.2 분류 결과 및 분류 모델별 성능 평가
표 3는 3가지 분류 모델을 훈련한 결과 모델별 학습 손실 값 을보여준다. ResNet50 모델에서 0.158로 가장 낮은 loss 값을, MobileNetV2에서
0.588으로 가장 높은 loss 값을 보였다.
분류 모델의 성능은 각 분할 모델의 결과를 정확도 척도로평가하였다. 평가 테스트 케이스의 경우 표 5의 ‘classification model Test case’와 같다. 뇌졸중인 왼쪽 다리와 뇌졸중인 아닌 오른족 다리에서 성공적으로 일별로 분류하였으며,
케이스별 높은 정확도를 보였다. U-Net은 VGG16과 함께 수행되었을 때 99.04%, Attention U-Net은 ResNet50과 함께 수행되었을
때 SegNet은 모든 분류 모델에서 98.15%의 동일한 결과를 보였고, PsPNet은 VGG16과 함께 수행되었을 때 99.07%의 성능을 보였다.
표 4 분할 모델별 성능 평가 표
Table 4 Performance evaluation table by segmentation model
|
Evaluation Metrics
|
U-Net
|
Attention U-Net
|
SegNet
|
PsPNet
|
|
Jaccard(%)
|
91.17
|
91.48
|
90.62
|
89.82
|
|
F1 Score(%)
|
95.37
|
95.54
|
95.07
|
94.63
|
|
Recall(%)
|
95.90
|
95.95
|
95.21
|
94.21
|
|
Precision(%)
|
94.92
|
95.19
|
94.99
|
95.18
|
|
Accuracy(%)
|
95.12
|
95.32
|
94.82
|
94.41
|
표 5 분류 모델 평가 test case
Table 5 Classification model evaluation test case
|
Classification model Test Case
|
Accuracy(%)
|
|
U-Net + ResNet50
|
98.08
|
|
Attention U-Net + ResNet50
|
99.07
|
|
SegNet + ResNet50
|
98.15
|
|
PsPNet + ResNet50
|
98.15
|
|
U-Net + MobileNetV2
|
88.46
|
|
Attention U-Net + MobileNetV2
|
90.74
|
|
SegNet + MobileNetV2
|
98.15
|
|
PsPNet + MobileNetV2
|
78.70
|
|
U-Net + VGG16
|
99.04
|
|
Attention U-Net + VGG16
|
98.15
|
|
SegNet + VGG16
|
98.15
|
|
PsPNet + VGG16
|
99.07
|
3.3 fiber 분포 분석
space 영역은 검은색으로 fiber 영역은 하얀색으로 분할되기 때문에, 해당 영역의 pixel intensity 값을 이용하여 분포 정도를 분석하였다.
뇌졸중인 left leg와 뇌졸중이 아닌 right leg의 day별 fiber 평균 분포 정도는 다음 표 6와 같다. left leg의 경우 fiber 평균 분포는 0day 59.78%, 7day 42.99%, 14day 39.51%로, stroke가 발생되고
시간이 경과될수록 fiber 분포가 줄어드는 모습을 확인하였다. right leg의 경우 0day 61.13%, 7day 61.21%, 14day
50.34%로, 상대적으로 fiber 분포의 유의미한 변화가 없는 것을 알 수 있다.
표 6 fiber 평균 분포 table
Table 6 fiber mean distribution table
|
Left
|
fiber
distribution
|
Right
|
fiber
distribution
|
|
0day
|
59.78%
|
0day
|
61.13%
|
|
7day
|
42.99%
|
7day
|
61.21%
|
|
14day
|
39.51%
|
14day
|
50.34%
|
3.4 SMA 시스템 구성
성능 평가 결과 본 연구에 사용된 뇌졸중 동물 모델 데이터에는 분할 모델 Attention U-Net과 분류 모델 ResNet50을 함께 사용했을
때, 가장 좋은 분할 및 분류의 성능을 보였다. 따라서, 해당 모델을 이용하여 한 번에 결과를 출력한 후, 섬유 분포까지 직관적으로 분석할 수 있는
GUI를 구성하였다. GUI의 구성 화면은 다음 그림 8과 같다. GUI를 이용하여 분할 및 분류와 분석을 진행하였을 때, 입력 영상에서 유의미한 차이가 보이는 근 영역을 크롭하고, 크롭한 영상을 훈련된
분할 모델에 적용하여 예측된 결과를 볼 수 있다. 또한, 분할된 결과를 입력으로 훈련된 분류 모델에 적용하여, 해당 입력 이미지가 뇌졸중 후 얼마나
시간이 경과 했는지 판단하며, 섬유의 분포 정도를 분석한 결과 값을 그래프와 함께 표현함으로써 기준치와 비교하여 볼 수 있다. 본 시스템은 빠른 시간
내로 근 데이터 객관적 분석 및 직관적 관찰이 가능하다. 추후 근 조직 영상에 적용하면, 뇌졸중 환자별 빠른 재활치료 수행을 위해 근 손상 정도에
따른 뇌졸중 경과 정도를 빠르게 분석하여 적합한 시기에 재활치료를 수행할 수 있도록 보조하는 시스템으로서 자리 잡을 수 있을 것이다.
그림 8 SMA 시스템 환경
Fig. 8 SMA system environment
4. 고 찰
본 연구는 뇌졸중 동물 모델 데이터를 딥러닝에 적용하여 섬유와 공간 영역을 분할하고, 일별로 분류하여 섬유 분포를 분석할 수 있는 시스템을 구성하였다.
SRI로 획득한 데이터를 딥러닝 분할 모델에 적용하는데, U-Net3+를 비롯해 성능이 좋은 분할 모델이 많이 있으나, 본 연구에서 사용된 데이터
세트는 섬유와 공간 영역이 뚜렷하게 나타나 있으며, layer 수의 증가에 따른 복잡도와 학습 시간적인 면에서 무거운 모델을 사용할 필요가 없다.
따라서 CNN을 기반으로 한 모델 중 대중적으로 사용되고 있는 분할 모델들을 사용했다. 대체로 모든 모델에서 좋은 모습을 보였지만, 그 중에서도 Attention
U-Net에서 가장 좋은 성능을 보였다. 이를 딥러닝 분류 모델로 분류한 결과 PsPNet과 MobileNetV2가 함께 수행된 case를 제외하고는
우수한 성능을 보였다. PsPNet의 특징이 하나의 픽셀에서 주변 환경의 영향을 많이 받는다는 것인데, 세밀하게 분할해야 하는 섬유 및 공간 영역의
경우에서는 해당 특징이 좋지 않은 영향을 끼쳐 상대적으로 낮은 성능을 보인 것으로 사료된다. 또한, MobileNetV2 모델의 경우, SegNet과
함께 수행되었을 때 우수한 성능을 보이는데, 상대적으로 낮은 성능을 보인 나머지 분할 모델의 경우, 경량화를 중점으로 제안된 모델이기 때문에 확실히
연산량이나 모델 가중치가 낮은 SegNet과의 호환이 우수하게 나타난 것으로 보인다. 하지만, 여러 케이스 중에서도 뇌졸중 근 손상 데이터에 적합한
모델이 Attention U-Net + ResNet50임을 확인하였다. Attention U-Net + ResNet50이 다른 모델보다 우수한 성능을
보인 이유는 ResNet50의 skip connection으로 신경망이 깊어지더라도 정보가 손실되지 않는 장점과 Attention U-Net의 어텐션
메커니즘으로 주요한 정보에 더 집중할 수 있도록하는 장점이 혼합되어 가장 높은 정확도를 보인 것으로 사료된다.
최근 뇌졸중 환자의 골격근량, 부피, 단면적 변화 등 임상 데이터를 사용하여 분석하는 추세이다. 근육을 생검한 연구에 따르면, 뇌졸중 후 영향을 받은
근육의 섬유 직경이 감소하였으며(19), 처음 10개월 동안 밀도가 증가하고, 이후 안정상태를 유지한다는 결과가 있다(20). 본 연구에서도 뇌졸중 이 발생된 근육에서 시간이 경과함에 따라 근력 저하에 영향을 미치는 섬유의 직경이 감소하는 결과를 발견할 수 있었다. 따라서
뇌졸중 후 근육의 섬유 손상에 의한 메커니즘 분석이 중요하며, 뇌졸중 발생 후 섬유 영역을 특징으로 시간에 따라 분석이 가능하다. 섬유 분포 감소
정도에 따라 뇌 손상 정도를 파악할 수 있기 때문에, 분할 및 분류된 결과 이미지에서 섬유 영역의 분포 정도를 분석하였다. 뇌졸중이 가해진 왼쪽 다리의
경우, 뇌졸중이 진행된 기간에 따라 근손상 정도가 심해진 것을 확인할 수 있었다. 이를 통해 평균 섬유 분포를 계산하여, 새로운 뇌졸중 근 손상 데이터가
들어왔을 때 기준치로 비교가 가능하도록 하였다.
다음 내용을 가지고, 우수한 성능을 보인 분할 및 분류 모델과 뇌졸중 근손상 데이터의 평균 섬유 분포를 제공하여 직관적으로 분석 결과를 볼 수 있는
GUI를 구성하고자 하였다.
뇌졸중의 급성기부터 시작되는 효과적인 재활치료는 기능적 회복을 향상시키고 장애를 최소화하는 것으로 알려져 있다(21). 따라서 본 연구에서 제안한 시스템은 뇌졸중 환자마다 빠른 재활치료를 수행할 수 있도록 근손상 정도를 판단하는데 보조할 수 있는 보조시스템으로서
적합할 것이다.
5. 결 론
본 연구는 SRI로 얻은 뇌졸중 동물 모델을 대상으로 CNN을 기반으로 근육의 공간와 섬유 영역을 분할하고 일별로 분류하였다. 그중 가장 우수한 성능의
모델을 적용하여 근력과 영향이 있는 섬유 영역을 분석할 수 있는 시스템을 구성하였다. 사용한 딥러닝 모델의 경우 대체적으로 우수한 성능을 보였지만,
본 연구에서 사용한 학습 데이터의 수가 적었기 때문에, 추후 데이터 양을 늘려 학습한다면 더 좋은 분할과 분류 성능을 보일 것으로 기대된다. 최근
오토인코더 기법을 이용한 데이터 증강이 많이 이용되고 있다. 하지만, 데이터 왜곡 문제가 존재하기 때문에 데이터에 완전히 적합하게 사용하기에는 한계가
있다. 따라서 기하학적 증강기법과 오토인코더 방법을 조합하여 왜곡을 최소화 하면서 근조직 데이터에 적합하도록 증강할 수 있는 방법을 추후 탐구하여
적용하고자 한다. 본 연구는 기존의 주관적으로 근 손상 정도를 평가하던 방식과 달리 딥러닝 모델을 이용함으로써 객관적인 근조직 평가에 대한 기초연구로써
적용될 수 있다. 더하여, 근조직 평가를 통해 조직의 회복 수준을 진단할 수 있는 연구의 바탕이 될 수 있으며, 근조직의 특징으로부터 활동 예측이나
분석을 통해서 개인 맞춤형 진단 보조 시스템 개발에 도움이 될 것으로 기대된다.
Acknowledgements
This work was supported by the Soonchunhyang University Research Fund, BK21 FOUR (Fostering
Outstanding Universities for Research) (5199990914048), and the National Research
Foundation of Korea (NRF) grant funded by the Korea government (MSIT) (2022R1A2C1010170).
References
H. J. Kim, J. H. Lee, 2011, The Effects of Exercise forLower Extremity Using Visual
Information on Lower Extremity Muscle Activity, Balance and Gait in Stroke Patients,
The Journal of Korean Academy of Orthopedic Manual Physical Therapy, Vol. 17, No.
2, pp. 25-32
D. W. Oh, S. H. Won, H. J. Park, J. H. Shim, 2017, Novel Approach for Functional Improvement
of Patients With Chronic Stroke : Theoretical Background of ‘Neuromuscular Control
and Reset’ Concept, Korean Journal of Neuromuscular Rehabilitation, Vol. 7, No. 2,
pp. 26-43
Chitralakshmi K. Balasubramanian, Mark G. Bowden, Richard R. Neptune, Steven A. Kautz,
2007, Relationship between step length asymmetry and walking performance in subjects
with chronic hemiparesis, Arch Phys Med Rehabil, Vol. 88, No. 1, pp. 43-9
S. H. Jang, J. H. Lim, O. S. Lee, 2017, Phase-contrast hard X-ray microscopy using
synchrotron radiation for the properties of skeletal muscle in mouse hind limbs, Microscopy
Research and Technique, Vol. 80, No. 11, pp. 1221-1228
K. Nagawa, M. Suzuki, Y. Yamamoto, K. Inoue, E. Kozawa, T. Mimura, M. Niitsu, 2021,
Texture analysis of muscle MRI: machine learning-based classifications in idiopathic
inflammatory myopathies, Scientific reports, Vol. 11, No. 1, pp. 1-12
D. Lehmann Urban, M. Mohamed, A. C. Ludolph, J. Kassubek, A. Rosenbohm, 2021, The
value of qualitative muscle MRI in the diagnostic procedures of myopathies: a biopsy-controlled
study in 191 patients, Therapeutic Advances in Neurological Disorders
J. H. Ahn, M. Song, H. Kim, T. K. Lee, C. W. Park, Y. E. Park, J. H. Park, 2019, Differential
regional infarction, neuronal loss and gliosis in the gerbil cerebral hemisphere following
30 min of unilateral common carotid artery occlusion, Metabolic Brain Disease, Vol.
34, No. 1, pp. 223-233
T. J. Shin, I. M. Hwang, J. H. Park, 2012, Introduction to PLS-II, The Korean Institute
of Electrical Engineers, Vol. 61, No. 10, pp. 28-35
S. A. Kong, S. H. Yoo, 2005, Effects of a 12-week resistance exercise training on
gait in ambulatory chronic hemiparetic stroke patients, Korean Journal of Sport Science,
Vol. 16, No. 4, pp. 90-104
S. H. Jang, J. W. Lee, O. S. Lee, 2021, Micro- and Nano-tomograpyh Analysis of Mouse
Soleus Muscle Using Radiation, Microscopy Research and Technique, Vol. 84, No. 11,
pp. 2685-2693
S. B. Kim, S. H. Jang, J. H. Ahn, S. J. Lee, O. S. Lee, pp 364-372 2022, Analysis
of Type I Osteoprosis Animal Models Using Synchrotron Radiation, Microscopy Research
and Technique, Vol. 85
O. Ronneberger, P. Fischer, T. Brox, 2015, U-net: Convolutional networks for biomedical
image segmentation, In International Conference on Medical image computing and computer-
assisted intervention, pp. 234-241
O. Oktay, J. Schlemper, L. L. Folgoc, M. Lee, M. Heinrich, K. Misawa, D. Rueckert,
Attention u-net: Learning where to look for the pancreas, 2018.
V. Badrinarayanan, A. Kendall, R. Cipolla, 2017, Segnet: A deep convolutional encoder-decoder
architecture for image segmentation, IEEE transactions on pattern analysis and machine
intelligence, Vol. 39, No. 12, pp. 2481-2495
H. Zhao, J. Shi, X. Qi, X. Wang, J. Jia, 2017, Pyramid scene parsing network, In Proceedings
of the IEEE conference on computer vision and pattern recognition, pp. 2881-2890
K. He, X. Zhang, S. Ren, J. Sun, 2016, Deep residual learning for image recognition,
In Proceedings of the IEEE conference on computer vision and pattern recognition,
pp. 770-778
M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, L. C. Chen, 2018, Mobilenetv2: Inverted
residuals and linear bottlenecks, In Proceedings of the IEEE conference on computer
vision and pattern recognition, pp. 4510-4520
K. Simonyan, A. Zisserman, Very deep convolutional networks for large-scale image
recognition, 2014.
Huang C, Yao B, Li X, Li S, Zhou P, 2021, Muscle Fiber Diameter and Density Alterations
after Stroke Examined by Single-Fiber EMG, Neural Plast
M. Lukács, L. Vécsei, S. Beniczky, 2009, Changes in muscle fiber density following
a stroke, Clin Neurophysiol, Vol. 120, No. 8, pp. 1539-1542
Y. H. Kim, T. R. Han, H. Y. Jung, M. H. Chun, J. M. Lee, D. Y. Kim ..., B. W. Yoon,
2009, Clinical Practice Guideline for Stroke Rehabilitation in Korea, Brain & Neurorehabilitation,
Vol. 2, No. 1, pp. 1-38
저자소개
Hyeyeon Won received B.S. degree at Department of Medical IT Engineering from Soonchunhyang
University, Asan, Korea, in 2023.
Her research interests includes Machine Learning, Deep Learning, and Medical imaging
AI.
E-mail : dmsvkd1122@sch.ac.kr
Subok Kim received the B.S degree from Gimcheon University, in 2018 and M.S., degrees
from Soonchunhyang University, in 2020, Currently, he is the Ph.D. Candidate in Department
of Software Convergence, Soonchunhyang University, Asan, Korea.
E-mail : tnqhr93@sch.ac.kr
Eun Bin Kim received her B.S. and M.S. degree in Medical IT Engineering from Soonchunhyang
University in 2019, 2021, respectively.
She is a Ph.D. Course in Software Convergence at Soonchunhyang university.
Her current research interests include Artificial Intelligence for Medical Image.
E-mail : ebkim0608@sch.ac.kr
Onseok Lee received the B.S., M.S., and Ph.D. degrees from Korea University, in 2005,
2007, and 2011, respectively, Currently, he is a Professor in Medical IT Engingeering,
Soonchunhyang University, Asan, Korea.
E-mail : leeos@sch.ac.kr