2.1 CT 영상 데이터 획득 및 실험 재료와 환경

치과 구강안악면 수술에 증강현실 수술 내비게이션 시스템을 적용하였다. 구강안악면 수술은 두개골의 악골 구조에 관한 수술로서, 정합은 얼굴 내 해부학 구조를 이용한다. 우리는 마네킹 팬텀(DW112, 아프로디테, 천안, 대한민국)과 두개골 팬텀(3B, Scientific GmbH, 함부르크, 독일)을 이용하여 제안된 단일 카메라 깊이 추정을 이용한 증강현실 수술내비게이션용 마커리스 정합을 평가하였다(그림 1a-c). 두 팬텀은 기계/자기적 결합 장치를 통하여 하나의 강체로 결합되었다(그림 1d). 마네킹 팬텀에는 정확도 평가용 랜드마크로서 1mm의 지름을 가진 쇠구슬 5개를 식립했다. 자세하게 식립된 위치는 임상적으로 유용한 해부학적 랜드마크로 선정하였으며, 비근점(nasion, na), 볼점(cheek, chk), 상순최상점(labiale superius, ls)과 하악점(pogonion, pg)을 포함한다. 이 때, 볼점은 좌와 우 쌍으로 존재한다. 팬텀의 3차원 CT 영상은 CT 스캐너(SOMATOM Sen- sation10, Siemens, 뮌헨, 독일)를 이용하여 120kVp 및 80mAs 촬영 조건 하에 획득되었다. CT 영상은 512 × 512의 해상도를 가지며, 물리적으로 0.75mm의 영상 두께 및 0.53 × 0.53mm의 픽셀 크기를 가진다. 증강을 위한 가상 모델은 CT 영상의 가공을 통해 생성되었다.

증강현실의 가시화를 위하여 카메라(ZED mini, StereoLabs, 샌프란시스코, 미국)이 장착된 플랫-패널 모니터(QCT130, One Inc, 서울, 대한민국)를 술자와 팬텀 사이에 위치시켰다. 이 카메라는 스테레오 방식으로 좌우 렌즈의 컬러영상과 대응되는 깊이정보를 동시에 획득 가능 RGBD 카메라 이지만, 단일 카메라 깊이 추정을 위하여 좌측 렌즈의 컬러영상만을 이용하였다. 카메라의 내부 파라미터는 제조사의 교정(calibration) 소프트웨어를 통해 획득되었고, 영상의 해상도는 2208 × 1242의 크기를 가진다. 카메라에서 획득된 컬러영상은 플랫 패널 모니터를 통하여 가시화되며, 가상 모델은 VTK(Visualization Toolkit, Kitware Inc, 뉴욕, 미국)을 이용하여 정확한 위치에 실시간으로 증강된다.

2.2 단일 카메라 깊이 추정 기반 마커리스 정합

카메라 공간(환자의 물리적 공간)과 CT영상 공간의 마커리스 정합은 각 공간에 대응되는 얼굴 랜드마크 기반 점대점 매칭(point-to-point matching)을 통해 수행하였다(그림 2). 정합에 이용된 랜드마크는 눈끝점(exocanthion, ex), 입꼬리점(cheilion, ch)이며, 이 랜드마크는 좌우 쌍으로 존재하기 때문에 총 4개의 랜드마크($k\in\{1,\:\cdots ,\:4\}$)가 정합에 이용되었다. CT영상 공간에서 얼굴 랜드마크의 3차원 좌표($L_{k}^{CT}$)는 직접 추출하였다.

카메라 공간에서 얼굴 랜드마크의 3차원 좌표는 다음 일련의 과정을 통해 획득된다. 처음으로 컬러영상에서 획득한 랜드마크의 2차원 픽셀 좌표($l_{k}^{cam}$)를 획득한다. 다음으로 단일 카메라 깊이 추정을 통하여 랜드마크 픽셀에 대응되는 깊이정보($\hat z_{k}^{cam}$)를 획득한다.

마지막으로 핀홀 카메라(pinhole camera) 모델을 적용함으로서⁽²⁶⁾, 랜드마크 픽셀을 3차원 재구성 및 3차원 좌표($L_{k}^{cam}$)를 획득한다.

컬러영상의 얼굴 랜드마크 픽셀($l_{k}^{cam}$) 추출은 Kazemi와 Sullivan 연구진이 제안한 Dlib을 이용하였다⁽²⁷⁾. Dlib는 100만장의 인물 영상을 통하여 학습된 기계학습 접근법으로서, 얼굴 랜드마크가 필요한 다양한 분야에서 활용 중이다⁽²⁸⁾. 이 연구에서는 이전 연구에서 학습된 머신러닝의 가중치를 그대로 사용하였다⁽²⁷⁾.

랜드마크 픽셀의 3차원 재구성은 픽셀에 대응되는 깊이정보($\hat z_{k}^{cam}$)가 필요하기 때문에, 딥러닝 기반 단일 카메라 깊이 추정을 이용하여 깊이정보를 획득했다⁽²³⁾. 단일 카메라 깊이 추정은 콘볼루션 신경망(convolution neural network)을 통하여 단일의 컬러영상을 입력 받아 시차(disparity, $d$)를 생성한다(식(1)). 깊이정보는 생성된 시차와 카메라 내부 파라미터를 식(2)에 적용하여 획득된다⁽²³⁾.

여기서, $N et$은 단일 카메라 깊이 추정 신경망, $img_{co l or}$은 2차원 컬러영상, $d$는 생성된 시차, $\hat z$은 깊이정보, $b$는 단일 카메라 깊이 추정 신경망의 학습 시 적용된 베이스(base), $f$는 카메라의 초점거리이다. 단일 카메라 깊이 추정용 신경망 모델의 자세한 설명은 ‘2.4 단일 카메라 깊이 추정의 모델 및 딥러닝 실행’에서 하겠다.

최종적으로 카메라와 CT영상 간 대응되는 얼굴 랜드마크에 점대점 매칭을 적용함으로서⁽²⁹⁾, 수술 전 CT영상 공간과 수술 중 카메라 공간 간 정합 변환($T_{cam}^{CT}$)을 획득하였다.

2.3 플랫-패널 모니터 기반 증강현실 가시화

지난 연구에서, 우리는 플랫-패널 모니터 기반 증강현실 가시화 시스템을 개발하였다⁽⁵⁾. 플랫 패널 모니터는 술자에게 실제 화면에 가상의 모델을 겹쳐 보여줌으로서 증강 현실을 가시화 한다. 가상 모델이 겹쳐지는 정확한 위치는 식(3)에 의하여 계산된다.

여기서, $p^{cam}$, $p^{CT}$는 각각 카메라 및 CT영상 공간에서 가상 모델의 위치이다.

2.4 단일 카메라 깊이 추정의 모델 및 딥러닝 실행

의료분야에서 안면부의 컬러영상 및 그에 대응되는 밀집도가 높은 깊이정보 데이터를 획득하는 것은 많은 시간과 비용이 필요하기 때문에, 스테레오 영상을 이용해 신경망 최적화가 가능한 비지도 학습(unsupervised learning) 기반 단일 카메라 깊이 추정 신경망 모델을 이용했다⁽²³⁾. 이 모델의 특징은 학습 시 스테레오 영상($I^{l e f t},\: I^{r i g ht}$)을 입력 받아 좌우영상 각각의 시차쌍($d^{l e f t}$, $d^{righ t}$)을 생성하고, 이 시차를 기반으로 재합성된(synthesized) 스테레오 영상($\widetilde I^{l e f t}= I^{r i g ht}(d^{l e f t})$, $\widetilde I^{r i g h t}=$$I^{l e f t}(d^{r i g ht})$)을 획득 한다(그림 3). 모델은 외모 일치(appearance matching, $C_{ap}$), 시차 평활도(disparity smoothness, $C_{ds}$)와 좌우 일관성(left-right consistency, $C_{lr}$) 으로 구성된 손실 함수(loss function, $C_{s}$)를 최소화하는 방향으로 학습이 진행 된다⁽²³⁾. 여기서, 외모 일치($C_{ap}$)는 생성된 시차쌍으로 합성된 스테레오 영상($\widetilde I^{l e f t},\: \widetilde I^{r i g ht}$)과 입력 스테레오 영상($I^{l e f t},\: I^{r i g ht}$) 간 차이를 최소화 시킨다. 시차 평활도($C_{ds}$)는 생성된 시차($d^{l e f t}$, $d^{righ t}$)의 정밀도를 높이고자, 픽셀 간 기울기 변화를 최소화한다. 마지막으로 좌우 일관성($C_{lr}$)은

시차쌍($d^{l e f t}$, $d^{righ t}$) 생성의 정확도를 높이고자, 좌우 시차쌍에서 대응되는 픽셀의 시차 값을 최소화한다. 학습이 종료된 모델은 스테레오 영상이 아닌 단일의 영상만 입력이 되어도 대응되는 시차를 생성할 수 있기 때문에 단일 카메라 깊이 추정이 가능해진다.

신경망은 인코더(encoder)와 디코더(decoder)로 구성된다. 인코더는 ResNet50⁽³⁰⁾을 백본(backbone)으로 구성되어 영상의 피쳐를 추출한다. 디코더는 4개의 계층으로 콘볼루션 레이어로 구성되었다⁽²³⁾. 동일한 계층의 인코더 활성화 레이어와 스킵커낵션(skip-connsection)으로 연결하여, 피쳐맵의 디테일을 보존 시켰다. 신경망 모델은 시차쌍의 정밀도를 높이기 위하여, 디코더의 각 계층에서 시차쌍 ($d_{s}^{l e f t},\: d_{s}^{r i g ht};$ $s\in\{1,\:\cdots ,\:4\}$)을 출력하는 다중크기(multi-scale) 모델링이 적용되었다. 신경망 모델의 손실함수($C_{s}$)는 각 계층 별 외모 일치($C_{ap}$), 시차 평활도($C_{ds}$), 좌우 일관성( $C_{lr}$) 항으로 계산되며(4), 전체 손실함수는 4계층의 손실함수 합산과 같다(5).

손실함수의 가중치($a$, $c$)는 경험적으로 1로 설정하였으며, 가중치($b$)는 해상도가 다른 4개의 시차에 능동적인 가중치를 부여하기 위하여, 원본 해상도 대비 생성된 해상도 크기에 반비례 값을 적용하였다. 자세한 모델의 구조 및 손실함수의 정보는 이전 연구에서 확인할 수 있다⁽²³⁾.

학습용 데이터 생성을 위하여, 마네킹 팬텀 3개 및 자원자 5인의 얼굴의 스테레오 영상을 획득했다. 영상의 얼굴 크기 및 모습의 다양성을 높이고자, 스테레오 카메라를 이용하여 얼굴로부터 30 ~ 50cm 이격 및 45° 회전 반경을 가지고 촬영했다. 영상은 각각의 얼굴 당 500장씩 획득되었고, 신경망 학습의 메모리 효율을 증대하기 위하여 영상의 해상도는 1024 × 512의 크기로 줄여주었다. 팬텀 1개를 제외한 나머지 팬텀 및 자원자의 영상은 모델의 학습 및 유효성 평가에 이용되었으며 잔여 팬텀 1개의 영상은 학습된 신경망의 평가를 위해 사용되었다. 모델의 학습을 위하여 스테레오 좌우 영상을 전부 이용하였으나, 학습 후에는 스테레오의 좌측 영상만을 이용하였다. 신경망의 가중치는 학습률 0.0001의 최적화 함수 Adam(adaptive moment estimation)⁽³¹⁾을 이용하여 갱신되었다. 학습은 한 개의 그래픽 처리 장치(GeForce 1080Ti, NVIDIA, 미국)를 이용하여 200회 반복학습 하였다. 신경망은 텐서플로우(Tensorflow)를 백본으로 가지는 케라스(Keras) 라이브러리를 이용하여 구축되었다.

2.5 단일 카메라 깊이 추적 기반 증강현실 수술 내비게이션 시스템의 정확도 평가

우리는 일반적으로 증강현실 수술 내비게이션 시스템에서 정량적 평가 지표로 사용하는 Re-Projection Error(RPE)를 이용했다⁽³²⁾. RPE는 평가용 랜드마크의 참값과 증강된 위치 간 3차원 유클리디안(euclidean) 거리 차이로 측정된다. 정합 및 랜드마크 가상모델을 증강 후, RPE를 10회 반복 측정 하였다.

추가적으로, 제안된 시스템의 실효성을 판단하기 위하여 스테레오 영상으로 획득된 깊이정보를 이용한 시스템의 RPE와 단일 카메라 깊이 추정으로 획득된 깊이정보를 이용한 시스템의 RPE를 비교평가 하였다. 이 때 RPE의 측정을 위한 깊이정보 획득 방식만 다르며, 나머지 실험 방법은 모두 동일하게 적용하였다. 두 방식의 RPE 값이 통계적 유의미한 차이가 있는지 확인하기 위하여 대응표본 t검정(p=0.05)을 수행하였다.