2.1 시스템 개요

입력 신호로부터 rPPG 추출 및 HRV 비교 분석까지 전체 시스템 구성은 그림 1과 같다. Input Frames (RGB Image)는 웹캠 카메라로부터 얻어진 avi 동영상으로부터 Height, Width, Channels(Red, Green, Blue)의 형태로 이루어져 있으며, 그림 1-A부터 1-C까지 딥러닝 지도 학습인 TS-CAN 모델의 학습 과정을 나타낸다. 이후, 입력 영상으로부터 얻어진 rPPG Prediction 정보를 이용해서 그림 1-D부터 1-E까지 HRV 분석을 진행한다.

2.1.1 입력 데이터 전처리 과정

모델 학습에서 신호 추출을 위해 중요한 부분은 초기 단계이며, 그림 1-A는 Calculating frame differences, Normalizati- on, ROI를 포함하는 단계이다. 계산식 (1)처럼 시간 t에 대하여 현재 프레임(Height, Width, Channel)값 $I(t)$에서 다음 프레임값인 $I(t-1)$를 계산하여 차이인 $\triangle I(t)$를 계산 후, 시각적 변화를 그림 2처럼 감지한다.

그림 1. 신호 추출 및 HRV 비교 분석을 위한 전체 구성도

Fig. 1. Full schematic for signal extraction and HRV comparison analysis

(1)

$\triangle I(t)= I(t)- I(t-1)$

그림 2. 연속적인 두 프레임 차이의 시각적 변화

Fig. 2. Visual change in the difference between two consecutive frames

2.1.2 정규화(Normalization) 과정

입력되는 원시 입력 데이터(raw input data)는 비디오 프레임으로, 이 데이터는 CNN 모델에 입력되기 전에 정규화 과정이 필요하다. 정규화는 입력 데이터의 스케일을 조정하여 모델이 더 효율적으로 학습할 수 있도록 돕는다. 이 과정에서는 각 이미지의 픽셀 값을 0과 1 사이로 조정하여 신경망이 보다 안정적으로 학습할 수 있도록 한다^[10]. 식 (2)에서 $I_{no}$은 정규화된 데이터이며, I는 입력 데이터의 픽셀값, $\mu$은 데이터의 평균 밝기 그리고 $\sigma$는 표준 편차로 명암의 변동성을 보정한다. 이러한 외부 요인의 영향을 줄이고 피부색 변화를 명확히 파악하기 위해 그림 3처럼 정규화된 두 프레임과 차이를 계산한다.

(2)

$I_{norm}=\dfrac{I-\mu}{\sigma}$

그림 3. 정규화된 연속적인 두 프레임과 차이의 시각적 변화

Fig. 3. Visual change in two consecutive normalized frames and their difference

2.1.3 ROI(Region of Interest) 설정

일반적으로 rPPG 신호를 추출하기 이전에 얼굴 영역에서 중요한 부분인 이마와 뺨 등을 ROI로 설정한다¹¹. 본 연구에서 이마와 같은 다른 얼굴 부위는 여러 가지 이유로 제외된다. 첫째, 이마 부분의 혈류 변화가 상대적으로 적어 rPPG 신호 추출에 있어 신뢰성이 낮다는 점이 있다. 둘째, 이마는 시선 이동이나 표정 변화에 민감하여 신뢰도 높은 rPPG 신호를 추출하기 어렵다. 또한, 앞머리가 이마 부위에 가려지는 경우가 많아, 앞머리로 인해 이마 영역에서의 혈류 변화를 정확히 감지하는 데 어려움이 있기 때문이다. 이러한 이유로, 뺨 영역을 주요 ROI로 설정하고, 이 부위에서 발생하는 혈류 변화와 심박수 신호를 더 잘 추출할 수 있도록 하였다.

각 프레임의 픽셀은 2D 행렬로 표현하며 크기를 H(Height)와 W(Width)를 곱한 값으로 정의하고, 픽셀 좌표$(x_{1},\: y_{1})$에서 $(x_{2},\: y_{2})$까지 영역을 나타낸다. ROI의 특정 부분은 식 (3)과 같이 정의하며 그림 4와 같이 ROI 영역(뺨)을 설정한다. P(x, y)는 좌표 (x, y)에 있는 픽셀값이며, x, y의 각 파라미터는 가로, 세로에서의 좌표 범위이다.

(3)

$ROI =\left\{P(x,\: y)\in Frame | x_{1}\le x\le x_{2}\;{and}\;{y}_{1}\le{y}\le{y}_{2}\right\}$

그림 4. ROI(Region Of Interest) 설정 과정

Fig. 4. Setting up regions of interest (ROI)

2.2 TS-CAN(Temporal Shift Convolutional Attention Network)

그림 1-B에서 보여주는 CNN 및 Temporal Stream은 TS-CAN 모델 학습의 핵심 요소로, 입력 영상에서 공간적(CNN) 및 시간적(Temporal Stream) 정보를 결합하여 최종적으로 rPPG 신호를 추출하는 과정이다.

CNN Layers는 입력 영상을 처리하여 특징 맵을 추출한다. 각 CNN 층은 ReLU(Rectified Linear Unit) 활성화 함수를 통해 비선형성을 부여받아 복잡한 패턴을 학습할 수 있게 한다. CNN의 마지막 층은 Pooling Layers를 통해 특징 맵의 크기를 줄이는 동시에 중요한 정보를 유지하며, 학습 속도를 높이고 계산량을 줄이는 역할을 한다. 그 후, Temporal Stream은 CNN을 통해 추출된 공간적 특징을 시간적 차원에서 분석하여, 프레임 간 미세한 변화를 학습한다. Temporal Shift 기법은 프레임 간 상호작용을 학습하는 데 사용되며, 이 기법은 심박수에 따른 피부 색 변화와 같은 rPPG 신호의 시간적 패턴을 포착하는 데 중요한 역할을 한다. Temporal Shift 기법은 각 프레임을 시간적으로 이동시키며 이전 및 이후 프레임 간의 상호작용을 강조하여 시간적 정보를 더욱 정교하게 학습할 수 있도록 한다. CNN과 Temporal Stream은 각각 고차원적인 특징 맵(2D 또는 3D 텐서 형태)을 생성하고, 이들은 Flatten 과정을 거쳐 Fully Connected Layer로 전달된다. 예를 들어, N x M 크기의 특징 맵은 하나의 1D 벡터로 변환되어 Fully Connected Layer에 전달된다. Fully Connected Layer에서는 학습된 가중치(Weights)와 Bias를 바탕으로 입력된 벡터를 처리하여 최종 rPPG 신호를 예측하고 출력한다. CNN과 Temporal Stream의 협력은 공간적 정보와 시간적 변화를 결합하여, 비접촉 방식으로 신뢰성 높은 rPPG 신호를 추출할 수 있게 한다. 이는 비디오에서 발생하는 미세한 피부 색 변화와 심박 패턴을 감지하고 이를 기반으로 생리적 신호를 분석하는 데 중요한 역할을 한다.

2.2.1 Datasets

본 연구에서는 TS-CAN 모델 학습을 위해 사용했던 데이터셋은 UBFC-rPPG, IEEE Dataport에서 제공하는 공개 데이터셋, 그리고 직접 수집한 데이터로 그림 5와 같이 구성되었다. 데이터의 형식은 입력 데이터인 avi 파일과 라벨을 위한 PPG 데이터가 포함된 txt로 구성된다. UBFC-rPPG 데이터셋은 총 40명의 피험자로부터 30fps의 RGB 동영상과 동기화된 PPG 신호를 포함하고 있다. 마찬가지로 IEEE Dataport에서 6명의 피험자를, 마지막으로 직접 수집한 24명의 피험자로부터 구성했으며 총 70명의 데이터셋을 학습시킨다.

그림 5. TS-CAN 학습 모델을 위한 Datasets

Fig. 5. Datasets for TS-CAN Training Models

2.3 Peak to Peak Detection 및 HR Calculation

TS-CAN 모델에 의해 얻어진 rPPG 신호를 이용하여 HRV의 각 파라미터 분석을 위해 그림 6처럼 Peak Detection을 진행한다. 얻어진 신호에 대해서 노이즈가 섞여 있을 수 있으므로 심박 주파수 대역인 0.7~4 Hz의 대역통과 필터를 적용한다^[12]. 이후, 신호를 정규화(Normalization)하여 기준선을 맞추고 신호의 진폭 변동성을 줄인다. 피크 감지를 위해 python의 find_peak 알고리즘을 적용하여 펄스 주기의 지역 최댓값(peak)를 감지한다. 심박수는 1분(60초)에 감지한 피크 간의 간격인 R-R Interval 값을 나누어 계산한다.

그림 6. Peak-to-Peak Detection 알고리즘

Fig. 6. Peak-to-Peak Detection Algorithm

2.4 HRV(Heart Rate Variability) 분석

HRV는 일반적으로 맥박 신호를 통해 심장 박동 간 간격을 측정하여 ANS(Autonomous Nervous System, ANS)의 활동을 평가하는 분석이다. 이는 심박수 변화에 따라 ANS의 균형을 파악하는 데 유용하며 스트레스 수준 및 건강 상태를 측정하는 데 사용된다. 스트레스를 받을 때 뇌는 교감신경계(Sympathetic Nervous System, SNS)를 활성화하고, 교감신경은 부신을 자극해 아드레날린과 노르에피네피린을 분비시킨다. 이 결과로는 심박수 증가, 혈압 상승, 혈류 증가 및 도피 반응이 일어난다. 반대로 휴식을 취할 때 부교감신경계(Parasympathetic Nervous System, PNS)가 활성화되는데, 이는 심박수를 낮추고 호흡을 천천히 하며 휴식과 소화 반응이 일어난다. HRV는 시간 영역과 주파수 영역으로 나뉘어 각 파라미터 값을 비교하여 분석한다.

4.1 예측 데이터와 입력 데이터의 상관관계

$E^{2}K$ 측정 장비로부터 얻은 학습 입력 데이터와 예측 데이터 모두 심박수와 같은 생리학적 신호를 반영하기 때문에, 두 데이터 간의 상관관계를 정량적으로 평가하기 위하여 선형 회귀 분석을 그림 9과 같이 진행하였다.

그림 9. 입력과 예측 데이터의 상관관계 분석

Fig. 9. Correlate input and Predicted data

아래 식 (6)의 n은 회귀 계수로 독립 변수(x)와 종속 변수(y)에 대하여 BVP 데이터가 변할 때 rPPG 데이터가 얼마나 변하는지를 나타내며 결과는 표 3과 같다.

4.2 VR 기기 착용 전후의 HRV 분석

HRV 분석 지표 중 시간 영역에서의 지표는 BPM, NN50, RMSSD, 그리고 SDNN을 사용한다. 또한, 주파수 영역에서의 지표는 LF, HF, LF/HF, SD1, 그리고 SD2을 사용한다. 오픈 데이터셋을 포함한 총 40명의 HRV 결과는 표 4에 나와 있으며, VR 기기를 착용하기 전과 후에 측정된 값들을 Before와 After로 나누어 표시하고, Total은 각 지표에서의 증감 비율을 나타낸다.

실험 결과, VR 기기 착용 후 BPM은 평균 0.5 BPM 상승하였고, RMSSD는 30.2 ms 감소하였으며, LF Power는 40.5 상승하는 경향을 보였다. 이러한 결과는 VR 기기 착용이 SNS를 활성화하고, PNS의 활성을 억제하는 스트레스 반응을 나타내는 결과로, ANS 균형 변화가 스트레스 상태에서 어떻게 나타나는지 보여준다. LF/HF 비율의 증가 역시 SNS의 우세를 시사하며, 이는 VR 기기 착용으로 유발된 스트레스 반응과 일치하는 결과이다. 이 수치들은 ANS 균형의 변화를 잘 나타내며, 예측된 변화와 실험 결과가 일치함을 확인할 수 있었다.

4.3 고찰

이번 실험은 VR 기기 착용 시, 피실험자들이 스트레스를 받는 상황이라고 가정하여 HRV 지표 변화를 분석했다. 기존 연구들에 따르면¹⁵, 스트레스 상황에서 SNS가 활성화되고 PNS가 억제되면서 HRV 지표에 뚜렷한 변화가 나타난다고 보고되었다. 이러한 결과는 예상대로, 스트레스 상황에서 SNS가 활성화되고 PNS가 억제되면서 HRV 지표에 변화가 발생하는 경향을 뒷받침한다.

우선, 감소하는 지표로는 NN50, RMSSD, SDNN, HF Power, SD1, SD2가 있었으며, 이는 ANS가 스트레스를 받을 때 HRV가 줄어드는 패턴을 반영한다. 이와 관련된 연구에서는 스트레스가 HRV 지표 감소와 관련이 있다는 결과가 나타났다^[16].

이러한 결과는 SNS의 활성화로 인해 PNS가 억제되면서 나타난 것으로, 심장의 변동성이 줄어들어 R-R 간격의 변동성이 감소한 것을 의미한다. 반면, BPM, LF Power, LF/HF 비율은 스트레스 상황에서 SNS가 우세해지면서 심박수와 SNS 활성도가 증가해 예상대로 상승하는 경향을 보였다. BPM의 증가는 신체가 스트레스에 대응하여 혈액 순환을 빠르게 하기 위한 반응이며, LF Power와 LF/HF 비율의 증가는 SNS의 활성화로 인해 ANS의 균형이 SNS 쪽으로 이동했음을 나타낸다. 그러나 모든 피실험자들이 동일한 패턴을 보인 것은 아니었다. 개인의 ANS 반응에는 차이가 있었으며, 일부 피실험자들은 예상과 다른 결과를 보였다. 이는 각 피실험자의 기저 ANS 상태, 심리적 스트레스 내성, 신체 건강 등의 요인이 HRV에 영향을 미쳤을 가능성이 있다. 따라서 HRV 분석에서는 개별적인 ANS 반응 차이를 고려해야 하며, 추후 연구에서는 이를 보완할 수 있는 추가적인 변수를 분석하는 것이 필요하다.