2.1 Convolutional Neural Network(CNN) 모델

CNN은 비디오 또는 이미지 데이터에서 공간적 특성 정보를 추출하기 위해 개발되었다⁽¹²⁾. CNN은 사각형이나 쌍곡탄젠트와 같은 필터를 사용하여 샘플 데이터 세트에서 주요 특성을 추출한다. 여기서 정보 추출의 범위와 정밀도는 필터 크기와 레이어의 깊이에 따라 달라진다. 이미지의 특성 추출에 주로 사용되는 2D CNN과 달리 온도나 압력, 속도 등의 시계열 데이터의 특성을 추출하는 데 사용되는 1D CNN 필터는 샘플링 주기를 따라 시간의 한 방향으로만 이동하게 된다. 따라서 1D CNN은 다양한 센서 신호의 시계열 특성을 추출하기 위해 적용될 수 있다. 1D CNN은 다음과 같이 표현할 수 있다.

여기서 $a_{j}^{l}(\tau)$, $b_{j}^{l}$, $f^{l}$, $k_{jf}^{l}$ 는 각각 특징 맵 j, 특징 맵 j의 바이어스 벡터, 총 특징 맵 개수 및 레이어 (l+1)에서 특성 맵을 생성하는 커널을 말하며 σ는 비선형 시그모이드 함수이다. 그림 1과 같이 CNN은 하위 레이어에서 상위 레이어로 이동하면서 특성을 추출하게 된다. 이는 합성곱 층(Convolutional Layer), 활성화 함수(Activation Function)를 통한 정보 전달 여부 결정, 풀링 층(Pooling Layer)을 거치는 과정이며, 이러한 특성 추출을 통해 나열된 정보가 완전연결(Fully Connected)되어 최종적인 분류(Classification)의 값으로 도출된다.

2.2 Long-Short Term Memory(LSTM) 모델

LSTM은 시계열 순차 데이터를 처리하고 저장하기 위해 개발된 RNN(Recurrent neural network) 알고리즘 중 하나이다⁽¹³⁾. 전통적인 RNN의 문제점은 데이터가 입력지점에서 멀어질수록 학습 성능이 저하된다는 것이다. 이것은 경사 소실(Gradient vanish) 문제이며 초기 가중치가 더 지속하지 않기 때문에 발생한다⁽¹⁴⁾. 이 문제를 해결하기 위해 학습 프로세스 동안 각 메모리 셀의 상태 및 출력 값을 제어할 수 있는 LSTM이 제안되었다. LSTM은 단기 메모리의 장기 저장을 위해 반복 가능한 연결을 사용하는 3개의 장치(예 : 입력, 출력 및 망각 게이트)와 메모리 블록으로 구성된다. 이 게이트는 LSTM이 학습 기간 중 오래된 정보를 저장하고 액세스할 수 있게 하여 경사 소실 문제를 완화한다. LSTM에 사용되는 3개의 게이트는 이전 정보를 장기적으로 활용할 수 있을 뿐만 아니라 학습 성능을 향상한다. 장기 저장기능이 있는 LSTM의 단기 메모리는 시계열 패턴을 나타내는 지표로 시계열 데이터 처리에 적합하며 우수한 성능을 제공한다. LSTM의 구조는 그림 2에 나타나 있다. $x^{t}$는 시각 t에서의 입력 벡터, W는 모든 입력 가중치, R은 반복 가중치이며, p는 각 핍홀의 가중치, b는 각각의 바이어스 가중치이다. 입력 데이터 $x^{t}$는 숨겨진 상태 $y^{t}$를 업데이트하고, 단계 t에서의 숨겨진 상태 $y^{t}$는 $y(t-1)$로 부터 도출된다. 일반적인 LSTM의 수식은 다음과 같다.

여기서 $i^{t}$, $f^{t}$, $o^{t}$, $c^{t}$ 는 각각 입력 게이트, 망각 게이트, 출력 게이트 및 메모리 셀이다. 또한, g 및 h는 비선형 활성화 함수이다. 게이트 함수는 0과 1 사이의 값으로 출력되는 로지스틱 시그모이드 함수이다. 입력 및 출력 게이트의 활성화 기능은 쌍곡탄젠트 함수이며 ⊙ 표기법은 두 벡터 사이의 점별 곱셈이다. (2)의 입력 벡터는 입력 게이트 (3)의 출력 벡터와 곱해지고, (5)의 셀은 데이터의 저장 여부를 결정한다. 데이터를 망각하기로 결정되면 입력 벡터는 망각 게이트 (4)로 전달된다. 특성을 저장하는 경우 셀은 입력 벡터를 (6)의 출력 게이트 및 (7)의 블록 출력으로 전송한다.

2.3 Bidirectional Long-Short Term Memory(Bi-LSTM) 모델

기존 LSTM 기법은 각 레이어에서 망각할 정보와 저장할 정보를 결정할 수 있다. 그러나 시계열 데이터의 특성상 순방향 데이터와 역방향 데이터를 모두 출력 레이어로 활용할 수 있다. 그림 3과 같이 Bi-LSTM는 과거에서 미래, 미래에서 과거의 양방향으로 데이터를 수집하고 기억할 수 있으므로 기존 LSTM보다 더 많은 정보에서 특징을 추출할 수 있다⁽¹⁵⁾. Bi-LSTM은 순차적 특성을 가진 신호 데이터의 과거 및 미래 정보를 고려하여 시계열 데이터를 더욱 잘 수집하고 보존할 수 있다.

2.4 Residual Network

Residual network는 간단하게 심층 신경망을 최적화하는 방법의 하나이며⁽¹²⁾ 지름길 연결을 사용하여 심층 네트워크에 쉽게 적용하여 높은 정확도를 달성할 수 있다. 이 네트워크의 기본 원리는 이전 레이어의 출력과 다음 레이어의 출력을 결합하는 것이다. Residual network의 추가는 복잡성을 증가시키지 않고도 정확도를 상당히 향상할 수 있다. 잔차 유닛은 $f(x)$와 $x$로 구성된다. $x$는 입력 데이터, $f(x)$는 각 레이어, $y=f(x)$는 표준 네트워크이며, Residual network는 방정식 $y=f(x)+x$로 표시된다. 따라서 잔차 유닛은 식(8)로 나타낼 수 있다. 이전 레이어의 출력이 (9)의 다음 레이어 출력에 추가된다. 식(8) 및 (9)는 식(10)의 과정을 통해 간단히 식(11)로 나타낼 수 있다.

센서 신호 데이터는 기본적으로 시간 의존적이며 더욱 나은 일반화와 센서 데이터 학습 향상을 위해 이전 레이어의 출력을 다음 레이어의 출력에 추가하는 프로세스가 수행된다. 심층 인공신경망은 일반적으로 더 깊어질수록 최적화하기가 더 어렵다. 따라서 Residual network를 사용함으로써 심층 신경망에서 시계열 센서 데이터를 더욱 쉽게 ​​최적화하고 높은 정확도를 달성할 수 있다.

2.5 딥스택 인공신경망 모델

제안된 딥스택 인공신경망 모델의 구성은 그림 4와 같다. 모델 구성은 각 인공신경망 알고리즘(CNN, LSTM, Bi-LSTM)이 2개 레이어로 구성된 총 6개 레이어로 이루어져 있다. 각 레이어 이후에는 출력 노드의 절반을 임의로 삭제하는 Dropout technique이 적용되었다. Dropout이란 과적합(Overfitting) 문제를 방지하기 위해 학습 단계에서 레이어 간의 일부 연결을 임의로 삭제하여 가중치를 업데이트하는 것을 말한다. 본 연구에서는 Dropout을 0.5(50%) 적용하였으며 이렇게 학습된 모델은 평가 단계에서 더욱 높은 정확도를 가져온다. 각 알고리즘 이후에는 Residual network를 사용하여 최초의 입력 데이터를 다시 합하게 된다. 이를 통해 복잡한 과정 없이 심층망에서 데이터의 특성 추출을 최적화하고 예측률 향상에 기여할 수 있다.

선박의 전력 부하 예측을 위한 상세한 입출력 레이어 구성과 뉴런 수는 그림 5와 같다. 각 알고리즘의 배치 특징은 CNN, LSTM, Bi-LSTM 알고리즘이 가지는 특성에 따라 살펴볼 수 있다. 최초 전력 부하 데이터 입력 이후 1D CNN 레이어가 배치된다. 1D CNN 레이어에서는 시계열 전력 데이터의 급격한 증가나 감소의 공간적 특성 추출을 수행한다. 합성곱 기능을 통해 데이터를 축소하면서 국부적인 특징을 정확하게 추출한다. 1D CNN 레이어 이후에는 Bi-LSTM 레이어가 배치된다. Bi-LSTM 레이어는 LSTM 레이어와 다르게 정보의 교환이 순방향과 역방향으로 이루어진다. 또한, 장단기 기억의 저장 여부 결정을 통해 입력 정보의 시간적 특성을 더욱 잘 추출할 수 있다. 따라서 최초의 1D CNN 레이어와 이후 배치되는 LSTM 레이어 사이에서 정보 교환을 통해 시간적, 공간적 특성을 추출하게 된다. 마지막으로는 LSTM 레이어가 시간적 특성 추출을 하게 되며 이렇게 CNN, LSTM, Bi-LSTM 알고리즘 모두를 사용하여 입력 정보의 시간적, 공간적 특성 추출을 통해 비선형적 특징을 가지는 함정 전력 부하의 예측을 효율적으로 수행하게 된다.

3.1 선박 전력 부하 자료

본 논문에서는 목포해양대학교 실습선인 새누리호의 항해 데이터를 사용하여 단기 전력 부하 예측을 하였다. 새누리호는 전장 103m, 배수량 4,700톤의 대형 함정이며 세부 제원은 표 1과 같다. 전력 부하 특성으로는 항해 장비 통신장비에 필요한 전원과 함정 기동에 필요한 펌프와 모터류가 있으며, 조명 및 생활 부하로 이루어져 있다. 항해 중에는 당직자들이 3교대로 임무를 수행하고, 출항과 입항 시에 많은 장비가 가동되어 부하가 높으며 항해 시에 간헐적 작동되는 장비들로 인해 부하 사용량이 불규칙한 것이 특징이다. 선박의 최대 전력 부하는 약 1,540kW 정도이다. 전력 부하 예측은 2019년 4월 17일 24시간의 항해 데이터를 사용하였다. 00시부터 14시까지의 14시간을 학습하여 이후 14시부터 24시까지의 10시간을 예측하였으며, 전력 데이터 샘플링은 1초 간격으로 하였다.

3.2 평가 지표

전력 부하 예측의 정확도를 나타내기 위해 본 논문에서는 평균 제곱 오차(Mean squared error, MSE)와 평균 절대오차(Mean absolute error, MAE)를 사용하였으며, 식은 아래와 같다. 평균 제곱 오차와 평균 절대오차는 실제 값과 측정값의 차이를 구하고, 이를 평균화하는 것에 공통점이 있으며 손실함수와 회귀지표로 주로 쓰인다. n은 전체 데이터의 개수, $Actual_{i}$는 i번째 지점에서의 실제 부하, ${for}ec\ast_{i}$는 i번째 지점에서의 예측 전력 부하이다.

3.3 전력 부하 예측 결과

전력 부하 예측을 위한 프로그램은 파이썬을 사용하였으며 케라스 라이브러리를 사용하였다. 총 반복횟수는 50회이며 입력 데이터는 더욱 나은 학습효과를 위해 0에서 1 사이의 값으로 정규화하였다. 14시간의 전력 부하 학습 결과는 그림 6과 같으며 이후 10시간의 전력 부하를 예측한 결과는 그림 7과 같다. 학습 초반부에 큰 부하 변동이 발생하지만, 이후 잘 추종하는 것을 확인할 수 있으며 이는 예측 단계에서도 부하 변동에 따라

정확하게 예측하는 것을 확인할 수 있다. 그림 8은 학습 단계와 예측 단계에서의 오차를 나타낸다. 반복횟수가 진행됨에 따라 MAE는 0.03 이하의 값을 나타냈으며, MSE의 경우에는 0.002정도의 낮은 오차를 보였다. 대상 선박은 대형 함정에 속하나 실습선으로써 부하 변동이 크지 않은 편이라 과적합(Overfitting)이 일어날 수 있다. 제안된 딥스택 구조 이외에Dropout technique과 Residual network를 적용하지 않을 때는 과적합이 발생하여 예측 결과의 오차가 커진다. 특히 Dropout technique이나 Residual network를 각각 적용하였을 경우 모두 과적합이 발생하였다. 본 연구에서는 3가지 알고리즘(CNN, LSTM, Bi-LSTM)을 모두 사용하는 딥스택 구조에 Dropout technique과 Residual network를 모두 적용하여 과적합을 막으며 높은 예측 결과를 확인하였다.

3.4 제안된 모델과 단일 알고리즘 사용 모델과의 결과 비교

실제 함정의 전력 부하 예측에 적용하기 위하여 제안된 모델과 기존 단일 신경망 알고리즘을 사용한 모델과의 정확성을 비교하였다. 제안된 모델은 3가지 알고리즘(CNN, LSTM, Bi-LSTM)을 시간적, 공간적 특성을 모두 추출하기 위해 적용하였으며, 단일 알고리즘 사용 모델은 각각 CNN과 LSTM을 이용하여 모델을 구성하였다. 객관성 있는 정확도 비교를 위하여 레이어는 모두 6 레이어로 통일하였으며, 뉴런 수도 각 레이어마다 통일시키고 Dropout technique와 Residual network를 같게 적용했다.

표 2에서는 제안된 모델과 단일 알고리즘을 적용한 모델의 구성과 학습 단계와 시험 단계의 오차를 비교하였다. 표 2의 C, Bi, L 기호는 각각 사용된 알고리즘이 CNN, Bi-LSTM, LSTM을 의미하며 괄호 안의 숫자는 각 레이어에서의 뉴런 개수이다. 비교 결과 CNN, LSTM의 알고리즘을 단독으로 사용한 모델보다 3가지 알고리즘을 모두 사용한 제안된 모델의 정확도가 비교적 높음을 확인할 수 있다. 특히 CNN 단독사용 모델은 LSTM 단독사용 모델보다 정확도가 훨씬 낮음을 볼 수 있다. 또한, 한 가지 알고리즘을 단독으로 사용한 모델의 전력 부하 예측 결과를 그래프로 보면 그림 9와 같이 매초 변동하는 부하를 정확하게 추종하지 못하므로 선박의 전력 부하 예측에 적용할 수 없다고 판단된다.