• 대한전기학회
Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers
  • COPE
  • kcse
  • 한국과학기술단체총연합회
  • 한국학술지인용색인
  • Scopus
  • crossref
  • orcid

  1. (Dept. of Electrical and Robot Engineering, Soonchunhyang University, Korea)
  2. (Dept. of Electronics and Information Engineering, Soonchunhyang University, Korea)



Load forecasting, Deep Learning, LSTM, GRU, Attention Mechanism

1. 서 론

신재생 발전원의 발전 비중이 증가하고 있는 현재, 더욱 정확한 전력수요예측은 안정적인 전력수급계획의 수립을 위해 필요하다. 기존 국내 전력수요예측에 활용한 방법들은 지수평활법을 활용한 전력수요예측과 기온특성, 온도 민감도를 활용한 전력수요예측 등이 주로 사용되었다. 해외에서 전력수요예측에 적용한 대표적인 방법으로는 ARIMA (Auto-Regressive Integrated Moving Average) 모델이 사용되었다. 해당 모델은 입력 변수로 기온, 풍속, 습도 등의 기상요소를 사용하며, 생활 기상지수인 체감온도와 불쾌지수를 사용하여 전력수요예측을 수행하였다[1~3].

최근에는 기계학습, 딥러닝과 같은 인공지능 기반의 새로운 알고리즘을 적용하여 전력수요예측 분야에 활용되고 있다. 기계학습의 종류로는 랜덤 포레스트(Random Foreset), 서포트 벡터 회귀(Support vector regression) 등의 연구가 있다[4~6]. 딥러닝의 종류로는 RNN (Recurrent Neural Network), LSTM (Long Short Term Memory), GRU (Gated Recurrent Units) 등이 존재하며 해당 모델들을 사용한 연구가 진행되었[7~8].

딥러닝을 활용한 전력수요의 예측 정확도를 향상하기 위해 여러 연구가 진행되었다. 이러한 다양한 방법들은 학습 및 예측 정확도 향상을 위해 기존의 딥러닝 모델을 결합한 CNN-LSTM, LSTM-GRU 모델 등이며, 각각의 모델이 가지고 있는 단점을 보완하고 장점을 결합한 모델들을 활용하고 있다[9~11].

전력수요는 시간, 요일, 계절과 상관이 있으며 기상요소와 밀접한 관련이 있다[12]. 본 논문에서는 전력수요예측 정확도 향상을 위해 LSTM - GRU 모델에 Attention Mechanism 모델의 강점을 결합한 하이브리드 방식을 적용하였다. LSTM 모델은 장기적인 정보 저장능력으로 시퀀스의 깊은 의미와 연관성을 유지하기 위해 사용하였고, GRU는 비슷한 오차율을 보이는 타 모델 대비 Epoch가 현저히 적은 간결함으로 빠른 학습 속도와 높은 계산 효율을 확보하기 위해 사용하였다. Attention Mechanism은 모델의 입력 시퀀스 내 특정 중요 부분에 집중하도록 하여 예측을 위한 학습 요소 중에 중요 정보를 강조하여 예측의 정확도를 향상할 수 있다.

제안된 방식의 정확도 향상 검증을 위해 전력수요예측에서 주로 사용된 딥러닝 모델인 LSTM, GRU 모델과 제안한 하이브리드 방법의 수요예측 오차를 비교 분석해 전력수요예측의 정확도 향상을 검증하였고, 제안하는 새로운 모델은 기존의 전력수요예측 방법보다 더 나은 결과를 보여준다.

2. 학습 모델

2.1 딥러닝 모델

전력수요예측에서 주로 사용하는 딥러닝 학습 모델은 대표적으로 RNN 순환신경망 모델을 사용해 왔다. 하지만, 해당 모델은 장기적인 학습 시 기울기 소실, 장기기억 문제와 같은 단점이 있어 이를 해결하기 위해 LSTM 모델이 도입되었다. LSTM 모델은 이러한 기울기 소실 및 장기기억 문제의 해결을 위해 복잡한 내부 구조로 이루어져 있으며 이를 간단히 만든 GRU 모델이 등장하였다. 이러한 RNN 기반 딥러닝 모델은 seq2seq 모델로서, 고정된 길이의 벡터를 입력으로 고정된 길이의 벡터를 출력하는 특징을 가진다. 이와 같은 구조는 입력 시퀀스의 길이가 길어질수록 정보의 손실이 발생한다.

따라서, 본 연구에서는 시간대별, 일별, 계절별 등, 기상요소와 같은 전력수요에 영향을 미치는 요소의 패턴 및 추세 학습을 위해 LSTM, GRU 모델을 사용하였다. 또한, 예측의 성능을 향상하기 위한 방안으로 학습 과정 중 정보 손실 최소화 및 전체 시퀀스 중 중요한 정보를 놓치지 않기 위해 도입한 Attention Mechanism을 결합한 하이브리드 전력수요예측 모델을 제안한다.

2.2 Attention Mechanism

Attention Mechanism은 자연어 처리, 영상 분석 등에서 주로 사용되는 방법이다[13~16]. 기존의 RNN 기반 순환신경망 모델은 출력하는 값이 모든 시점을 하나의 벡터로 저장하여 압축한다. 따라서 데이터가 손실되거나 학습에 영향을 미칠 수 있는 중요한 feature가 손실될 수 있다. 따라서 해당 문제를 해결하기 위해 제안된 연구로 시계열 예측을 수행할 때, 입력된 데이터에 한 번 더 주목하는 방법이다.

Attention Mechanism은 Attention score를 구하는 여러 방법이 존재한다. 본 연구에서는 dot 방식으로 사용하며, 다음의 식 (1)과 같다.

(1)
$ \begin{align*} score(s_{t},\: h_{i})= s_{t}^{T}h_{i}\\ e^{t}=\sum_{i=1}^{N}s_{t}^{T}h_{i}\\ \alpha^{t}=soft\max(e^{t})\\ a_{t}=\sum_{i=1}^{N}\alpha_{i}^{t}h_{i} \end{align*} $

여기서, h, s는 각각 입력, 출력층의 은닉상태, t는 입력층의 시점.

Score는 현재 시점의 출력 결과를 예측하기 위해 앞선 입력층의 모든 은닉상태 값들과의 유사성을 판단하는 값이다. Softmax 함수를 사용하여 모든 값의 합이 1이 되도록 하는 확률분포를 구한다. Softmax 함수를 통해 구해진 값은 Context Vector라고 한다. 각각의 확률은 자신의 가중치가 되며 학습에 영향을 미치는 요소가 된다.

Context Vector를 LSTM 모델과 같은 RNN 모델에 결합하여 새로운 벡터를 만드는 과정을 Concatenate라 하며 이는 예측치를 출력하기 위한 과정이다. 해당 과정을 그림 1로 표현할 수 있다.

그림 1. Attention Mechanism 모델 구조

Fig. 1. Attention Mechanism Model Structure

../../Resources/kiee/KIEE.2024.73.9.1507/fig1.png

2.3 모델 구성

앞서 설명한 Attention Mechanism과 LSTM, GRU 모델과 결합하여 새로운 모델을 구현한다. 그림 2의 구조로 LSTM을 통해 나온 은닉층이 Attention의 입력으로 사용되어 Softmax에서 가중치를 가진 뒤, GRU 층을 통해 예측치가 나오도록 설계한다.

그림 2. 제안하는 모델 구조

Fig. 2. Proposed Model Structure

../../Resources/kiee/KIEE.2024.73.9.1507/fig2.png

해당 모델은 기존의 LSTM 모델과 GRU 모델을 결합하여 상대적으로 적은 데이터만으로 학습률을 높일 수 있다. 추가로, Attention Mechanism을 사용하여 GRU의 적은 데이터를 통한 학습 요소에 가중치를 부여하여 원하는 시점의 중요한 학습 요소를 선정하여 기존의 딥러닝 모델 구조보다 더 나은 전력수요예측이 가능하다.

2.4 데이터 구성

전력수요예측을 수행하기 위한 학습 요소를 선정하며, 선정 기준은 피어슨 상관계수를 사용하여 전력수요량과 높은 관련성을 가지는 요소를 사용한다. 또한, 체감온도(Sensible Temperature)와 불쾌지수(Discomfort Index)를 추가하여 사용하며 구하는 수식은 식 (2), (3)과 같다.

(2)
$ST=13.12+0.6215T-11.37 V^{0.16}+0.3965 V^{0.16}T$
(3)
$DI=\dfrac{9}{5}T-0.55(1-RH)(\dfrac{9}{5}T-26)+32$

여기서, $ST,\: DI$ 는 각각 체감온도와 불쾌지수, $T$ 는 기온(℃), $V$ 는 풍속(km/h), $RH$ 는 상대습도(%).

상관계수 판단은 온도별 특성이 나타날 수 있는 온도 구간별로 나누어 판단한다. 구간은 추운 기간(10월~4월)과 더운 기간(5~9월)으로 월별로 나누었다. 또한, 날씨 및 전력수요의 주간 패턴을 사용하기 위해 하루 전, 3일 전, 일주일 전의 전력수요와의 패턴도 분석한다.

피어슨 상관분석은 두 변수 간의 어떤 선형적 관계가 존재하는지 분석하는 방법이다. 상관계수는 서로 간 연관된 정도를 –1에서 1 범위로 나타내며 절댓값 1에 가까울수록 강한 상관관계를 보인다. 상관계수를 해석하는 방법은 표 1과 같으며, 상관관계를 구하는 식은 식 (4)와 같다.

해석에 사용한 데이터는 전력거래소에서 제공하는 제주도 1시간 단위 전력수요량, 기상청에서 제공하는 과거 기상요소를 사용한다. 제주도에 다양한 형태의 사용 가능한 데이터가 존재하여 전력수요를 명확히 확인할 수 있기에 활용하였다.

표 1 피어슨 상관관계 해석

Table 1 Pearson Correlation Interpretation

상관계수(절댓값)

해석

0.7 ~ 1.0

매우 강한 상관관계

0.5 ~ 0.7

강한 상관관계

0.3 ~ 0.5

상관관계

0.0 ~ 0.2

상관관계가 없음

(4)
$peason =\dfrac{(\sum XY-\dfrac{\sum X\sum Y}{N})}{(\sum X^{2}-\dfrac{(\sum X)^{2}}{N})(\sum Y^{2}-\dfrac{(\sum Y)^{2}}{N})}$

여기서, X, Y는 서로 독립적인 변수이며 N은 변수의 개수를 의미한다.

피어슨 상관계수 그래프에서 하 삼각 행렬은 더운 기간의 피어슨 상관계수를 표현했으며, 상 삼각 행렬은 추운 기간의 상관계수를 표현하였다. 기온 및 체감온도, 불쾌지수 등은 상반된 결과를 보이지만, 하루 전, 3일 전, 일주일 전과 같은 날짜별 요소에서는 비슷한 수치를 보인다.

또한, 피어슨 상관계수에서 나온 수치를 토대로 월별, 요일별 전력수요 그래프를 그려보면 그림 4, 그림 5로 표현된다. 해당 그림에서 전력수요 그래프는 요일별, 월별 전력수요가 서로 다르다. 따라서, 전력수요예측을 위해서는 기온 및 체감온도, 불쾌지수를 고려한 계절 특성, 월별 특성을 고려해야 하며, 요일별로 다른 전력특성을 고려해야 한다.

그림 3. 피어슨 상관계수 표

Fig. 3. Pearson Correlation Coefficient Table

../../Resources/kiee/KIEE.2024.73.9.1507/fig3.png

그림 4. 요일별 평균 전력수요

Fig. 4. Average power demand by day of the week

../../Resources/kiee/KIEE.2024.73.9.1507/fig4.png

그림 5. 월별 평균 전력수요량

Fig. 5. Average Monthly Electricity Demand

../../Resources/kiee/KIEE.2024.73.9.1507/fig5.png

앞선 요일별 전력수요 차이를 반영하기 위해 요일별 특성을 고려한다. 따라서 데이터에 더미 변수(Dummy Value)를 사용하여 1과 0으로 구분 지어 해당 요일에 해당하면 1, 그렇지 않으면 0으로 표현하여 모델에 반영한다. 따라서, 전력수요예측을 진행하기 위해 서로 다른 특성을 가지며, 전력수요 패턴이 다를 경우 가중치를 주어 예측을 수행하여야 정확한 전력수요예측이 될 것이다. Attention Mechanism을 기존의 딥러닝 모델에 결합한 알고리즘은 그림 6과 같다.

그림 6. 알고리즘 순서도

Fig. 6. Algorithm Flow Chart

../../Resources/kiee/KIEE.2024.73.9.1507/fig6.png

3. 사례 연구

앞서 설명한 인공지능 기반 전력수요예측 중 LSTM과 GRU의 장점을 결합한 모델에 새로이 제안하는 Attention Mechanism을 추가하여 전력수요예측을 진행한다. 또한, 전력수요예측의 정확도 평가는 평가 척도인 MAPE (Means Absolute Percentage Error), RMSE (Root Mean Squated Error), sMAPE (symmetric Mean Absolute Percentage Error), MAE(Mean Absolute Error) 등으로 평가하며, 본 연구에서는 MAPE, RMSE를 사용하며 이는 다음과 같은 식으로 평가된다.

(5)
$M A P E=\dfrac{1}{n}\sum_{i=1}^{n}\left |\dfrac{y_{predicted}-y_{true}}{y_{true}}\right |\times 100[\%]$
(6)
$R M S E=\sqrt{\sum_{i=1}^{n}\dfrac{(y_{predicted}-y_{true})^{2}}{n}}$

여기서, $n$은 예측 기간의 데이터 총 개수, $y_{predicted}$학습 모델로 예측한 전력수요 예측값, $y_{true}$전력수요 실제값

사례 연구 지역으로 제주지역을 선정하였으며, 계절의 특성을 나타내는 기간으로 한국의 24절기 중 춘분, 하지, 추분, 동지를 포함하는 일주일 월요일부터 일요일까지 전력수요예측을 진행한다. 학습데이터는 2017년 1월 1일부터 2021년 12월 31일까지의 데이터를 사용하였으며, 2022년에 대해 전력수요를 예측 비교한다. 2022년의 춘분, 하지, 추분, 동지의 날짜는 각각 3월 21일 목요일, 6월 21일 화요일, 9월 23일 금요일, 12월 22일 목요일로 각주의 월요일부터 일요일까지의 전력수요예측을 수행하였다.

표 2는 각각 춘분, 하지, 추분, 동지를 포함하는 일주일간의 전력수요예측을 수행한 결과로 제안하는 Hybrid 알고리즘의 성능이 우수한 것을 확인할 수 있다. 또한, 예측의 성능을 확인하기 위해 주간 예측 그래프를 사용할 경우, 정확히 확인하기 어려워 각각 춘분, 하지, 추분, 동지 당일의 전력수요예측 그래프를 표현하였다. 계절별 전력수요예측의 결과는 그림 7, 8, 9, 10과 같다.

표 2 주간 전력수요예측 알고리즘별 비교

Table 2 Comparison by Weekly Load Forecasting Algorithm

GRU

LSTM

Hybrid

MAPE

2.55%

2.03%

1.73%

여름

2.13%

2.59%

2.04%

가을

1.88%

1.82%

1.71%

겨울

1.62%

1.15%

0.95%

RMSE

19436.44

15909.63

14080.26

여름

17451.27

21645.27

16839.28

가을

15005.38

14263.73

13717.35

겨울

16695.43

11302.10

10117.14

MAPE

2.05%

1.91%

1.60%

RMSE

17147.13

15780.18

13688.51

그림 7. 춘분 기간 전력수요예측 (22년 3월 21일)

Fig. 7. Forecasting Load for Spring Period

../../Resources/kiee/KIEE.2024.73.9.1507/fig7.png

그림 8. 하지 기간 전력수요예측 (22년 6월 21일)

Fig. 8. Forecasting Load for Summer Period

../../Resources/kiee/KIEE.2024.73.9.1507/fig8.png

그림 9. 추분 기간 전력수요예측 (22년 9월 23일)

Fig. 9. Forecasting Load for Autumn Period

../../Resources/kiee/KIEE.2024.73.9.1507/fig9.png

그림 10. 동지 기간 전력수요예측 (22년 12월 22일)

Fig. 10. Forecasting Load for Winter Period

../../Resources/kiee/KIEE.2024.73.9.1507/fig10.png

표 3은 당일의 전력수요예측 알고리즘의 성능 비교이며, MAPE 수치는 주간, 당일 모두 제안하는 Hybrid 모델이 우수한 것으로 확인되며, 그래프가 제일 잘 따라가는 것으로 확인된다.

표 3 알고리즘별 전력수요예측 결과

Table 3 Results of Load Forecasting by Algorithms

GRU

LSTM

Hybrid

MAPE

2.03%

1.77%

1.07%

여름

2.06%

2.48%

1.56%

가을

1.78%

1.72%

1.53%

겨울

1.18%

0.79%

0.52%

RMSE

17356.31

15554.01

10110.46

여름

17233.6

20314.9

14253.4

가을

14772.27

13884.44

12445.06

겨울

13039.46

8266.14

5746.77

MAPE

1.76%

1.69%

1.17%

RMSE

15600.41

14504.87

10638.92

4. 결 론

전력수요예측은 전력수급계획을 세우기 위한 중요한 과제이다. 더 정확한 전력수요예측을 위하여 다양한 딥러닝 기반 알고리즘이 계속 연구, 개발되고 있다. 기존의 전력수요예측은 LSTM, GRU 기반의 순환신경망 모델인 RNN 모델을 활용한 연구가 많이 진행되었다. LSTM 및 GRU 모델들은 장기적인 학습이 가능하지만, 학습 시 학습 요소의 중요한 feature가 손실될 수 있다. 따라서, 학습 요소의 중요한 feature가 손실되는 문제를 해결하기 위해 학습에 지대한 영향을 미치는 요소를 강조하여 예측의 정확도를 향상시킬 필요가 있다.

본 연구에서는 복잡한 데이터를 학습할 수 있는 장점을 가지는 LSTM과 모델의 복잡성이 단순화된 GRU 모델을 결합한 새로운 딥러닝 모델을 제시하며, 이에 학습 요소의 중요성에 대하여 각각의 가중치를 정한 뒤, 학습에 반영하는 Attention Mechanism을 사용한 모델을 제안하였다. 제안한 Hybrid 모델의 적합성을 평가하기 위해 제안한 모델과의 비교군으로 LSTM 모델과 GRU 모델로 수요예측을 진행하여 결과를 비교하였다. 2017년부터 2021년까지의 데이터를 학습 요소로 사용하고, 2022년 사계절에 대한 전력수요예측을 수행한 결과, 기존의 LSTM 모델을 사용한 방법 대비 평균 MAPE는 약 19.3% 감소, GRU 모델을 사용한 방법 대비 평균 MAPE는 약 28% 감소했다. Attention Mechanism과 LSTM – GRU 모델을 결합한 Hybrid 모델은 기존 다른 모델들의 방법보다 향상된 예측값을 도출하였으며, 예측의 정확도를 향상하였다.

실시간 발전량이 계측되지 않는 소용량의 PV와 같은 소형 발전기의 증가로 인한 BTM(Behind The Meter)이 증가하고 있다. BTM의 증가는 전력수요를 감소시키는 요인 중 하나이며, 전력수요예측의 불확실성이 증가 되는 원인이다. 향후 전력수요예측의 정확도를 향상시키기 위해서 이러한 BTM 등을 고려한 전력수요예측 알고리즘으로 확대 적용 예정이다.

Acknowledgements

본 연구는 순천향대학교의 연구비 지원을 받아 수행하였음.

References

1 
Hippert, H. S., Pedreira, C. E., & Souza, R. C., “Neural networks for short-term load forecasting: A review and evaluation,” IEEE Transactions on Power Systems, vol. 16, no. 1, pp. 44~55, 2001.DOI
2 
Martin T. Hagan, and Suzanne M. Behr, “The Time Series Approach to Short Term Load Forecasting,” IEEE Transactions on Power Systems, vol. 2, no. 3, pp. 785~791, 1987.DOI
3 
L. J. Soares, M. C. Medeiros, “Modeling and forecasting short-term electricity load: A comparison of methods with an application to Brazilian data,” International Journal of Forecasting, vol. 24, no. 4, pp. 630~644, 2008.DOI
4 
Z. Tan, J. Zhang, Y. He, Y. Zhang, G. Xiong, and Y. Liu, “Short-Term Load Forecasting Based on Integration of SVR and Stacking,” IEEE Access, vol. 8, pp. 227719~227728, 2020.DOI
5 
A. T. Chan, J. H. Chow, and C. Y. Tse, “Short-term load forecasting with seasonal effects using random forests,” Energy, vol. 36, no. 3, pp. 1413~1421, 2011.URL
6 
S. K. Kim, M. H. Kim, and Y. J. Kim, “Support vector regression for short-term load forecasting,” IEEE Transactions on Power Systems, vol. 22, no. 2, pp. 576~585, 2007.URL
7 
K. S. Kim, J. H. Lee, and S. B. Hong, “Short-term load forecasting with Gated Recurrent Units (GRUs),” IEEE Transactions on Smart Grid, vol. 12, no. 3, pp. 2201~2210, 2021.URL
8 
Jatin Bedi, Durga Toshniwal, “Empirical Mode Decomposition Based Deep Learning for Electricity Demand Forecasting,” IEEE Access, vol 6, pp. 49144~49156, 2018.DOI
9 
M. S. Hossain, and H. Mahmood, “Short-Term Load Forecasting Using an LSTM Neural Network,” IEEE Power Energy Conference at Illinois(PECI), pp. 1~6, 2020.DOI
10 
Bo-Sung Kwon, Rae-Jun Park, and Kyung-Bin Song, “Short-Term Load Forecasting Based on Deep Neural Networks Using LSTM Layer,” Journal of Electrical Engineering and Technology, vol. 15, pp. 1501~1509, 2020.DOI
11 
S. H. Rafi, N. A. Masood, S. R. Deeba, and E. Hossain, “A Short-Term Load Forecasting Method Using Integrated CNN nad LSTM Network,” IEEE Access, vol. 9, pp. 32436~32448, 2021.DOI
12 
Korea Power Exchange, “A Study on Short-Term Load Forecasting Technique and its Application,” 2011.URL
13 
Minh-Thang Lougn, Hieu Pham, Christoper D. Manning, “Effective Approaches to Attention-based Neural Machine Translation,” Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412~1421, 2015.URL
14 
Xiang Li, Wei Zhang, Qian Ding, “Understanding and improving deep learning-based rolling bearing fault diagnosis with attention mechanism,” Signal Processing, vol. 161, pp. 136~154, 2019.DOI
15 
Lee Jonghyeok, Choi Suyeon, Kim Yeonjoo, “Prediction of dam inflow based on LSTM-s2s model using luong attention,” J. Korea Water Resour Assoc. vol. 55, no. 7, pp. 495~504, 2022.DOI
16 
Kuihua Wu, Jian Wu, Liang Feng, Bo Yang, Rong Liang, Shenquan Yang, Ren Zhao, “An attention-based CNN-LSTM-BiLSTM model for short-term electric load forecasting in integrated energy system,” International Transactions on Electrical Energy Systems, vol. 31, Issue 1, 2020.DOI

저자소개

윤상철 (Sang-Cheol Yun)
../../Resources/kiee/KIEE.2024.73.9.1507/au1.png

He received his B.S. degree in Electronics and information Engineering and M.S. degree in Electrical and Robot Engineering from Soonchunhyang University, Korea, in 2022 and 2024, respectively.

김병호 (Byoungho Kim)
../../Resources/kiee/KIEE.2024.73.9.1507/au2.png

He received his B.S., M.S. and Ph.D. degrees in Electrical Engineering from Soonchunhyang University, Korea, in 2007, 2009 and 2015, respectively. He is currently an assistant professor at the Dept. of Electronics and Information Engineering at Soonchunhyang University, Korea.

김홍래 (Hongrae Kim)
../../Resources/kiee/KIEE.2024.73.9.1507/au3.png

He recevied his B.S. and M.S. degrees in Electrical Engineering from Yonsei University, Korea in 1986 and 1989, respectively. He received his Ph.D. in Electrical Engineering from Texas A&M University, College Station, Texas, in 1995. He is currently a professor at the Dept. of Electronics and Information Engineering at Soonchunhyang University, Korea.