2.1 머신러닝

기계학습(Machine Learning)은 컴퓨터 과학 분야로 알고리즘을 이용해 데이터를 분석하고 예측하는 연습을 통해 컴퓨터가 학습하도록 한다. 즉, 예제 데이터 집합이나 경험을 사용하여 주어진 성능 기준을 최적화하는 것이다⁽¹⁰⁾. 기계학습의 과정은 데이터 입력, 추상화, 일반화의 세 단계로 나눌 수 있으며 학습 방법으로는 대표적으로는 지도학습(Supervised Learning)과 비지도 학습(Unsupervised Learning)으로 나눌 수 있다. 데이터 입력 과정은 미리 관측하거나 저장된 데이터의 입력이고, 추상화 과정에서 데이터를 더 넓은 표현과 개념으로 변환하여 의미를 부여한다. 일반화 과정은 추상화된 데이터로부터 지식과 추론을 생성하여 새로운 상황에서 실행한다.

지도학습은 문제에 대한 정답이 주어진 학습 방법으로 입력 데이터와 그것에 대한 결괏값(Label)이 한 쌍으로 이루어진 데이터를 학습시킨다. 지도학습의 종류에는 회귀분석(Regression)과 분류(Classification)가 있다. 회귀분석은 레이블 y가 실수인 경우를 말하며 어떤 데이터들의 특징을 기준으로 하여 연속된 값, 즉 그래프를 예측하는 문제로 어떤 패턴이나 트렌드를 예측할 때 사용한다. 분류는 레이블이 있는 학습 데이터를 학습한 후에 새로 입력된 데이터가 어느 그룹에 속하는지 찾아내는 문제이다. 입력에 대응하는 출력을 분석하여 이산적인 값을 찾는 것이다.

비지도 학습은 입력에 대한 정답이 없는 데이터 집합이 주어지는 경우를 말한다. 입력 데이터에 대한 레이블이 없는 데이터를 비슷한 특징끼리 군집화하여 해당 데이터를 통해 유의미한 지식을 얻고자 할 때 사용된다. 비지도 학습 알고리즘으로는 대표적으로 군집화(Clustering)가 있다. 입력된 데이터가 어떤 형태로 그룹을 형성하고 있는지 파악하는 것이다. 데이터들의 특징을 분석하여 유사한 특징을 가진 데이터끼리 그룹화하여 새로운 데이터가 입력되면 어느 군집으로 분류되는지 분석한다. 레이블이 없어서 군집의 정확도를 평가할 수 없으므로 군집 간의 거리, 지름, 분산도 등을 종합적으로 평가한다. 일반적으로 군집 간 분산(Inter-Cluster Variance)이 최대, 군집 내 분산(Inner-Cluster Variance)이 최소가 될 때 최적의 군집이라고 판단한다. 군집화는 사용하는 알고리즘에 따라 분할 기법의 군집화와 계층적 기법의 군집화로 나뉜다.

기계학습의 다른 학습 방법으로는 강화학습이 있다. 강화학습은 시도와 실패를 통해 학습하는 자가 학습 시스템이며 주체(Agent), 환경(Environment), 상태(State), 행동(Action), 보상(Reward)의 개념으로 구성되어 있다. 지도학습과 비지도 학습이 학습 데이터가 주어진 상황에서 변화가 없는 정적인 환경에서 학습이 진행되었다면 강화학습은 특정 환경 내에서 정의된 주체가 현재의 상태를 관찰하여 여러 행동을 취하고 결과에 대한 피드백을 받으며 최대의 보상을 가져다주는 행동이 무엇인지 학습하는 것이다. 대표적인 알고리즘으로 딥마인드에서 발표한 DQN(Deep-Q-Network)과 A3C(Asynchronous Ad- vantage Actor-Critic)가 있다.

2.2 딥러닝

딥러닝은 기계학습의 한 분야로 인공신경망 연구로부터 비롯되었으며 자가 학습 시스템으로 어떤 패턴을 찾기 위한 알고리즘을 학습시키기 위해 존재하는 데이터를 사용한다. 딥러닝 알고리즘은 뇌의 뉴런 구조를 모방한 인공신경망으로 여러 층을 가진 인공신경망을 사용하며 기계학습을 수행한다. 인공신경망의 구조는 주로 입력층, 은닉층, 출력층의 알고리즘으로 되어있다. 딥러닝의 개념은 입력층과 출력층 사이에 다중의 은닉층을 사용하며 발전된 것으로 이러한 인공신경망을 심층신경망(Deep Neural Network)이라고 한다.

퍼셉트론은 1950년대 Frank Rosenblatt에 의해 제안된 인공신경망 구조 중 하나이다. 뉴런의 구조를 모델링 한 것으로 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘이다. 데이터의 입력층과 출력층만 있는 구조로 각각의 입력에는 고유한 가중치가 곱해진다. 가중치의 값이 클수록 해당하는 입력이 중요함을 의미한다. 각 입력값과 가중치를 곱하고 모두 합하여 인공 뉴런으로 보내고 합한 총 값을 활성화 함수의 임계치와 비교한다. 전체 합이 임계치를 넘으면 인공 뉴런은 1을 출력하고 임계치를 넘지 못하면 0을 출력하게 된다. 이러한 함수를 계단 함수라고 한다. 계단 함수는 퍼셉트론에서 가장 기본적인 활성화 함수이다.

단층 퍼셉트론은 활성 함수가 1개 밖에 없는 구조로 비선형적으로 분리되는 데이터에서는 학습할 수 없는 한계가 있다. 이를 보완하는 방법으로 입력층과 출력층 사이에 중간층으로 은닉층이 추가되어 비선형 데이터의 학습이 가능하도록 다층퍼셉트론이 고안되었다. 다층퍼셉트론은 출력층을 제외한 모든 층이 편향(Bias)을 포함하고 다음 층과 완전히 연결되어있다. 심층신경망은 2개 이상의 은닉층으로 구성된 인공신경망을 말하며, 이러한 신경망을 학습하여 모델을 만드는 것이 딥러닝이다.

2.3 LSTM

LSTM은 1997년 Hochreiter와 Schmidhube에 의해 제안된 모델로 순환 신경망인 RNN(Recurrent Neural Network)이 보안된 것이다. 기본 구조의 신경망은 데이터 셋을 이루는 샘플들의 순서가 없이 대등하나, RNN에서는 데이터 셋을 이루는 샘플들의 순서가 데이터 셋 전체를 걸쳐 의미를 가지며 학습 과정중 데이터 셋의 순서가 가진 의미가 반영되는 구조이다. 따라서 RNN은 데이터 셋의 순서가 의미를 갖는 시계열 데이터에 적합한 신경망이다. 과거의 정보를 기억하여 다음 상태를 예측하는 데 유용하지만 관련 정보와 먼 시점에 있는 정보의 경우 반영하지 못한다. 정보가 사용되는 시점과 거리가 먼 경우 역전파 시 기울기(Gradient)가 점차 줄어들게 되어 학습 능력이 떨어진다. LSTM은 이러한 RNN이 가진 기울기 소실 문제를 해결할 수 있도록 고안된 모델이며 메모리에 가중을 두어 단기와 장기 기억으로 구분한다. 기존 RNN의 은닉층(Hidden State)에 셀 스테이트(Cell State)가 추가된 구조의 뉴럴 네트워크로 4개의 레이어가 상호작용하며 기본 구성 요소로는 은닉 스테이트를 의미하는 메모리 셀(Memory cell)이다. 각 메모리 셀에는 적절한 가중치를 유지하는 순환 에지가 있으며 이 순환 에지의 출력이 셀 스테이트이다⁽⁸⁾. 셀 스테이트는 입력, 망각, 출력 세 가지 게이트들을 이용하여 정보의 반영 여부를 결정한다.

LSTM의 첫 번째 단계는 과거의 정보를 잊을지 결정하는 게이트이다. 결정은 시그모이드 레이어를 통해 이루어진다. 타임스텝 t-1에서 은닉상태인 $h_{t-1}$과 타임스텝 t에서 입력 데이터 $x_{t}$를 입력으로 받아 시그모이드 활성화 함수를 취해 0과 1 사이의 값을 출력한다. 0~1 사이의 값으로 정보의 중요도가 반영되는 것으로 1이면 이전 상태의 정보를 온전히 반영하고 0이면 이전 상태의 정보를 잊는다. 식(1)에서 $W_{xf}$는 망각 게이트 가중치, $b_{f}$는 망각 게이트 바이어스이다.

두 번째는 현재 정보를 기억하기 위한 입력 게이트로 새로 들어온 정보가 셀 스테이트로 저장될지 결정한다. 입력 게이트에는 두 개의 레이어가 있으며 하나는 어느 값을 갱신할지 결정하는 시그모이드 레이어, 다른 하나는 셀 스테이트에 더할 후보 값의 벡터를 만드는 레이어이다. 현재 시점 t에서 $x_{t}$값과 입력 게이트 가중치 $W_{x i}$를 곱한 값과 이전 시점 t-1의 은닉 상태 $h_{t-1}$와 가중치 $W_{h i}$를 곱한 값을 더하여 시그모이드를 취한 것이 $i_{t}$이다. $\mathrm{g}_{t}$는 $x_{t}$값과 셀 게이트 가중치 $W_{x\mathrm{g}}$를 곱한 것과 $h_{t-1}$와 가중치 $W_{h\mathrm{g}}$를 곱한 값을 합한 값에 tanh 함수가 취해진 것이다. $i_{t}$와 $\mathrm{g}_{t}$를 원소별 곱셈(Element-Wise Multiplication) 한 값이 입력 게이트가 내보내는 값이 된다. 식(2)와 (3)에서 $b_{i}$와 $b_{g}$는 각각 입력 게이트 바이어스, 셀 게이트 바이어스이다.

셀 스테이트 $C_{t}$는 장기 상태라고도 불린다. 입력 게이트에서 얻어진 $i_{t}$와 $\mathrm{g}_{t}$ 두 가지 값에 원소별 곱을 하면 현재 시점에 선택된 기억할 값이 된다. 입력 게이트에서 선택된 기억과 망각 게이트의 결과값을 더하면 현재 시점 t에서 셀 스테이트이며, 이 값이 다음 시점의 LSTM 셀로 넘어간다.

출력 게이트는 현재 시점 t에서 $x$값과 이전 시점 $t-1$에서 은닉 스테이트 $h_{t-1}$에 각각 가중치를 곱한 다음 두 값을 합하여 시그모이드 함수를 취한 값이다. 이 값은 현재 시점 t에서 은닉 스테이트를 결정하게 되며 출력값 $o_{t}$와 (4)를 통해 갱신된 $C_{t}$를 tanh 함수를 통해 -1과 1 사이로 출력된 값과 원소별 곱셈을 하여 얻어진다. 은닉 스테이트는 단기 상태라고도 한다. 장기 상태의 값은 tanh 함수를 통해 -1과 1 사이의 값이 되고 $o_{t}$와 연산하여 값이 걸러지게 되는 효과가 발생하여 은닉 상태가 된다. 식(5)에서 $W_{xo}$는 출력 게이트 가중치, $b_{o}$는 출력 게이트 바이어스이다.

2.4 Keras

풍력 발전량 예측을 위하여 Keras의 LSTM을 사용하였다. Keras는 다양한 딥러닝 모델을 제공하는 파이썬 기반의 라이브러리이며 신경망을 모듈 구조로 표현한다. Keras는 모듈화, 최소주의, 쉬운 확장성, 파이썬 기반이라는 4가지 주요 특징을 갖고 있다. Keras의 모듈은 독립적이고 설정가능하기 때문에 최소한의 제약만으로 연결할 수 있다. 신경망 층이나 비용함수, 최적화기, 초기화 기법, 활성화 함수, 정규화 기법은 전부 독립적인 모듈이며 모델은 이러한 모듈들을 구성한 것이다. Keras에서 모델을 정의하는 방법은 순차 API(Application Pro- gramming Interface)와 함수형 API 두 가지가 있다. 순차형 API는 입출력이 하나라고 가정하여 레이어를 차례대로 쌓을 수 있는 간단하고 편리한 구조이나 종류가 다른 모델들을 연결하여 복잡하게 만들 수 없다. 함수형 API는 다중 입력 혹은 다중 출력 구조로 만들거나 서로 다른 모델들을 병합할 수 있다.

2.5 데이터 선정

풍력에 영향을 미치는 요인은 주로 풍속, 온도, 기압 등 외부의 기상요인과 로터 속도, 발전기 전력 등 내부운전조건으로 나뉜다. 여기서는 풍력에 영향을 미치는 외부 기상요인에 주목하여 풍력발전기 출력데이터와 연관 있는 기상요인을 입력 변수로 선정하기 위해 기상청으로부터 수집한 영흥 지역의 몇 가지 기상 데이터에 피어슨 상관계수를 도입하였다.

피어슨 상관계수는 두 변수 집단 간의 상관관계를 계량화한 수치이며 +1과 -1 사이의 값으로 두 변수 간 연관성을 나타낸다. -이면 음의 상관관계, +이면 양의 상관관계에 있다. 두 집단 X와 Y 사이의 상관계수 r의 식은 아래와 같다. 여기서 $x_{i}$와 $y_{i}$는 각각 X와 Y의 i번째 데이터, $\overline{x}$와 $\overline{y}$는 표본집단 X와 Y의 평균이다. 상관계수 계산을 통해 영흥 지역의 기상 데이터들과 영흥 지역의 풍력발전기 출력량의 상관관계 결과는 표 1과 같다.

상관계수의 절댓값이 0.7 이상이면 데이터 집단 X와 Y는 매우 큰 상관관계에 있으며 절댓값이 0.3과 0.7 사이이면 강한 상관관계, 0.1과 0.3 사이이면 약한 상관관계에 있음을 알 수 있다. 피어슨 상관계수는 두 집단 간의 연관성을 나타내므로 인과관계는 포함하지 않는다.

입력된 기상 데이터는 영흥 지역 2018년 3월 1일부터 4월 30일까지 시간별 풍향, 풍속, 기압, 온도, 습도 데이터와 영흥 지역의 풍력발전기 출력데이터이다. 표 1에서 발전량과 풍속의 상관계수는 0.711, 현지 기압은 -0.273이다. 풍속은 풍력발전기 출력에 직접적인 영향을 미치는 비례관계에 있는 요인으로 풍속과 연관성이 있는 요인은 출력데이터와 종속 관계에 있는 요인이라고 할 수 있다. 풍속과 현지 기압의 상관계수는 -0.288로 연관성이 있음을 알 수 있다. 풍속과 현지 기압을 제외하면 발전량 데이터와 연관성이 없어 보이지만 기압과 온도는 상관계수가 -0.446으로 강한 연관성을 보인다. 습도와 풍향은 발전량 데이터를 비롯한 다른 기상요인들과 전체적으로 상관계수가 낮은 값으로 나왔다. 따라서 풍속뿐만 아니라 기압과 온도 또한 발전량에 영향을 주는 기상 변수로 선정하였다.

3.1 시뮬레이션 구성

본 연구는 기본이론과 기상 데이터 수집, 딥러닝 예측 모델 구성 및 평가, 결론으로 구성된다. 앞선 장에서 기술된 LSTM 모델을 이용하여 풍력 발전량을 예측하는 것을 목적으로 한다. 기상청으로부터 실제 기상 관측 데이터를 수집하여 피어슨 상관계수를 분석하고 Keras 라이브러리를 통해 LSTM 모델을 구축한다. 피어슨 상관계수를 통해 분석한 기상 데이터를 두 그룹의 입력 데이터로 분류한다. 각각의 입력 데이터 그룹에 대한 예측 결과를 비교하고 모델을 평가한다. 기상청으로부터 수집한 영흥 지역의 2018년 풍력, 풍속, 기압, 온도, 습도 데이터와 남동발전소의 2018년 영흥 지역 풍력발전기의 출력 데이터를 이용하였다.

모델은 입력 데이터 그룹 A와 B로 나누어 두 번의 학습을 진행하였으며 두 경우 모두 총 4개 속성의 데이터가 입력되었다. 풍력발전기 출력 데이터를 공통 속성으로 사용하였으며 나머지 3가지 속성의 데이터는 피어슨 상관계수에 따른 연관성으로 구분 지어 입력하였다. 입력 데이터 그룹 A에서는 피어슨 상관계수에서 발전량과 연관성이 낮았던 풍향과 습도, 일조 데이터를 사용하였고 입력 데이터 그룹 B에서는 피어슨 상관계수에서 연관성을 보였던 영흥 지역의 풍속, 기압, 온도 데이터를 입력하였다. 각 데이터 세트들은 서로 요소의 단위와 크기가 달라서 Min-max 정규화를 사용하였다. Min-max 정규화는 식(8)과 같다.

여기서 $x_{s ca\le d}$는 크기가 조정된 데이터, $x$는 조정할 데이터, $x_{\min}$은 데이터 세트의 가장 작은 값, $x_{\max}$는 데이터 세트의 가장 큰 값이다. 입력 데이터의 80\%를 훈련 세트로 설정하고 나머지 20\%를 검증 세트로 하였다. 식(9)와 같이 LSTM 레이어에서 최적화 함수로 Adam을 사용하고 평균제곱오차(Mean Squared Error)로 손실을 계산하였다.

여기서 n은 데이터의 개수, $F_{i}$는 예측한 값, $Z_{i}$는 실제값이다. 각 경우에 대한 모델의 훈련 결과에서 풍력발전량 예측 성능에 대한 오차를 검증하기 위하여 RMSE(Root Mean Square Error)를 사용하였다. RMSE는 실제 환경에서 관찰되는 값과 모델이 추정한 값과의 차이를 다룰 때 사용된다. 식(10)에서 $\hat y_{i}$와 $y_{i}$는 각각 발전량의 실제값과 예측한 값을 의미한다.

3.2 시뮬레이션 결과

풍력 발전량 예측을 위하여 본 논문은 파이썬 기반으로 수행하였으며, 2018년 3월 1일 0시부터 4월 30일 23시까지의 시간별 영흥 지역의 풍력 발전량 데이터와 기상 데이터를 이용하였다. 입력된 데이터 세트는 기상청에서 제공하는 풍속, 풍향, 현지기압, 온도, 습도, 일조 데이터와 풍력발전기의 출력을 사용하며 입력 데이터를 A와 B 두 경우로 나누어 LSTM 모델을 학습시켰다.

에포크(Epoch)는 같은 데이터를 몇 번 학습할 것인지를 의미하며 반복할 때마다 가중치가 갱신되며 모델이 학습된다. 그림 3은 최적의 학습 반복 횟수를 확인하기 위한 모델의 손실 그래프이다. 세로축은 손실, 가로축은 에포크로 100으로 설정되었다. 훈련은 매 에포크마다 훈련 손실값, val_loss는 매 에포크 마다 검증 손실값을 의미하며, 학습 횟수가 많아질수록 훈련은 향상되지만 val_loss의 값은 손실이 감소하다가 일정한 횟수에 도달하게 되면 다시 증가하는 과적합(Overfitting)이 발생하게 된다. 과적합이 발생하지 않는 최적의 반복 횟수를 설정하였으며 그에 따른 예측 결과는 그림 4와 같다.

그림 4는 풍향과 일조, 습도, 풍력발전기 출력을 입력으로 사용한 데이터 그룹 A의 예측 결과이다. 가로축은 시간 단위이며 세로축은 그에 대한 MW단위의 풍력발전기의 출력이다. 사용된 데이터의 수는 1416개로 그중 약 1180개 정도에 해당하는 주황색 그래프가 전체 데이터의 80\%를 차지한 훈련용 데이터이고 초록색 그래프는 나머지 20\%에 해당하며 주황색 그래프로부터 데이터가 훈련된 이후 모델이 풍력발전기 출력 예측을 시행한 그래프이다. 이것은 풍력발전기 출력과 연관성이 없는 기상 데이터를 입력으로 사용한 결과이며 실제 데이터인 파란색 그래프와 훈련 결과인 주황색 그래프, 예측 결과인 초록색 그래프가 원본 데이터와 차이를 보인다. 출력 데이터와 기상 데이터가 연관성이 낮은 경우 모델의 정확도에 영향을 미친다는 것을 알 수 있다. 풍향, 습도, 일조, 발전량 데이터를 입력한 경우의 모델 예측 결과 데이터에 대해 RMSE를 계산한 결과 1.79로 나왔다.

그림 5는 그림 6과 보기 쉬운 비교를 위해 첨부한 풍력발전기 출력 데이터 그래프이다.

그림 6은 입력 데이터로 피어슨 상관계수에서 높은 연관성을 보인 기상 데이터인 풍속, 기압, 온도와 풍력발전기 출력을 사용한 예측 결과이다. 주황색 그래프와 초록색 그래프는 그림 4와 마찬가지로 훈련 결과 그래프와 훈련된 모델로 예측을 수행한 그래프이다. 그림 6의 예측 결과는 그림 4와 비교해 볼 때 원본 데이터와 더 유사한 예측 결과가 나왔다. 그림 6의 예측 결과에 대한 RMSE는 1.11로 그림 4의 예측 결과에 대한 RMSE 값인 1.79보다 0.68 낮게 나왔으며 그림 6의 예측 결과가 정확도가 더 높다는 것을 확인할 수 있다. 이것은 실제로 정확한 기상 데이터가 예측 정확도를 높일 수 있다는 것을 보여준다. 그러나 그림 6의 그래프에서도 일부 급변하는 데이터 지점에서는 파란색 부분이 나타나 오차가 있음을 알 수 있다. 이것은 기상 데이터가 발전기의 위치와 지리적으로 다른 위치에서 관측된 데이터이기 때문에 발생한 오차로 보인다.