2.1 다층구조 신경망

인공신경망의 핵심 기능은 입력과 출력간의 상관관계 모호성을 신경망 내부로 흡수하여 간단한 계산식으로 나타내는 것이다. 이러한 기능을 가능하도록 하는 데에는 입력과 출력층 사이에 위치하는 은닉층이 중요한 역할을 한다. 인공신경망의 발전 과정 중에서도 은닉층의 고안은 획기적이라 할 수 있다. 본 연구에서는 그림 1과 같은 1개의 은닉층(Hidden Layer)에 입력과 출력층이 있는 다층 신경망을 사용한다. 적용대상의 문제가 복잡할수록 더 많은 은닉층이 필요하게 된다.

입력층의 신호가 출력층까지 전달되는 과정을 나타낸 것이 그림 1에서의 데이터 전파방향이다.

그림. 1. 다층 신경망의 구조와 전파 방향

Fig. 1. Structure of Multilayer Neural Network

은닉층과 출력층 사이에서 뉴런은 활성화(Activation) 함수를 통과한 값을 방출한다. 활성화 함수에는 여러 종류가 있으며 주로 시그모이드(Sigmoid) 함수가 사용된다. 대상 문제나 데이터의 특성에 따라 활성화 함수의 기능에는 차이가 발생한다. 여기서는 ReLU(Rectified Linear Unit) 함수를 사용한다. ReLU 함수는 입력이 음수일 때는 영의 값을, 양수일 때는 입력값 x를 그대로 내보낸다. 즉 y=max(0, x)와 같은 의미를 갖는다⁽¹²⁾.

2.2 다층 신경망의 구조와 학습

신경망의 출력값에 영향을 주는 요인은 활성화 함수도 있지만 뉴런 사이의 연결강도인 가중치가 더 큰 영향을 준다. 신경망의 기능을 발휘하기 위해서는 적정한 가중치를 찾는 과정이 필요하다. 이를 학습(Training)이라고 하며 입출력 샘플 값을 사용하여 반복적 튜닝을 거친다. 이 때 사용되는 기법이 역전파(Backpropagation) 알고리즘이며 ANN 기술의 발전에 지대한 공헌을 했다고 평가된다⁽⁸⁾.

학습이란 샘플 데이터의 입력과 출력의 상호관계를 그림 1에서의 데이터 전파 방향에 따라 만족하도록 가중치 w와 v 값을 조정하는 것이다. 이 과정에서 뉴런의 출력값과 샘플 데이터의 출력값에 차이가 발생하며 이러한 오차를 비용함수라 정의하고 이를 대상으로 최소화 문제 해법을 수행한다.

최소화 알고리즘에는 가중치에 대한 비용함수의 경사도(Gradient)가 사용되며 경사도의 유도식에는 출력에서의 오차가 역방향으로 전파되어 온 형태가 나타난다⁽¹²⁾. 그림 1에서 오차 전파방향으로 표현된다.

2.3 분할 신경망

ANN의 장점은 입력과 출력 사이의 복잡하고 비선형적인 상관관계를 추출하여 비교적 간단한 신경망의 관계로 변환하는 것이다⁽⁸⁾. 따라서 학습만 원활히 이뤄진다면 입력과 출력의 상관관계가 복잡할수록 신경망의 장점은 더 커지게 된다. 전력시장에서 과점의 경쟁 상황은 시장관련 데이터의 연관성 뿐 아니라 경쟁 상대간의 게이밍(Gaming) 현상까지 섞여 있어서 ANN의 장점이 잘 나타날 수 있는 적용 분야이다⁽¹²⁾.

하지만 전력시장에서의 참여 주체들은 독립적이고 추구하는 바가 서로 달라서 정보의 불완비성 (Incompleteness)이 항상 존재하게 된다. 또한 수요예측이나 시장상황에 대한 데이터에도 오류가 포함될 수가 있다. 이러하면 ANN의 정확성도 하락할 수밖에 없다.

그림. 2. 통합신경망(a)과 분할 신경망(b)의 구조

Fig. 2. ANN Structure (a)Integrated (b)Decomposed

본 연구에서는 신경망을 분할하여 구성함으로써 정보의 불완비성이 존재하더라도 안정적이고 오차를 낮출 수 있다는 제안을 한다. 이를 나타내면 그림 2와 같다. 하나의 ANN으로 구성된 것(a)을 적절히 분할하여 부분 ANN으로 분리한 것(b)이다. 그림에서 통합 ANN (a)에서는 입력 x와 출력 o 만을 대상으로 하는 반면에, 통합 ANN에서는 드러나지 않았던 ‘q’라는 성분을 선택하여 입력과 출력의 대상으로 정의하는 것이 분할 신경망(b)이다. 즉 입력 x와 출력 q를 모형화한 부분과 입력 q와 출력 o를 모형화한 신경망으로 계층화된 구조를 이룬다.

분할된 부분 신경망은 각각을 따로 학습해야하기 때문에 학습의 과정은 시간이 오래 걸리게 된다. 또한 복잡한 상관관계를 단순하게 처리하기 보다는 오히려 좀 더 세분화하여 분석하려는 시도이다. 따라서 ANN의 기본 취지와는 반대의 방향이라고 볼 수도 있다. 하지만 불완비 정보에 대한 안정성과 정확성 측면에서 우수한 특성을 보인다면 학습과정의 번거로움은 충분히 상쇄하고 남을 것이다. 본 논문의 서술은 분할된 ANN이 통합된 ANN 보다 우수한 성능을 보인다는 것을 다양한 형태의 불완비한 정보에 대해서 검증하는 과정으로 진행된다.

3.1 쿠르노 모형 적용

과점(Oligopoly)의 전력시장은 불완전 경쟁시장의 대표적 형태로서 몇몇의 공급자가 시장가격에 영향을 미치는 상황이다. 이러한 공급자들은 서로 간에 비협조적인 경쟁을 하는 것으로 가정한다. 경쟁자들이 모두 시장가격에 영향을 미치므로 공급자의 이득(Profit)은 자신의 선택과 전력수요 특성은 물론 경쟁자들의 선택에 따라 달라진다. 따라서 이득을 극대화하기 위해서는 선택이 전략적이어야 한다. 이러한 전략적 선택을 공급량, 즉 발전량으로 정의하는 모형이 쿠르노(Cournot) 모형이다⁽¹³⁾.

신경망으로 구현하는 과정을 설명하기 위해 다음 그림 3과 같은 2인(G1, G2)의 공급경쟁 상황을 정의한다. 2인이 참여하는 과점을 복점(Duopoly)이라 한다.

그림. 3. 복점경쟁 시장의 사례 모형

Fig. 3. Duopoly Diagram of Sample System

수요함수에서 p는 시장가격을, d는 전체 부하량을 나타낸다. 그림에서 한계비용함수 MC는 공급함수로 작용하며 q$_{1}$, q$_{2}$ 는 발전력을 나타낸다. 따라서 수급조건인 d=q$_{1}$+q$_{2}$가 성립된다. 또한 a, r은 수요함수의 파라미터이고 b$_{i}$, m$_{i}$은 한계비용 함수의 파라미터이다. 수요함수는 한곳에 집중된 것으로 가정한다.

3.2 쿠르노 내쉬 균형

공급자가 연료비용을 사용하여 전력공급을 하고 받는 요금(편의상 시장가격이라 함)을 알면 공급자의 이득이 계산된다. 공급자는 이러한 이득을 극대화하려 할 것이고 이를 식으로 나타내면 식(1)과 같다.

식(1)은 전력제공에 따른 판매금액에서 연료비용을 차감하여 계산된 것이며, 연료비용은 한계비용의 적분 형태이다. 식(2)의 제약조건은 시장가격 p가 수요함수에 의해 결정된다는 뜻이다.

공급자는 전략 변수 q에 따른 이득 극대점을 찾게 되고 이는 다음 식(3)으로 나타난다⁽¹²⁾.

두 공급자가 자신이 결정한 선택을 바꿀 유인이 존재하지 않는 상황을 내쉬균형(Nash Equilibrium)이라 한다⁽¹³⁾. 균형상태에서는 G1, G2가 모두 식(3)을 만족해야 하고 이를 수요함수 식과 연립하여 정리하면 다음의 균형상태 시장가격 식(4)를 얻게 된다.

여기서 $\bar{m}=[1/r,\: 1/(m_{1}+r),\:1/(m_{2}+r)]$, $\bar{a}=[a,\: b_{1},\: b_{2}]$, $\bar{1}=[1,\: 1,\: 1]$, 그리고 < > 는 두 벡터의 내적 계산을 의미한다. 이러한 표현은 공급자의 수가 증가하여도 간단히 표현하는 장점을 갖는다.

균형상태에서 두 공급자가 선택한 전략, q$_{1}$, q$_{2}$ 는 다음 식(5)와 같이 계산된다.

3.3 분할 신경망 구성

과점경쟁 모형인 그림 3의 사례에 다음 표 1과 같은 수치를 적용하여 신경망 학습에 사용될 입출력 값을 발생시킨다.

균형가격을 유도한 식(4)에 표 1의 수치를 적용하면 시장가격은 49.84로 계산되며 수요함수 파라미터(a, r) 만을 변수로 두고 가격을 나타내면 다음 식(6)과 같다. 이는 학습용 샘플 데이터를 얻기 위해 a, r을 가변시켜 출력값인 시장가격을 구하는 데에 사용된다.

표 1에서의 값을 대입하면 49.84 임을 확인할 수 있으며 이때의 발전력 균형값은 식(5)에 의해 q$_{1}$= 53.12, q$_{2}$=47.2가 된다.

신경망의 입력은 (a, r), 출력은 p로 정의하여 통합 신경망을 구성하고, 분할 신경망은 그림 3에서와 같이 2개의 계층으로 분리하여 첫째 층에서는 (a, r) 입력에 출력은 발전력(q)으로 정의한다. 둘째 층에서는 공급자들의 발전력과 더불어 (a, r)도 입력으로 사용하고 출력은 시장가격(p)으로 정의한다. 복점경쟁에 대한 구체적인 분할 신경망을 나타내면 그림 4와 같다.

그림. 4. 분할 신경망의 입출력 관계

Fig. 4. I/O Relation of Decomposed ANN

분할 신경망인 ANNd에 (a, r)을 입력신호로 추가한 이유는, 발전력만으로 시장가격이 결정되는 것이 아니고 수요함수 식(2)에서와 같이 (a, r)이 달라지면 시장가격도 직접 영향을 받기 때문이다.

3.4 신경망의 학습

통합 신경망의 학습을 위한 샘플 데이터로 a=[90, 95, 100, 105, 110], r=[0.3, 0.4, 0.5, 0.6, 0.7], 각각에서 5구간씩을 변화시키면서 전체 5×5=25 개의 샘플 (입력, 출력) 값을 사용한다. 이것은 불확실한 데이터를 다루기 이전의 상황으로서 본 연구에서는 ‘초기상태’ 라고 명명한다. 분할 신경망인 ANN1과 ANN2에서도 동일한 샘플 입력값을 사용하며 출력값은 각각 q$_{1}$, q$_{2}$이다. 이것이 ANNd의 입력으로 작용하므로 ANNd에서의 샘플 개수는 동일한 5×5=25 개가 된다.

ANN1과 ANN2에서의 입출력 관계는 식(4)와 (5)를 결합하면 구해진다. ANNd에서의 입출력 관계는 수요함수인 식(2)와 수급조건(d=q$_{1}$+q$_{2}$)의 결합으로 구할 수 있다.

뉴런의 개수를 (입력층, 은닉층, 출력층)으로 구분하여 나타내면, 통합신경망에서 (2,11,1), ANN1과 ANN2에서 각각 (2,11,1), ANNd에서 (4,11,1)이다. 은닉층의 뉴런을 11개 사용한 이유는 초기상태에서 통합 신경망과 분할 신경망의 정확도가 비슷하게 나타나기 때문이다. 초기상태에서 비슷한 성능을 보이지만 불확실한 데이터에 대해서는 두 형태의 신경망에서 차이가 나타난다.

학습은 전체 4개의 단위 신경망 각각에서 이루어진다. 은닉층 11개를 사용할 때 모든 단위 신경망에서 샘플 학습에 대한 오차가 0.01의 범위로 수렴을 하였다.

학습이 완료된 신경망은 임의의 변수가 입력될 때 참값에 가까운 출력을 내줘야 한다. 이를 검증하기 위해 a는 90~110 사이에서, r은 0.3~0.7 사이에서 발생시킨 난수를 ANN에 입력하고, 출력을 관계식에 의한 참값과 비교한다. 10,000개의 입력 변수를 발생시켜 신경망에 적용한 결과, 평균상대오차(mean absolute percentage error)가 모두 0.1%로 유사하게 나타났다. 다음 그림 5는 오차를 도수분포(histogram)로 나타낸 것이다. 모두 0.5 범위에 들며 유사한 패턴을 보인다.

그림. 5. 초기상태에서의 오차 도수분포 비교

Fig. 5. Error Histograms in the Sample Case

4.1 발전기 데이터의 불확실성

지금까지는 분할 신경망의 특징과 장점이 드러나지 않았다. 오히려 구조가 복잡하며 학습시간이 길어지는 불편한 점만 눈에 띤다. 하지만 시장과 발전기의 정보에 대한 불확실성을 감안하면 상황은 달라진다.

3장에서 구성한 신경망은 표 1에서 주어진 발전기 정보(b,m)와 전력수요함수 (a, r)에 대해서 평균상대오차 0.1% 정도의 정확한 시장가격을 계산한다. 만약, 발전기 정보에 오차가 있어서 표 1에서의 값과 다르다면 신경망의 출력에는 더 큰 오차가 포함될 것이다. 결과값의 오차가 허용범위 안에 머물면 유효하지만 허용범위를 벗어나면 그 신경망은 신뢰할 수가 없게 된다.

발전기 데이터 4개 (b1, b2, m1, m2)에 대해서 ±0.05 씩 변화를 주어 실제값을 다르게 정의하면서 결과 비교를 시도한다. 4개 데이터의 각 항목에서 (감소, 불변, 증가)의 3가지 변화를 주고 4개의 데이터에 적용하면 전체 34=81개의 상태가 존재한다.

한 가지 사례를 살펴보면, 4개 항목에서 +0.05, 0, +0.05, +0.05를 적용하여 b1=10.05, b2=5, m1=0.3, m2=0.5의 값들이 실제의 발전기 데이터라고 가정을 한다. 수요함수가 a=100, r=0.5이라면 과점경쟁에서의 균형상태는 식(4)에 의해 p=51.19가 된다. 하지만 이미 학습된 신경망에서는 초기상태에서의 출력값인 p=49.84와 가까운 값을 출력한다. 통합신경망에서 49.841, 분할 신경망에서 49.846의 값을 출력한다. 이 상태만 보면 실제값 51.19와는 약 1.34의 오차를 보인다.

본 연구에서는 전력수요 파라미터를 a는 90~110, r은 0.3~0.7 사이에서 10,000회 난수를 발생시켜 오차를 분석하였다. 81개 변화된 실제값에 대해 각각 10,000회의 부하변동에 따른 계산결과 중에서 최대오차만을 저장함으로서 81개의 오차 데이터를 추출하고 이를 도수분포로 나타내면 그림 6과 같다.

그림. 6. 불확실한 발전기 정보에서의 오차도수분포

Fig. 6. Error Histograms under incomplete information of Generators

그림에서 알 수 있듯이 통합신경망에서는 2.5 이상의 오차를 다수 보이는 반면 분할 신경망에서는 모두 2.5 보다 작은 오차를 보인다. 만약 오차의 허용범위가 2.5라면 통합신경망은 발전기 정보가 불확실할 때 신뢰할 수가 없는 것이다. 통합신경망의 신뢰도가 더 높다고 할 수 있다.

4.2 수요함수의 불확실성

전력수요는 예측을 기반으로 모형화한 것이므로 항상 불확실성이 포함된다. 3장에서 학습한 2개의 신경망(통합, 분할)은 (a, r)=(100, 0.5)를 중심으로 하는 25개 상황의 ‘초기상태’에 대해서 학습한 것이다. 만약 수요함수가 이와 같지 않다면 학습된 신경망의 오차는 증가하게 된다.

일례로, a가 10% 큰값인 110, r이 10% 작은값인 0.45인 경우라면 균형상태 시장가격은 식(4)에 의해 p=55.5 가 된다. 하지만 신경망에서는 입력값으로 a=100, r=0.5가 입력될 때 출력값은 통합신경망에서 49.841, 분할신경망에서 49.846으로 약 5.66 정도의 오차가 발생한다.

수요함수의 변화는 a와 r에서 각각 –10%, -5%, 0, +5%, +10% 로 5단계를 두었다. 따라서 전체 52=25개의 상황이 발생한다. 또한 각 상황에서 a는 90~110, r은 0.3~0.7 사이에서 10,000회 난수를 발생시켜 임의의 값을 취한 후, 변화량(△a, △r)을 적용하여 실제값과 신경망 출력 사이의 오차를 계산한다. 10,000개의 시도 중에서 오차가 가장 큰 값을 그 상황에서의 대푯값으로 정의한다. 따라서 전체 25개의 대표 오차 데이터를 얻게 되고 이를 도수분포로 나타내면 그림 7과 같다.

수요함수의 변화를 최대 ±10%까지 반영하니까 오차가 대폭 증가함을 알 수 있다. 특히 통합신경망에서는 8.0 정도에 이른다. 시장가격이 50 근방의 값을 감안하면 10%가 넘는 큰 오차이다. 상대적으로 분할 신경망에서는 7.0보다 작은 오차를 보인다. 이것도 작은 오차는 아니지만 수요예측 자체가 큰 오차를 포함하고 있기 때문에 절대적인 크기 보다는 상대적으로 분할신경망에서 오차가 작게 나타난다는 것이 중요한 점이다.

그림. 7. 불확실한 수요함수 정보에서의 오차도수분포

Fig. 7. Error Histograms under incomplete information of Demand

4.3 학습 데이터의 범위 이탈

통합과 분할된 두 개의 신경망은 전력수요의 변화를 a는 90~110, r은 0.3~0.7 사이에 25개의 격자 상황을 추출하여 학습한 것이다. ANN은 격자 사이에 있는 임의의 상황에 대해서 출력값을 내어준다. 즉 학습 데이터 사이의 내삽(Interpolation) 기능을 수행하는 것이다. 따라서 학습된 ANN은 여러 가지 부하 변동에 대해 내삽기능으로 시장가격을 계산하는 것이다.

여기서는 부하변동이 학습의 범위를 벗어나는 경우를 살펴본다. 즉 a=120인 상황을 분석하려고 한다. 이는 a의 학습 범위 밖에 존재하기 때문에 일종의 외삽(Extrapolation)이 필요한 상황이라고 할 수 있다. 파라미터가 a<90, r<0.3, r>0.7 의 경우도 범위 밖에 존재하는 상황이지만 오차의 발생이 크지 않아 오차가 많이 발생하는 a>110인 한 가지 경우에 대해 분석한다.

일례로, a=120, r=0.5인 경우에 균형 상태에서의 시장가격은 p=58.96이며 통합 신경망에서는 56.68로서 약 2.28의 오차가 발생하고, 분할신경망에서는 56.80로서 2.16 정도의 오차가 발생한다. 파라미터 r의 변화를 반영하기 위해 0.3~0.7 사이에 난수를 발생시켜 1,000개의 상황을 만들고, 이에 대한 오차를 계산하여 이를 도수분포로 나타내면 그림 8과 같다.

그림. 8. 학습범위를 벗어난 수요에서의 오차도수분포

Fig. 8. Error Histograms under Extrapolation of Demand

학습의 범위를 벗어나는 상황에서 통합신경망은 3.0 이상의 오차를 다수 보이는 반면 분할 신경망의 오차는 3.0을 넘지 않음을 그림에서 알 수 있다.