2.1 전력시장의 미시적 해석

전력시장 참여자는 공급자, 수요, 그리고 MO로 구분할 수 있다. 본 연구에서는 수요 부문을 단순한 수요함수로 간단히 나타낸다. 전력공급자들과 MO로 구성되는 전력시장에서 정보가 대칭적이고 완비성이 유지되는 경우, 경쟁의 결과에 대한 미시적 해석 결과는 잘 알려져 있다.

과점경쟁 시의 핵심 파라미터를 생산량, 공급가격 등 여러 가지로 가정하지만, 전력시장에서 주로 사용하는 것은 쿠르노(Cournot) 모형이다. MO의 목적은 사회적 후생(Social Welfare) 극대화, 공급자의 목적은 이득(Profit) 극대화이다. 본 연구에서는 쿠르노 모형을 사용하며 MO와 공급자의 극대화 문제를 나타내면 다음과 같다.

여기서 $q_{i}$는 발전기 i의 발전력, p는 가격, F는 발전비용함수이다. 식(2)는 노드 i에서의 수요함수를 뜻하며 d는 부하전력, a와 r은 수요함수의 계수를 나타낸다. 따라서 식(2)는 시장가격 p가 수요함수에 의해 결정됨을 의미한다. 식(1)은 발전기의 이득 극대화 식이고, 식(3)은 쿠르노 모형에서의 사회적 후생에 해당되는 전력사용의 편익(Benefit) 극대화 식이고, 식(4)는 수급조건을 의미한다. 송전선 한계용량, 발전력 상하한 등의 부등식 조건 표현은 편의상 생략한다.

2.2 불완비정보

현재 우리나라와 같은 CBP(Cost Based Pool) 시장이라면 수요특성과 송전망 상황 뿐만 아니라 발전 비용특성까지 포함한 수요와 공급에 관련된 거의 모든 주요 정보가 공개되어 내쉬균형의 계산 등의 미시적 해석이 가능하다. 하지만 PBP(Price- Bidding Generation Pool) 시장에서는 발전기의 한계비용 정보가 공개되지 않기 때문에 완비정보라고 볼 수는 없다⁽¹¹⁾. 이와 같이 필요한 정보를 모른 채 경쟁하는 상황을 불완비정보 게임이라고 한다. 전력도매시장에서의 입찰은 불완비게임에 해당되며 균형상태를 해석적으로 구하는 것은 매우 어렵다. 공급자의 최적전략에 해당되는 해석적인 극대화 조건은 다음 식과 같다.

여기서 $f_{i}$는 한계비용함수이고, 미분항은 시장가격의 민감도를 의미한다.

완비정보라면 식(5)와 MO의 최적조건식을 구해서 NE를 구할 수가 있지만 식(5)에서 가격 p는 정확한 수요함수 정보가 없으면 미리 알 수가 없고, 민감도 성분은 상대방의 전략(q)과 상대방의 한계비용 정보가 없으면 역시 알 수가 없다. 따라서 식(5)는 물론 NE도 구할 수가 없다.

자신의 한계비용 특성과 자신의 선택($q_{i}$)은 알지만 경쟁자의 선택($q_{j}$)과 한계비용 특성, 그리고 정확한 수요함수는 모르는 것이 일반적인 공급경쟁 입찰 게임이라고 할 수 있다. 모르는 정보로 인해 일회성 게임에서는 NE를 알 수 없다. 하지만 반복 게임(Repeated game)이라면 지나간 결과를 다음번 게임에 정보로 활용할 수가 있고, 본 연구는 여기에 AB 기법을 접목하여 균형상태를 구하려는 것이다.

3.1 행위자 기반 모형

행위자기반 모형이 적용되기에 적합한 시스템의 특성으로 세 가지가 꼽힌다⁽⁴⁾. 첫째, 상호작용이 긴밀한 여러 행위자로 구성되고, 둘째, 행위자(agent)의 특성만으로는 설명하지 못하는 시스템 차원의 특성을 갖고, 셋째, 구성원의 행동이 과거 경험을 통해 학습되고 적응하는 경우이다. 이러한 복잡성으로 인해 전체를 수학적 모델로 표현하기가 어려울 때 적합하다.

행위자에 해당하는 전력도매시장에서 Genco와 MO, 전력시장의 규칙에 의한 입찰게임이 진행, 가격과 이득이 계산되는 시스템, 입찰의 경험과 결과를 통한 입찰 전략의 수정, 그리고 불완비 정보의 특성 등을 고려할 때, 전력시장 해석 분야에 AB 모형을 적용하는 것은 합리적 근거가 있다.

행위자는 모형에서 설정한 규칙에 의해 의사결정을 하고 이는 설정된 환경에서 다른 행위자들에게 영향을 미치게 된다.⁽⁵⁾ 이와 관련하여 AB 모형을 구축하기 위한 세 가지 요소는 다음과 같이 정의된다. 의사결정의 주체인 행위자, 의사결정의 영향을 주고받는 관계(relationship), 행위자의 활동과 상호작용이 이루어지는 환경(environment)이다. 이러한 요소가 상호작용하는 관계를 간단히 나타내면 다음 그림 1과 같다⁽⁶⁾. 행위자가 선택하는 행동(action), 환경과 상호작용으로 인해 돌려받는 보상(reward), 그리고 변화되는 상태(state)를 보여준다. 이는 강화학습을 기반으로 할 때 가장 기본적인 구조이고 AB 모형의 응용에 따라서 형태는 달라진다.

3.2 에이전트의 보상과 반복게임

본 연구는 불완비정보를 전제로 하기 때문에 입찰 혹은 행위자의 행동은 반복게임 형태로 이루어진다. 행위자들은 반복게임을 통해 받게되는 보상(reward)을 자신들의 유리한 전략 선택을 위해 보수행렬(payoff matrix)이라는 주요 정보로 누적시키고 이를 활용하여 더 우수한 전략을 선택하게 된다. AB 모형 적용에 대한 시뮬레이션 과정을 세 개의 모드로 구분한다.

▶ 모드1: 보수행렬의 신속한 충전(filling)

▶ 모드2: 보수행렬의 충전 및 최적전략 선택과 균형상태 수렴

▶ 모드3: 부하변동 상황에 적용

보수행렬을 기초로 하기 때문에 행위자들의 행위는 이산화된 발전력의 선택이다. 매회의 입찰 게임에 Genco 입장에서의 공통된 과정은 “발전력 선택 -> 시장청산 결과 -> 이득의 계산”이라는 기본절차이다. 모드1에서는 일종의 준비단계로서 보수행렬의 신속한 구성이 목적이고 모드2에서는 어느정도 구성된 보수행렬을 이용해서 우수 전략을 선택하면서 동시에 보수행렬의 충전을 꾀하고, 모드3에서는 보수행렬의 충전을 마친 후 부하에 적용하는 단계이다.

3.3 에이전트의 모형화 알고리즘

전력시장은 시장의 복잡하고 방대한 운영규칙에 의해 운영되지만, 본 연구는 Genco의 공급량 결정과정과 시장청산(clearing) 만을 대상으로 한다. 관련해서 필요한 부분을 AB 형태로 모형화한다. Genco, $G_{i}$의 특성을 알고리즘화하면 다음과 같다.

▷이용 가능한 정보는 자신의 한계비용함수, 과거의 시장결과(모든 행위자들의 선택, p, $q_{i}$, $q_{j}$), 여기서 $q_{j}$ 는 경쟁자들의 발전력 선택임.

▷입찰게임에서 자신의 행동(action, 발전력 $q_{i}$)을 선택하고 이를 행위자 MO에 제출함.

▷행위자 MO의 시장청산 결과(가격 p)를 받아 자신의 보상(reward, 이득 πi)를 계산.

▷(모드1) 행동(발전력 $q_{i}$)을 선택할 때 보수행렬의 빈공간이 채워지도록 유도함.

▷(모드1) 입찰의 결과로 보상이 계산되면 이를 보수행렬의 빈자리에 충전함.

▷(모드2,3) 행동(발전력 $q_{i}$)을 선택할 때 보수행렬에서의 최적대응전략을 기반으로 결정함.

▷(모드3) 입찰의 결과, 가격이 과거의 선택에서와 다르면 부하특성의 변화로 수용하여 보수행렬을 수정함.

다음으로 행위자 MO의 특성을 알고리즘화 한다.

▷부하전력의 수요특성을 예측하여 가격 결정에 사용함.

▷행위자 Genco로부터의 행동(action, 발전력 $q_{i}$)을 접수함.

▷접수받은 발전력과 수요특성을 대상으로 편익(Benefit)을 극대화하는 가격을 결정함.

▷시장의 청산 결과인 가격과 각 Genco 들의 발전력 정보를 공개함.

이와 같은 다중의 Genco와 MO의 알고리즘을 프로그램화함으로써 AB 모형의 전력시장 반복 입찰 게임 시뮬레이션이 가능해진다. Genco 알고리즘에서 유의할 부분은 t 시점에서 $G_{i}$는 경쟁자들인 $G_{j}$의 한계비용 정보는 물론 선택하는 $q_{j}$를 모르지만 과거의 결과인 t-1 시점에서 경쟁자들이 선택했던 $q_{j}$정보는 알고 있다는 점이다. 이런 특징으로 인해서 각 행위자들의 선택이 반복게임을 통해 수렴되어질 수가 있는 것이다.

4.1 보수행렬의 충전

미시경제학에서 게임이론을 이용할 때 많은 경우 보수행렬을 이용하기 위해 이산화(discretize) 변환을 한다. 이산화 형태로 변환하는 이유로는 선택의 문제로 변환하기에 적당한 점과 제약의 문제가 결부되는 경우 미분 불가능한 상황을 다루기 위한 점도 있다. 또한 AB 기법이 이산화 문제에 용이한 점도 있어서 본 연구에서는 보수행렬 형태를 사용한다.

완비정보에서 보수행렬의 구성은 어려운 점이 없다. 각 참여자의 선택으로 발생되는 각각의 상황에 대해 각자의 보수를 계산하면 된다. 하지만 수요함수 조차 모르는 불완비정보 상황에서 시뮬레이션을 진행하면서 보수행렬을 구성하기란 쉬운 것이 아니다. 일례로 경쟁자 $G_{i}$와 $G_{j}$가 입찰게임에 임할 때 선택 ($q_{i}$,$q_{j}$)에 해당하는 이득값을 구하기 위해서는 $G_{i}$가 $q_{i}$를, $G_{j}$가 $q_{j}$를 선택해야 한다. 그러나 반복되는 게임의 과정에서 이러한 상황이 벌어진다는 보장이 없는 것이다. 즉 아무리 많은 게임을 수행해도 보수행렬에 상당히 많은 빈자리가 남아있을 수 있으며 이런 경우에 최적대응(BR) 전략의 효과가 매우 저하된다.

BR 전략이란 상대방의 다양한 전략에 대해 자신의 최적선택을 정보화해서 보유하고 이용하는 것인데 보수행렬이 충분히 충전되어 있지 않으면 상대방 선택과 나의 선택에 대한 기초 자료가 부족한 것이기 때문에 균형상태를 찾는 것은 상당히 어려워진다. 본 연구의 모드1 과정에서 최초에는 임의로 선택하지만 이후에는 신속한 충전을 위해 필터를 이용해서 효과적인 전략을 선택한다. 필터가 작용하는 과정은 다음과 같다.

그림에서 첫째 부분이 $G_{i}$의 보수행렬 일부, 둘째 3×1 행렬이 필터, 셋째 열벡터가 결과값이다. 시점 t-1에서 상대방이 $q_{j}$를 선택했을 때 시점 t에서 $q_{i}$를 선택하는 상황이다. 상대방에 대한 정보가 없으니 일단 t에서도 과거의 선택을 유지한다고 가정하고 충전중인 보수행렬에서 j번째 열벡터(회색부분)를 선택한다. 만약 이 시점에서 최적대응을 선택한다면 이득값이 최대로 14인 7번째를 선택하지만 모드1에서는 최적을 택하는게 아니고 효과적인 빈자리 충전이 목적이므로 3×1 행렬의 필터를 선택된 열벡터에 컨벌루션 형태로 계산하여 열벡터를 생성한다. 결과 열벡터에서 최대값을 갖는 6번째(값은 27)가 선택이 된다. 이는 이득값이 큰 구역(5,6,7번째)에서의 빈자리를 찾게 되어 BR의 적용에 도움을 준다. 이러한 효과적이고 신속한 보수행렬 구성은 본 연구에서 수렴속도 향상을 위한 중요한 요소이다.

4.2 최적대응전략 활용

완비정보의 보수행렬 게임에서 행렬이 구성이 되면 BR 전략들이 선택되고 경쟁자의 보수행렬에서도 BR 전략이 선택되어 이들 간의 중첩되는 전략이 NE의 정의에 부합한다.⁽¹²⁾ 하지만 불완비정보에서는 상대방의 한계비용을 모르기 때문에 자신만의 BR을 갖고 반복게임을 통해 NE에 접근할 수 밖에 없다.

이러한 과정에서 두가지 어려운 점이 있다. 충분한 보수행렬을 구성하였는가의 문제와 상대방 선택을 모른 상태에서 나의 선택을 결정해야한다는 점이다. 만약 보수행렬 원소 중에서 균형상태에 해당되는 자리가 계산되지 못하고 비어 있다면 정확한 균형상태는 도달하지 못할 것이다. 또한 BR 전략이라는 것이 상대방의 전략을 알 때 나의 최적선택에 관한 것인데, 상대방 선택을 모르면서 내 선택을 제시하는 상황이므로 오히려 내 선택으로 상대방을 균형상태로 유도할 수 있는가를 고민해야 한다.

앞에서 정의한 시뮬레이션 과정의 모드2에서 이러한 고민을 포함하고 있다. 모드1의 과정에서 보수행렬의 충전개수가 적정값 이상이 되면 모드2로 전환된다. 빈자리가 많지만 보수행렬의 기본적 기능은 할수 있다고 간주하고 BR 전략을 구성하여 NE 추적(trace) 단계로 돌입한다. 여기서 추적이란 참여자 간에 BR 전략이 중첩되는 상태를 찾아가는 과정을 의미한다. 이 과정에서 입찰의 결과가 행렬의 빈자리에 해당하면 보수행렬을 충전하면서 추적과 충전을 병행하는 것이다.

5.1 복점 모형

행위자 모형의 가장 간단한 사례는 MO와 2개의 Genco가 참여하는 경우이다. Genco의 한계비용은 다음 표 1과 같고 부하의 전력수요함수는 표 2와 같다. 이러한 정보를 전지적으로 사용하면 미시적 해법의 쿠르노 내쉬균형을 쉽게 구할 수가 있다. 하지만 본 연구에서는 공급참여자가 갖는 정보가 극히 제한적일 경우, 반복게임을 통해 필요한 정보를 축적하고 이를 이용해서 점차 균형상태에 접근해 가는 AB 방식의 해법을 시도한다.

두 Genco의 한계비용을 감안하여, $q_{1}$의 범위를 50~70 사이에 0.5 간격으로 이산화하고, $q_{2}$의 범위를 30~50 사이에 0.5 간격으로 이산화한다. 보수행렬 크기는 41×41이다. 모드1은 효과적 보수행렬의 신속한 구성 과정이다. 처음에는 상대방의 비용정보도 모르고 수요함수도 모른 채 시작한다. $G_{1}$의 입장에서 $q_{1}$을 제시하면 게임의 결과 시장가격과 $G_{2}$가 제시했던 $q_{2}$를 알게 된다. 그러면 여기에 해당하는 보수행렬의 원소를 계산할 수가 있다. 이러한 과정을 반복할수록 보수행렬은 채워질 것이다. 하지만 원하는 위치의 원소를 반드시 채울수 있는 것은 아니다. $G_{1}$의 입장에서 볼 때 행렬에서 행의 값은 자신이 선택하지만 열의 값은 $G_{2}$가 선택하기 때문이다. 따라서 N번의 게임을 수행할 때 계산되는 보수행렬 원소 개수는 이보다 작다. 대략 1600개의 원소를 갖는 보수행렬에 대해 본 연구에서 제시하는 기법으로 게임의 회수와 계산되는 원소의 개수를 비교해서 나타내면 그림 3과 같다.

게임을 1000번 시행했을 때 약 420번 정도의 원소가 계산됨을 알 수 있다. 초기값에 따라 결과가 달라지기 때문에 경향을 알기 위해 모드1 과정만 10번 반복 수행해서 10개의 그래프로 나타낸 것이다.

5.2 수렴특성 분석

모드1의 종료 조건인 원소 개수를 $N_{e}$라고 하자. $N_{e}$ 개의 원소가 채워지면 모드2 단계로 넘어간다. $N_{e}$가 클수록 모드2에서 균형상태로의 수렴 성공률은 높아질 것이다. 하지만 신속한 수렴을 위해서는 $N_{e}$가 작을수록 유리하다. 부분적으로 채워진 보수행렬을 이용해서 BR 전략 벡터를 구성하고 이를 기초로 본격적인 이득 극대화 전략을 선택하는 것이다. 모드2에서 이용하는 BR 벡터는 불완전하기 때문에 두 Genco가 BR을 이용해서 최적선택을 한다고 해도 균형상태로 수렴한다는 보장은 없다. 성공하는 사례와 실패하는 사례에 대해 소개한다.

$N_{e}$가 160인 경우에 대해서 보수행렬을 나타내면 그림 4와 같고, 모드2에서 두 Genco가 이를 이용하여 BR 벡터를 구성하고 최적선택을 시도한 과정은 그림 5와 같다. $G_{1}$은 22, 23번째 원소를, $G_{2}$는 18,19번째 원소를 교대로 선택하면서 진동한다. 수렴에 실패한 것이다.

$N_{e}$가 400인 경우는 그림 6에 보수행렬을, 그림 7에 수렴과정을 나타낸다. 모드2에서 5회부터 (25,18)의 위치로 수렴함을 알 수 있다. 이는 이산화된 ($q_{1}$,$q_{2}$)=(62,38.5)에 해당되며, 미시적 해법으로 구한 NE가 (61.82, 38.43)이므로 NE로의 수렴에 성공했다고 볼 수 있다.

모드1에서 행렬을 구성할 때 신속성 외에도 효율성을 언급하였다. 같은 개수의 원소를 갖더라도 어느 위치에 있느냐에 따라 모드2에서의 수렴결과가 달라질수 있기 때문이다. 본 연구에서는 원소의 높은 효능을 위해 4.1절에 설명한 바와 같이 필터에 의한 콘볼루션 계산으로 빈자리를 선택하고 있다. 이의 효과를 비교하기 위해 필터를 사용하지 않고 $N_{e}$=400인 보수행렬을 구하고 이에 대한 모드2의 수렴과정을 알아본다. 그림 8은 이에 대한 보수행렬인데, 그림 6에서 일부 구역에 집중 분포하는 반면 그림 8에서는 전체적으로 균일하게 분포함을 알 수 있다. 그림 9에서의 BR 선택 과정을 보면 수렴하지 않고 계속 진동한다. 필터를 사용함으로써 행렬 원소의 위치를 효과적으로 선택하고 있음을 알려준다.

모드2 단계에서의 원소개수 $N_{e}$가 클수록 수렴특성은 좋아질 것이다. 이에 대한 정량적 경향을 알아보기 위해서 100~500 사이 간격 10의 $N_{e}$에 대해서 모드2에서 균형상태로의 수렴성을 검토하였다. 각각의 $N_{e}$에 대해 100회의 시뮬레이션을 수행해서 성공 횟수를 비율로 나타낸 것이 그림 10이다. 그림에서 A는 NE 상태인 (25,18)로 수렴했는지의 성공여부를 계산한 것이고 B는 모드1에서 (25,18)에 해당하는 원소가 충전된 회수를 나타낸다. 초기값과 시뮬레이션 과정에서의 난수 발생 등으로 그래프의 형태는 달라진다. 하지만 $N_{e}$의 증가에 따라 성공 비율은 대체로 증가함을 알 수 있다.

그래프 A와 B가 조금씩 차이를 보이는 것은, 모드1에서 (25,18)의 원소가 계산되고도 모드2에서 수렴에 실패할 수도 있고, 반대로 모드1에서는 계산이 되지 않았지만 모드2에서 새롭게 선택되어 계산도 되고 수렴에 성공할 수도 있음을 나타내는 것이다. 그래프 C는 이산화 균형상태를 좀더 넓게 해석해서 (25,18)은 물론 한칸 씩의 오차를 포함하는 (25,17), (25,19), (24,18), (26,18)에 수렴하는 것도 정답으로 인정할 때의 그래프이다. 이는 이산화 간격을 좀더 세분화하면 정확한 값으로 수렴할 가능성이 있는 것이다.

5.3 다중 참여 사례

보수행렬을 이용하지만 2차원 행렬에만 국한되는 것은 아니다. 고차 행렬, 즉 3자 이상의 공급자가 참여하는 경우에도 적용이 가능함을 보이기 위해 다음 표 3과 같이 세 번째 참여자와 부하를 추가한다. 기존의 공급자 2인과 부하특성은 표 1, 2의 데이터를 그대로 사용한다.

이산화는 각각 75~95, 40~60, 45~65 사이에 간격은 1로 두어 보수행렬의 크기는 21×21×21, 전체 원소의 개수는 약 8000개 정도이다. 미시적 해법으로 NE를 계산하면 ($q_{1}$,$q_{2}$,$q_{3}$)=(84.21, 51.82, 55.71)이다. 따라서 균형에 대응하는 행렬의 원소는 10,13,12이다.

공급 경쟁자 3인과 MO가 참여하는 AB 반복게임을 시작하여, $N_{e}$=3000으로 두고 준비단계인 모드1을 거쳐 모드2의 수렴과정의 사례를 소개한다. 그림 11에서는 각각 10,13,12로 수렴함을 보이고, 그림 12에서는 $N_{e}$의 개수를 바꾸면서 수렴의 성공 비율을 나타낸다. 시뮬레이션은 1000~3500 사이에 100 간격으로 각각 100회씩 수행해서 성공 여부를 나타낸 것이고, A,B,C는 그림 10에서의 구분과 동일하다.

5.4 부하 변화에 적용

모드2에서 균형상태로의 수렴 성공은 $N_{e}$의 개수에 대체로 비례한다. 충분한 $N_{e}$ 개수를 확보하여 성공률을 높인 상태에서는 부하의 변동에 대해서도 수렴할 수 있는지 알아본다.

본 연구에서는 이 과정을 모드3으로 정의하였고, 부하의 변동은 5개의 구간으로 구분하여 수요함수에서 절편값의 변동으로 정의한다. 일례로 부하 $D_{1}$의 절편값을 70->73.5->70->66.5-> 70으로 5% 만큼의 증가와 감소가 포함된 부하 패턴을 적용한다. 부하 $D_{2}$, $D_{3}$에서도 동일한 비율의 변동을 적용한다. $N_{e}$= 4000에서 모드2의 시뮬레이션을 거친 수렴상태에서 모드3을 시작하여 5개 구간 각각에서 10회씩의 입찰을 수행한 결과를 나타내면 그림 13과 같다.

구간1,3,5에서는 그림 11에서와 같이 균형상태 (10,13,12)로 수렴하고, 부하가 5% 정도 증가한 구간2에서는 (15,17,15), 부하가 감소한 구간4에서는 (6,9,8)로 수렴함을 알 수 있고 이러한 수렴상태는 NE에 해당함을 확인하였다.

수렴이 완료된 모드2 이후에 입찰을 수행한 결과로 청산가격이 기존 결과와 달라진다면 부하변동이 발생한 것으로 판정을 하고 가격변동에 해당하는 정도의 이득변화량을 보수함수에 반영함으로써 이러한 부하변동에도 따라가는 특성을 유지할 수가 있는 것이다.