2.1 이동평균 변화율(RCMA) 기반 데이터 전처리

시간에 따라 데이터의 통계적 특성이 변동하는 비정상 시계열이나 데이터값의 변동이 심하거나 특이한 비선형 시계열의 경우, 예측 시스템 설계에 원형(original) 데이터를 직접 사용하게 되면, 대체로 데이터 간의 낮은 상관성 및 비선형 특성 등으로 인해 대상 시계열의 패턴이나 규칙성을 잘 기술할 수 있는 모델을 수립하기가 쉽지 않다. TSK 퍼지 모델을 사용하더라도 다음의 문제들로 인해 우수한 성능의 예측 시스템을 구현하기가 힘들다. 우선, 퍼지 규칙 전건부 구성을 위한 입력 공간 퍼지분할 과정에서 다른 특성/추세에 의한 데이터들임에도 불구하고 구분되지 못하고 같은 범주로 분류되는 경우가 발생하게 되어, 그 결과 다른 규칙으로 분리되지 않은 채 후건부 선형 (회귀모델) 수식의 파라미터 추정이 이루어짐으로써 속성 기술의 부정확성이 유발된다. 다음으로는, 데이터에 특정한 추세성이 존재하면, 실제 예측 시에는 설계된 규칙기반의 한쪽으로만 편중되어 동작하는 현상이 나타날 것이다. 예를 들어, 지속적인 증가 추세성을 가진 데이터의 경우, 설계 과정에서 초기의 데이터들로부터 생성된 규칙들은 실제 예측에서는 거의 동작하지 않는 무의미한 규칙이 될 것이고, 가장 뒤쪽의 데이터들에 의한 규칙들만 예측에 활용될 것이다. 규칙기반이 추세성뿐만 아니라 데이터에 내재된 다른 속성들도 반영한 결과임을 고려할 때, 극히 일부의 규칙들만 편중적으로 활용되는 것은 당연히 예측 성능을 저하시키는 결과를 가져오게 된다. 그뿐만 아니라 궁극적으로 어느 시점 이후에는 직전의 데이터들에 의한 새로운 규칙을 추가하지 않으면 예측 자체를 수행할 수 없게 될 것이다.

이러한 문제점을 극복하는 대안으로 차분 데이터의 사용을 생각할 수 있다. 차분 데이터는 변화가 급격하거나 심한 비정상 시계열 또는 지속적인 증가 및 감소 추세의 시계열에 대해 원형 데이터보다는 평균, 분산과 같은 통계적 특성이 좀 더 안정적이며, 일정 부분 추세성이 제거되어 군집화로 인해 초래될 수 있는 작동 규칙의 편중 현상을 경감할 수 있게 된다^(11,12). 하지만 원형 데이터의 내재적 특성을 잘 드러내면서 통계적 특성의 안정화를 보장할 수 있는 차분 간격의 선정을 위한 분석이 필요하고 과 차분으로 야기되는 데이터의 양의 부족(즉 차분 간격이 증가되면 될수록 데이터의 양은 감소) 등의 단점이 발생한다.

본 논문에서는 데이터의 이동평균이 가지는 저역 통과 필터링 성질에 의한 시계열의 비정상성 또는 비선형성으로 야기될 수 있는 데이터 기복의 완화와 통계적 특성의 안정화 효과를 이용하고, 이들의 변화율을 통해 편향된 추세성 등으로 인한 데이터의 규칙 편중 현상을 극복할 수 있도록 데이터 이동평균의 (상대) 증가율을 TSK 퍼지 예측기 입력으로 사용함으로써 앞선 문제점들을 극복할 수 있도록 한다.

먼저 입력 데이터 생성을 위한 원형 시계열 데이터의 이동평균 변화율 기반 전처리 과정은 다음과 같이 이루어진다. 퍼지 예측기 설계에 사용되는 $N$개의 학습(훈련) 데이터가 $x(1),\:x(2),\:x(3),\:\cdots ,\:x(N)$이라고 하면, 이들의 $i$번째 이동평균 데이터 $m(i)$는 다음과 같이 얻을 수 있다.

식 (1)로 생성되는 $\{m(i)\}$들은 이동평균의 저역 통과 필터 특성으로 인해 원 시계열의 본질적인 속성은 유지하면서도 급격한 변동이나 악성(ill-conditioned) 데이터와 같은 특이값들의 영향을 축소함으로써 통계량을 안정화하는 효과를 가져온다. 하지만, 원 시계열이 지속적인 증가/감소와 같은 추세성을 띠는 경우 이는 여전히 남아있어서 $m(i)$의 크기는 점진적으로 증가/감소하게 될 것이며 규칙의 편중 현상을 초래하여 시스템의 예측 성능을 떨어뜨리는 원인이 될 것이다. 데이터에서 추세성을 제거하는 효과적인 방법으로 차분과 같이 인접 데이터 사이의 값의 변화량을 이용할 수 있지만, 변화량 자체도 가질 수 있는 값의 범위가 넓을 수가 있으므로, 변화량 대신에 (상대적인) 변화율을 사용하게 되면 [-1, 1] 구간에 값이 분포하게 되어 보다 효율적인 퍼지 규칙기반 생성이 가능해질 것이다. 따라서 본 논문에서는 다음과 같이 이동평균 데이터의 증가율을 퍼지 예측기의 입력으로 사용한다.

식 (1)의 이동평균으로 통계적 특성이 안정화된 데다 식(2)와 같이 변화율로 추세성까지 제거된 $\{d(i)\}$를 원 시계열 데이터 대신 퍼지 예측기의 입력으로 사용하게 되면, 비교적 적은 수의 단순한 규칙기반으로도 양호한 예측 성능을 얻을 수 있으며, 따라서 퍼지 예측기의 설계도 덜 까다롭고 효율적으로 이루어질 수 있다.

2.2 예측 출력 생성을 위한 데이터 후처리

퍼지 예측기에 의한 출력은 원 시계열 $\{x(i)\}$의 예측값이 아니라 이동평균 변화율 $\{d(i)\}$의 예측값 $\{\hat d(i)\}$이다. 그러므로 이로부터 다시 원 시계열의 예측값으로 되돌리는 과정이 필요한데, 이는 2.1절에서 설명한 전처리 과정의 역동작이라 할 수 있다. 식(2)로부터

식 (3)을 $x(i+1)$에 대해 정리하면 다음의 관계를 얻는다.

따라서 제안된 시계열 예측 시스템의 예측 출력 $\hat x(i+1)$은 퍼지 예측기의 출력 $\hat d(i)$로부터 다음과 같이 구할 수 있다.

3.1 상관성 기반 K-평균 군집화(CBKM)에 의한 입력 공간 분할

설계되어야 할 퍼지 예측기의 입력과 출력은 원 시계열이 아니라 식(2)의 $\{d(i)\}$이므로 식(6)의 TSK 퍼지 규칙은 다음과 같이 다시 쓸 수 있다.

식 (7)에서 보면, $p$개의 입력은 같은 시계열에서 단지 시간순으로 연속된 데이터이므로 서로 독립적이지 않으며 입력쌍 $D_{i=}[d(i-1),\: d(i-2),\:\cdots ,\: d(i-p)]$으로 묶여 $d(i)$에 사상되므로 입력쌍 $D_{i=}[d(i-1),\: d(i-2),\:\cdots ,\: d(i-p)]$을 묶음으로 취급하여 입력 공간을 분할하는 것이 타당할 것이다. 입력 공간 분할에는 군집화 기법을 이용하는 것이 일반적인데, k-평균 군집화가 구조의 단순성으로 인해 널리 사용되고 있다^(13-15). 본 논문에서는 k-평균 군집화에서 유사도 지표로 사용하는 벡터 거리 대신 군집 중심과 입력쌍과의 상호상관계수로 대체한 상관 기반 k-평균 군집화를 적용하였다.

임의의 $l$번째 군집의 중심을 $Z_{l=}[z_{l}(1),\: z_{l}(2),\:\cdots ,\: z_{l}(p)]$라고 하자. 군집 중심 $Z_{l}$은 다음과 같이 그 군집에 속하는 것으로 분류된 $n_{l}$개의 입력쌍의 평균으로 구해진다.

군집 중심 $Z_{l}$의 자기상관(auto-correlation) $C_{Z_{l}}$, 입력쌍 $D_{i}$의 자기상관 $C_{D_{i}}$, 그리고 $Z_{l}$과 $D_{i}$의 상호상관 $C_{Z_{l}D_{i}}$는 다음과 같이 정의된다.

여기서 $\bar{z}_{l}$은 군집 중심 $Z_{l}$의 원소값들의 평균, $\bar{d}_{i}$은 입력쌍 $D_{i}$의 원소값들의 평균이며 다음과 같이 계산된다.

식 (9)와 (10)으로부터 군집 중심 $Z_{l}$와 입력쌍 $D_{i}$의 상호상관계수 $\rho_{Z_{l}D_{i}}$는 다음과 같이 구해진다.

입력쌍 $D_{i}$에 대해 식(12)를 이용하여 각각의 군집 중심과의 상호상관계수를 계산하여 가장 큰 값을 지니는, 다시 말해 상관성이 가장 높은 군집으로 분류하게 되며, 이 과정을 모든 입력쌍에 대해 수행한다. 모든 입력쌍에 대한 분류가 완료되면, 각 군집별로 식(8)을 이용해 새로운 군집 중심을 계산하여 갱신하고 이에 대해 식(12)로 상호상관계수를 다시 계산하여 분류하는 작업을 다음의 종료 조건이 만족될 때까지 반복하게 된다.

여기서 $Z_{l}^{j}$는 $j$번째 분류 반복으로 구해진 군집 중심이며, $V_{th}$는 군집화를 종료하기 위한 임계치이다. 식(13)은 군집 중심의 변동 정도가 $V_{Th}$ 이하이면 더 이상의 갱신이 불필요한 정도로 분류가 완성되었다고 본다는 의미이다. 예측기 입력인 이동평균 변화율 $\{d(i)\}$이 $[-1,\: 1]$ 구간에 존재하는 작은 값이므로 $V_{Th}$는 문제에서 요구되는 분류 엄밀도를 고려하여 적당한 작은 값으로 잡으면 되는데, 본 논문의 시뮬레이션 예에서는 $10^{-4}$을 사용하였다.

이상과 같은 방법으로 군집화가 완료되면, 구해진 각 군집의 중심들이 식(7)의 퍼지 규칙 전건부 입력 변수들에 대한 퍼지 집합들의 중심(소속 함수값이 1)이 된다. 예를 들어 군집(퍼지 집합)의 수가 $M$개라고 하면, 첫 번째 입력 변수 $d(i-1)$에 대한 $M$개의 퍼지 집합의 중심값들은 $z_{1}(1)$, $z_{2}(1)$, $\cdots$, $z_{M}(1)$이고, $k$번째 입력 변수 $d(i-k)$에 대한 퍼지 집합의 중심값들은 $z_{1}(k),\: z_{2}(k),\:\cdots ,\: z_{M}(k)$가 된다. 이 퍼지 집합의 중심값들은 데이터의 특성에 맞게 군집화 과정을 거쳐 구해진 것이므로, 등간격이 아닐뿐더러 입력 변수마다 값이 다르다. 그러므로 가우시안 함수를 이용하여 퍼지 집합에 대한 소속함수를 정의할 경우 좌우 대칭이 아닌 LR 표현을 적용하는 것이 더 적합할 것이다. $k$번째 입력 변수 $d(i-k)$에 대한 퍼지 집합의 중심값 $z_{1}(k),\:\cdots ,\: z_{M}(k)$을 값이 작은 것부터 순서대로 재정렬한 것을 $z_{1}^{k,\:}z_{2}^{k,\:}\cdots ,\: z_{M}^{k}$이라고 하자. $j$번째 퍼지 집합에 대한 소속함수 $\mu_{j}^{k}(d(i-k))$는 다음과 같이 정의한다.

여기서 $d_{j}^{k}$는 군집 중심 $z_{j}^{k}$을 갖는 군집으로 분류된 모든 입력쌍의 $k$번째 원소값을 나타낸다. 식(14)의 소속함수는 LR 표현을 위해 가우시안 함수가 통상 사용하는 공분산 대신 좌측(L) 표현에서는 군집 내의 최소값을, 우측(R) 표현에서는 군집 내의 최댓값으로 대체한 것이다. 왜냐하면, 군집화가 데이터 특성에 맞추어 이루어진 것이므로 이를 최대한 반영한 형태로 소속함수를 정의하고자 한 것이다.

3.2 퍼지 규칙 후건부 파라미터 추정

식 (7)의 퍼지 규칙의 전건부에 대한 설계가 끝나면, 후건부 회귀 모델(선형 수식)의 파라미터를 추정해야 규칙기반이 완성된다. 입력 변수가 $p$개, 각 변수마다 정의된 퍼지 집합이 $M$개라고 하면, 총 가능한 규칙은 $M^{p}$개가 되고 각각의 규칙에 대해 $p+1$개의 파라미터를 추정해야 한다. 파라미터 추정은 각 규칙을 만족시키는 학습 데이터의 입출력쌍들을 이용해서 수행되어야 하는데, 식(14)으로 정의된 소속함수가 가우시안 함수이므로 어떤 입력쌍이라도 모든 퍼지 집합에 대해 소속 함수값이 0이 되지는 않는다. 따라서 아주 조금이라도 모든 규칙을 만족시킨다. 그 결과 각 규칙의 파라미터 추정이 똑같이 모든 입출력쌍을 이용하게 되어 모든 규칙의 파라미터 추정값이 같게 되는 모순이 발생한다. 이의 해결 방안으로, 입력쌍이 규칙의 전건부를 만족시키는 적합도(또는 규칙 점화 수준(firing level))가 $\alpha$ 이상인 입출력쌍만으로 그 규칙의 파라미터를 추정하면 될 것이다. $\alpha$는 규칙의 모호성(fuzziness)을 얼마나 엄격하게 규정할 것인가와 파라미터 추정 정확도를 위한 데이터 개수 등을 고려하여 적당히 선택하면 된다. $\alpha$를 크게 잡을수록 규칙의 모호성은 감소하지만, 그 규칙에 속하는 입출력쌍의 수도 대체로 적어지게 된다. 일반적으로 규칙의 모호성과 관련해서는 $\alpha =0.5$ 전후의 값을, 파라미터 추정 정확도를 위해서는 $3(p+1)$개 정도의 입력쌍이 확보될 수 있는 수준으로 선정하는 것이 바람직한데, 두 요구 조건이 상충할 때는 적절히 절충하여 선택해야 한다. 필요하다면, 일부 규칙에는 다른 $\alpha$ 값을 사용할 수도 있을 것이다. 만약 어떤 규칙에 속하는 입출력쌍이 매우 적으면 유효한 파라미터 추정이 힘들므로 그 규칙을 제거하는 것이 낫다.

전건부 적합도는 입력 변수들의 소속함수 값 중 최솟값이므로 우선 모든 입력 변수들의 소속함수 값이 $\alpha$ 이상인 입출력쌍을 추려내야 한다. $j$번째 규칙에 대해 조건을 만족하는 입출력쌍의 개수가 $N_{j}$라고 하면, 이들에 대한 규칙의 후건부는 다음과 같이 쓸 수 있다.

(15)

여기서 $d_{0,\:i}^{j}$는 $j$번째 규칙을 만족한다고 간주된 입출력쌍들 중 $i$번째 입출력쌍의 출력이고, $d_{k,\:i}^{j}$는 $i$번째 입출력쌍의 $k$번째 입력 변수값이다. 식(15)을 행렬 벡터 형태로 표현하면 다음과 같이 된다.

$Y^{j}= X^{j}C^{j}$

식 (16)에 대해 파라미터 $C^{j}$의 최적해는 최소자승법을 적용하여 다음과 같이 얻을 수 있다.

이렇게 추정된 후건부 회귀모델의 파라미터는 데이터에 최적화된 결과이다.

3.3 비퍼지화에 의한 예측기 출력

학습 데이터로부터 규칙 후건부 파라미터가 추정되었으면 퍼지 예측기의 규칙기반 구축이 완료된 것이다. 따라서 입력쌍을 이용하여 예측 출력을 구할 수 있다. 그런데 하나의 입력쌍이 여러 개의 규칙을 중복하여 만족시키므로, 각 퍼지 규칙으로부터 얻어진 퍼지 출력들을 조합하여 비퍼지화를 수행함으로써 퍼지 수(집합)가 아닌 일반(crisp) 값으로 변환해야 한다. TSK 퍼지 모델에 대한 비퍼지화 과정은 일반적으로 최소화 연산에 의한 규칙 점화 수준과 무게 중심법(COG: center of gravity)을 이용하여 수행된다⁽⁸⁾.

$i$번째 입력쌍 $D_{i}$가 $j$번째 TSK 퍼지 규칙을 만족하는 정도를 점화 수준(또는 적합도)이라고 하며, 다음과 같이 퍼지 규칙 전건부에 대한 각 입력 변수의 소속 함수값 중에 가장 작은 것으로 정의한다⁽⁹⁾.

그러면, 입력쌍 $D_{i}$에 대한 퍼지 출력은 퍼지 규칙 후건부 수식에 의해 계산된 값 $\hat d^{j}(i)$가 식(18)의 점화 수준 $f^{j}(D_{i})$를 소속함수 값으로 갖는 퍼지 수 $(\hat d^{j}(i),\: f^{j}(D_{i}))$로 주어진다. 만약 입력쌍 $D_{i}$가 $m$개의 퍼지 규칙을 만족시킨다면, 각 규칙의 퍼지 출력으로부터 아래와 같이 무게중심법에 의해 비퍼지화된 퍼지 예측기 출력 $\hat d(i)$을 구하면 된다.

식 (19)에 의해 구해진 퍼지 예측기의 출력은 이동평균 변화율에 대한 예측값이지 실제 시계열에 대한 예측값은 아니다. 그러므로 실제 시계열에 대한 예측값은 2.2절에서 설명한 바와 같이 식(5)를 이용하여 구하여야만 한다.

Case 1) 비선형 시계열 : Mackey-Glass 시계열

Mackey-Glass 시계열(MG)은 혼돈 비선형 시계열 예측에 자주 이용되는 데이터로 다음과 같이 정의되는 수식으로부터 발생된다⁽¹⁾.

이들 중에서 시뮬레이션에 사용된 것은 $x(124)$에서부터 $x(1123)$까지 1000개이며, 그 중 500개는 퍼지 예측기 설계를 위한 학습 데이터로, 나머지는 성능 검증과 비교를 위한 예측 데이터로 사용하였다. 성능 지수는 다음과 같이 정의되는 RMSE(root mean squared error)를 사용하였다.

다음의 그림 2는 Mackey-Glass 시계열의 원형 데이터와 이에 대한 이동평균 데이터, 그림 3은 전처리 과정에 의해 생성된 이동평균 변화율 데이터와 상관 기반 k-평균 군집화(CBKM) 과정을 통해 두 개의 군집으로 분류된 데이터 패턴을 보여준다. 그림 2에서 볼 수 있듯이, 원형 시계열에 비해 이동평균 데이터의 변화가 훨씬 완만하고 안정적인 경향을 띠며, 그림 3의 a)의 이동평균 변화율 데이터에서는 추세성이 제거되어 0을 중심으로 값의 변화가 이루어지고 있음을 볼 수 있다.

그림. 2. 원형 Mackey-Glass 시계열과 이동평균 데이터

Fig. 2. The original MG data and its MA data

그림. 3. 이동평균 변화율 데이터와 CBKM에 의한 데이터 패턴

Fig. 3. RCMA data and data pattern after CBKM

그림 4는 설계된 퍼지 예측기에 의한 이동평균 변화율의 예측 결과 및 원형의 Mackey-Glass 시계열의 예측 결과로, 파란색은 실제 데이터이고 빨간색은 예측 결과를 나타내며 예측 결과가 잘 일치하고 있음을 보여준다.

표 1은 제안된 시스템의 예측 성능과 다른 논문의 방식^(14,15)들과의 성능 비교표로써 제안된 방식이 다른 방법들에 비해 비교적 적은 수의 규칙으로도 매우 우수한 성능으로 비선형 시계열 데이터를 예측하였음을 보여주고 있다.

그림. 4. 이동평균 변화율 및 원형의 데이터 예측 결과(MG)

Fig. 4. Prediction result for RCMA and original data(MG)

표 1 다른 방식들과의 성능 비교

Table 1 Comparative results between our method and other methods

Case 2) 비정상 시계열 : 호주 분기별 전력 생산량

호주의 분기별 전력생산량(AQEP: Australian quarterly electricity production) 데이터⁽¹⁶⁾는 총 155개의 데이터로 구성되어 있으며, 이들 중 70개의 데이터를 퍼지 예측기 설계를 위한 학습 데이터로 사용하고 나머지 데이터를 성능 검증을 위한 예측 데이터로 사용하였다. 또한, 성능 지수로는 다음의 MRE(mean relative error)를 사용하였다.

그림 a)는 이동평균 변화율 데이터와 설계된 퍼지 예측기에 의한 예측 결과를 나타낸 것으로, 이동평균 변화율 데이터로 변환한 결과 변량이 감소하고 지속적인 증가 추세성이 제거된 것을 알 수 있다. 따라서 초기에 생성된 규칙기반 내에 모든 데이터의 특성을 반영할 수 있게 될 것이다. 그림 5의 b)는 호주 전력생산량 데이터와 제안된 시스템을 이용한 예측 결과를 나타낸것이다. 이 시계열 데이터는 가파른 증가 추세성을 지니고 있는데, 좋은 예측 결과를 보인다.

그림. 5. 이동평균 변화율 및 원형의 예측 결과(AQEP)

Fig. 5. Prediction result for RCMA and original data(AQEP)

그림 6은 초기 및 후기 부분(85~115 및 125 이후)을 확대하여 나타낸 것으로, 실제 데이터(파란색)와 예측 결과(빨간색)가 거의 중복되어 있음을 볼 수 있으며, 이는 제안된 예측 시스템이 매우 효과적임을 보여주는 결과라고 할 수 있다. 다음의 표 2는 다른 논문들의 방식^(11,17)과 제안된 시스템의 성능 비교표로 제안된 기법이 이 경우에도 다른 방법들보다 우수한 예측 성능을 보인다.

그림. 6. 예측 결과의 초기와 후기 확대 모양

Fig. 6. Enlarging forms of the early and latter parts

표 2. 다른 방식들과의 성능 비교

Table 2. Comparative results between our method and other methods