• 대한전기학회
Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers
  • COPE
  • kcse
  • 한국과학기술단체총연합회
  • 한국학술지인용색인
  • Scopus
  • crossref
  • orcid

  1. (Dept. of Information Control Engineering, Hoseo University, Korea.)



Deep learning, Mix-up, Motor fault diagnosis, Data augmentation, Data imbalance

1. 서 론

전동기 고장 진단 데이터는 정상 데이터와 고장 데이터의 차이가 확실하다. 하지만 구동 환경에 따라 정상 상태 데이터 사이에도 차이가 존재하며 고장의 수준에 따라 데이터는 달라진다. 따라서, 현장에서의 데이터 수집이 요구된다. 이러한 데이터의 특수성에 의해 실험실 및 진단 대상이 아닌 유사 환경에서 수집된 데이터를 기반으로 한 전이 학습이 전동기 고장 진단 분야에 사용되고 있다(1). 딥러닝 알고리즘 기반 고장 진단 알고리즘을 학습시킬 때 가장 쉽게 얻을 수 있는 데이터는 고장 진단을 적용시킬 현장에서의 전동기 데이터이다. 고장 데이터는 전동기 수리 업체 또는 인위적으로 발생시킨 고장 환경에서 취득 가능하다. 하지만 그 수에는 한계가 있고 양질의 정상 상태 데이터가 늘어도 고장 상태 데이터가 부족하다면 적절한 모델 학습이 어려워진다.

하지만 초기 딥러닝을 이용한 고장 진단 연구들은 정상 상태와 고장 상태 사이의 불균형상태를 고려하지 않았다. 사전 연구를 통해 데이터의 평형을 맞추지 않고 실험실 데이터를 학습시킨 모델에 현장의 정상 상태 데이터를 추가시켜 학습시켜 데이터 편향만 증가시킨 경우 모델의 분류 성능이 증가하지 않는 것이 확인되었다. 정상 상태 데이터 만을 증가시키는 전이 학습은 모델 과적합 및 정보 불균형 현상에 의해 오히려 성능을 감소시키도 한다 (2).

또한 안정적인 현장 관리를 위해서는 고장 예측을 위한 모델이 요구된다. 고장 진단에 주로 사용되는 이상치 탐지(Anormaly detection) 기법은 데이터 불균형 현상에 대처 가능하지만 고장 예측 알고리즘 개발에 적합하지 않다. 이상치 탐지 기법은 정상 상태 데이터와의 차이를 수치화 시킬 수 있지만 명확한 상태 분류가 어렵다. 또한, 예측을 위해 고장 상태 데이터가 요구될 경우 일반적인 분류 모델에 비해 큰 장점을 갖기 어렵다. 이상치 탐지는 학습시킨 상태와의 차이를 비교하기에 적합하지만 세밀한 분류에는 약점이 있다.

이러한 문제점을 해결하기 위해 전이 학습 기반 전동기 고장 진단 및 예측 알고리즘의 부족한 데이터를 증대하기 위해 믹스업 알고리즘을 이용한 데이터 증대가 제안된다(3). 전동기 고장은 특정한 신호를 가지고 있기 때문에 믹스업 기법을 이용한다면 근사된 초기 고장 상태의 데이터를 만들 수 있다. 또한 전이 학습 사용시 데이터 불균형 현상을 한정적인 고장 상태 데이터를 이용해서도 증대시킬 수 있다. 운전에 영향을 주는 고장 상태와 현장에서 수집 가능한 정상 상태 데이터를 믹스업 알고리즘을 이용해 결정 경계 사이의 데이터를 증가시켜 전이 학습 시키는 제안된 알고리즘의 성능을 평가하기 위해 적대적 신경망 알고리즘(GAN)과의 비교가 이루어지고, 이를 통해 그 타당성을 확인한다.

2. 알고리즘

딥 러닝 알고리즘 학습 시 데이터 부족을 해소하기 위해 사용되는 방법은 데이터 재배치, GAN 알고리즘, 믹스업 등이 있다(3-5). 데이터 재배치는 데이터 배열을 섞거나 데이터의 일부만을 사용하는 등 이미지 분류 분야에서 주로 사용된다. 데이터의 분산을 증가시킬 수 있는 방법 중 하나이지만, 수집 가능한 데이터가 원 데이터의 일부로 제한되는 문제점이 있다. 학습에 사용되는 데이터의 수가 증가할수록 모델의 성능은 향상하지만 모든 클래스의 데이터가 균등하게 증가되어야 하는 고장 진단 분야에서는 사용하기 어렵다. 또한 이미지 분야에서 사용되는 데이터는 데이터 크기에 자유롭다. 그 이유는 세그멘테이션 또는 Interesting Pooling을 사용하는 Yolo 기반 모델이 주로 사용되기 때문이다. 하지만 고장 진단 분야의 데이터는 고정된 크기를 갖으며 데이터 형식에 영향을 주는 데이터 재배치 방식은 사용하기 어렵다.

GAN 알고리즘은 모델을 속이는 데이터를 만드는 알고리즘이다. 생성자와 구분자로 구성되며 생성자는 무작위 입력 벡터를 입력으로 증가시킬 데이터와 동일한 크기의 데이터를 생성한다. 구분자는 생성할 데이터를 분류하는 모델로 구성되며 생성자의 손실은 구분자에 의해 분류되는 정확도로 결정된다. GAN을 사용하면 딥러닝 알고리즘의 부족한 데이터 증대가 가능하지만, GAN으로 생성한 데이터는 모델을 속이는 수준의 데이터이지 초기 고장의 데이터를 대체하기는 어렵다. 왜냐하면 GAN은 기존의 데이터와 유사한 데이터를 만드는 기법이다. 하지만 고장 에측 및 전이 학습 성능 향상을 위해서는 더욱 극적으로 데이터를 증식해야 한다. 이를 위한 방법으로 제안된 방식은 믹스업 알고리즘이다.

2.1 믹스업 알고리즘

데이터 증대 기법은 원본 데이터를 임의로 변형시켜 학습 데이터의 수를 증가시키는 것으로 모델의 과적합(over fitting)을 막고 일반화 성능을 향상 시켜준다. 그중 믹스업 알고리즘은 두 데이터 샘플로부터 선형 보간법을 통해 새로운 샘플을 생성하는 기법이다. 믹스업 알고리즘은 단순한 동작 원리를 가지고 있지만, 일반화 성능 향상에 도움을 줄 수 있기 때문에 다양한 딥 러닝 분야에서 사용되고 있다.

이때 두 데이터 샘플을 이용하는 점에서 고장 진단 알고리즘에 적용하기 매우 유리한 점을 갖는다. 고장 진단 데이터는 크게 정상, 고장으로 분류된다. 고장 상태 데이터는 구하기 매우 어려우며 고장이 발생하기 전의 데이터는 더욱 수집하기 어렵다. 하지만 믹스업 알고리즘은 소량의 고장 데이터를 통해 대량의 데이터를 생성할 수 있다.

믹스업 알고리즘은 학습 단계에서 두 개의 입력 데이터를 무작위로 샘플링해서 새로운 입력을 적절히 섞어서 만드는 기법이다. 이 기법을 적용하면 네트워크는 여기서 샘플링한 값만을 입력으로 받는다. 믹스업 기법에 사용되는 수식은 (1)과 같다 (6).

(1)
$\hat x =\lambda x_{i}+(1-\lambda)x_{j},\:\hat y =\lambda y_{i}+(1-\lambda)y_{j}$

여기서 $\hat x$은 믹스업 알고리즘을 통해 생성되는 데이터이다. $\lambda$는 믹스업 계수이며 섞을 데이터의 비중을 의미한다. $x_{i}$,$x_{j}$는 믹스업 시킬 샘플을 의미한다. $\hat y$ 은 레이블이다. 믹스업 알고리즘을 이용하면 각 데이터의 비중을 조절할 수 있고 데이터 수에 따라 기하급수적으로 데이터를 증가시킬 수 있다. 사전 연구에 따르면 믹스업 알고리즘은 모델 학습에 어려움을 주는 것으로 과적합을 방지하는 역할을 한다 (8). GAN 학습에도 안정화를 시킨다는 연구 결과가 있지만 만 본 논문에서는 GAN을 대체하는 방법으로 사용된다. 본 연구에서 (1)의 $\lambda$는 믹스업 알고리즘 동작 과정에서 무작위로 선정된다. 그 이유는 데이터의 불균형을 해소하기 위해 한정적인 고장 상태 데이터를 이용해 균형이 맞는 데이터를 만들기 위해서이다. 그림 1은 믹스업 알고리즘을 이용해 생성된 고장 진단 데이터를 보여준다.

그림. 1. 믹스업 알고리즘으로 만든 데이터

Fig. 1. The data made by mix-up algorithm

../../Resources/kiee/KIEE.2023.72.2.255/fig1.png

2.2 전이 학습

전이 학습은 한 분야의 문제를 해결하기 위해서 얻은 지식과 정보를 다른 문제를 푸는 데 사용하는 방식으로 정의된다. 딥러닝 분야에서는 이미지 분류 문제를 해결하는 데 사용된 네트워크를 다른 데이터 셋 혹은 다른 문제에 적용시켜 푸는 것을 의미한다. 이는 특히 기계에 의한 시각적 이해를 목표로 하는 컴퓨터 비전 분야에서 많이 사용되며 이 분야에서 전이 학습으로 수행된 모델들이 높은 성능을 보이고 있다.

전이 학습을 통해 네트워크는 다양한 이미지 또는 데이터의 보편적인 특징 혹은 피처들을 학습한다. 일반적으로 네트워크가 깊어질수록 서로 다른 종류의 특징들을 학습한다고 알려져 있다. 낮은 층에서 학습되는 특징과 높은 층에서 학습되는 특징은 별도이며 이미지 분류 분야에서는 경계, 색 등으로 분류된다. 이러한 특징을 통해 사전 학습된 모델은 비슷한 데이터를 분류하는 데 있어 더욱 우수한 성능을 보일 수 있다. 이는 데이터를 추가시키는 것보다 더욱 우수한 성능을 보인다. 사전 학습에 대한 개념은 그림 2로 표현된다. 그림 2는 데이터 셋의 크기가 커짐에 따라 전체 모델에 대한 성능은 커지지만, 유사도가 큰 데이터가 크다면 전체 성능이 떨어짐을 의미한다.

그림. 2. 데이터 셋에 따른 사전 학습

Fig. 2. Pre-training according to dataset

../../Resources/kiee/KIEE.2023.72.2.255/fig2.png

이는 고장 진단에 사용되는 것으로 더욱 우수한 성능을 보인다. 고장 진단에 사용되는 주 네트워크는 CNN (Convolutional Neural Network)이다. CNN은 이미지 분류에 주로 사용되는 네트워크이다. 고장 진단 데이터는 일반적으로 FFT, CWT를 통해 전처리시킨 신호이며, 이 데이터를 1, 2차원의 이미지로 이해하는 것으로 모델을 선정한다. 또한 전동기의 고장 신호 특징은 일정한 패턴을 갖는다 (9). 예를 들어 기어 고장의 경우 고장이 발생한 기어 치(teeth)의 수에 의해 고장 주파수가 결정된다. 그럼에도 더욱더 많은 데이터가 요구되는 이유는 전동기 운전 현장 및 조립 수준에 따라 데이터가 소량 변경되기 때문이다. 하지만 기존의 데이터를 추가로 학습시키는 전이 학습 방법은 고장 진단에 주로 사용되는 방법 중 하나이다.

2.3 제안 알고리즘

전이 학습을 위해서는 적절한 균형의 데이터가 요구된다. 하지만 사전 학습된 모델에 불평형 데이터를 입력시켜 학습을 시킬 경우 모델의 성능은 오히려 감소할 수 있다(2). 하지만 기존의 연구들은 현장에서 취득한 데이터만을 추가로 전이 학습시키는 방법을 사용했다 (1,9). 본 논문에서는 전이 학습 성능 향상을 위해 기존 방식에서 개선된 믹스업 알고리즘을 이용해 데이터의 불균형상태를 해소시키는 방법에 관한 연구가 이루어진다.

제안된 전이 학습 방법은 전동기 고장 진단을 위해 수집 가능한 데이터 수를 고려한다. 전이 학습을 위해 현장에서 수집 가능한 데이터는 정상 상태 데이터이며, 고장 상태 데이터는 전동기 수리 업체나 인위적인 고장 상태 구현을 통해서 수집할 수는 있다. 하지만, 인위적인 데이터의 질은 실제와 차이가 있을 수 있으며, 양질의 데이터 수집의 한계가 존재한다. 이러한 데이터 불균형 및 고장 수준 분류를 위해 운전에 영향을 주는 수준의 고장 상태 데이터와 정상 상태 데이터를 믹스업 시켜 데이터를 증대시키는 방법이 제안된다. 이 방법에서 람다 계수는 임의로 선정되어 고장과 정상 사이의 데이터를 증대시키는 역할을 수행한다. 제안된 방법은 전이 학습 시 발생하는 데이터 불평형을 사전에 수집된 데이터를 이용해 증대하게 해주며, 고장 수준 분류 성능 향상을 통해 모델 자체의 성능을 증가시켜 줄 수 있다. 그림 3은 제안된 알고리즘의 데이터 구성 및 적용 절차를 보여준다.

그림. 3. 제안된 알고리즘

Fig. 3. The proposed algorithm

../../Resources/kiee/KIEE.2023.72.2.255/fig3.png

3. 시스템 구성

전이 학습 알고리즘의 성능 향상을 위해 믹스업 알고리즘을 사용하는 연구의 실험 환경 구성은 다음과 같다. 현장에 적용되는 전이 학습 시스템을 모방하기 위해 전동기 신호 계측 환경은 구성 비용의 이점이 있는 소형 PC 라즈베리 파이를 기반으로 만들어진다. 라즈베리 파이는 FTP 통신에 강점을 갖지만 SOC(System On Chip)에 ADC 기능이 없다는 단점이 있다. 이는 ADC IC를 사용하는 것으로 해결된다. 사전 연구를 통해 진동 신호 및 전류 신호의 샘플링 주파수는 50,000 [Hz]로 설정해도 되는 것이 확인되었다 (10). 그 이유는 고장에 의한 특징 주파수는 상대적으로 저주파수인 1,000[Hz] 미만 영역에서 확인이 가능하기 때문이다. 최종적으로 구성된 신호 계측 시스템은 그림 4와 같다.

그림. 4. 신호 계측 시스템

Fig. 4. Signal measurement and communication system

../../Resources/kiee/KIEE.2023.72.2.255/fig4.png

SPI 통신을 이용해 ADC된 신호는 라즈베리파이에 구성된 딥 러닝 알고리즘을 통해 분류되며 분류 결과 및 데이터는 FTP 통신을 통해 메인 서버로 전송된다. 메인 서버는 FTP 구성에 이점이 있는 파일질라로 구성된다. 메인 서버는 연결된 클라이언트 장비에 진단 결과를 전송하며 현장의 소형 PC에 업데이트된 모델을 전송하는 역할을 수행한다. 전송된 데이터를 관리자가 편리하게 확인하기 위해 그림 5와 같이 타임 로그를 포함한 GUI 시스템이 구성된다.

그림. 5. 클라이언트 GUI 프로그램

Fig. 5. Client GUI program

../../Resources/kiee/KIEE.2023.72.2.255/fig5.png

그림. 6. 정상 상태 전동기 사이의 신호 차이

Fig. 6. The signal differences between normal states

../../Resources/kiee/KIEE.2023.72.2.255/fig6.png

진단 대상이 되는 전동기의 고장 신호는 일부분 수집 가능하다. 이러한 환경을 구현하기 위해 동일 기종의 전동기 4대를 이용해 신호를 수집한다. 이는 전이 학습을 위한 현장에서 수집 가능한 정상 상태 전동기를 나타낸다. 동일한 모델의 전동기일지라도 조립 과정 및 제조 공정에 따라 신호가 달라진다. 그림 6은 정상 상태 전동기 사이의 신호 차이를 보여준다.

전이 학습에 의한 고장 수준 대처 능력 향상 효과를 확인하기 위해 기어 고장 상태가 선정된다. 기어 고장 상태는 기어 치의 손상 정도를 달리해 4개의 수준으로 구분된다. 그림 7은 고장 수준이 다른 기어 고장 전동기를 보여준다.

그림. 7. 고장 정도가 다른 기어

Fig. 7. Gears with different degrees of failure

../../Resources/kiee/KIEE.2023.72.2.255/fig7.png

그림. 8. 기어 박스 구조

Fig. 8. The structure of gear box

../../Resources/kiee/KIEE.2023.72.2.255/fig8.png

고장 상태 신호는 실제로 수집하기 어려운 신호이기 때문에 가장 고장 정도가 심한 고장 D 상태를 제외하고는 학습에 사용되지 않는다. 그림 9는 현장 적용이 가능한 최종 계측 시스템을 보여준다.

그림. 9. 최종 시스템 구성 : (1) 현장 PC 디스플레이, (2) 소형 PC, (3) 시그널 컨디셔너, (4) 전동기

Fig. 9. Motor signal measurement system : (1) PC Display (2) Mini PC, (3) Signal conditioner, (4) Motor

../../Resources/kiee/KIEE.2023.72.2.255/fig9.png

고장 상태 전동기는 같은 전동기를 인위적으로 고장 정도를 심화시켜 구현된다. 실험에 사용된 전동기는 유도 전동기이고 10:1의 감속 기어 박스가 연결되어 있다. 그림 8은 실험에 사용된 기어 박스를 보여준다.

4. 실 험

정상 상태 전동기 신호는 그림 6과 같이 동일한 모델에서도 다른 신호를 보인다. 사전 연구를 통해 개발된 유전 알고리즘 기반 하이퍼 파라미터 최적화를 통해 구한 하이퍼 파라미터를 통해 CNN 알고리즘을 학습시켜 정상 상태 데이터의 차이가 딥 러닝 알고리즘에 의해 분류 가능한지 평가된다 (11). 편의를 위해 실험에 사용된 정상 상태 전동기는 정상 A, B, C, D로 표기하며 고장 상태 전동기는 고장 A, B, C, D로 표기된다. 정상 상태 A, B, C, D 고장 상태 A 그룹을 통해 학습시킨 모델에 검증 데이터로 A, B, C, D 그룹의 정상 데이터를 입력시켰다. 학습에 사용된 데이터는 현장의 부족한 데이터를 표현하기 위해 1000개로 제한되며 검증 데이터는 10%의 비율인 100개로 선정되었다. 표 1은 해당 실험의 결과를 정확도와 소프트맥스 평균값으로 보여준다(12).

실험 1은 모터 그룹 A를 통해 학습시킨 모델이며 표 1의 결과는 정상 상태 A 전동기와 다른 그룹의 전동기 정상 상태는 유사함을 보여준다. 하지만 모델의 판단 근거인 소프트맥스 평균값을 비교한 결과 정상 B 그룹과 A, C, D 그룹의 차이가 존재함을 알 수 있다. 이는 고장 상태가 증가하는 범용적인 고장 진단 모델에서 문제를 일으킬 수 있다. 표 2는 전동기 그룹 A, B를 통해 학습시킨 모델에 의한 검증 결과를 보여준다.

표 1. 정상 상태의 유사도 검증 실험

Table 1. The normal state similarity test

Test 1

NA

NB

NC

ND

Average

85.4%

77.7%

86.1%

85.7%

Accuracy

100%

100%

100%

100%

표 2. 복수 정상 상태 데이터 모델 실험 결과

Table 2. The multiple normal state similarity test

Test 2

NA

NB

NC

ND

Average

64.8%

84.2%

63.0%

59.0%

Accuracy

100%

100%

100%

99.9%

정상 상태 데이터를 추가시켰을 때 학습 데이터의 분산 증가로 인해 소프트 맥스 평균치는 전체적으로 감소하며 정상 D 모터의 경우 정확도가 떨어진다. 이러한 현상은 무분별한 데이터 증가가 모델 성능 향상에 도움을 주지 않음을 보여준다. 실험 1과 실험 2의 우수한 성능은 고장 상태 데이터를 오직 한 그룹의 데이터 만을 사용했기 때문에 나온 결과이며 실제 현장 적용 시 고려하기 어려운 데이터 구성이다. 정상 상태 데이터만이 증가된 전이 학습에서 이러한 경향은 더욱 확실히 보여진다. 전이 학습을 위한 사전 학습 모델은 정상 A, 고장 D 데이터를 이용해 학습되며 검증 데이터는 모터 A, B, C 그룹을 이용한다. 전이 학습은 정상 B, 정상 C, 정상 D를 추가로 학습시키는 방법이 사용된다. 해당 실험 결과는 표 3으로 정리된다. 학습에 사용된 데이터는 회색으로 표시된다. 사전 학습 및 전이 학습에 사용된 데이터 수는 각 상태별 20,000개이며 시험 데이터는 1,000개로 설정되었다. 데이터 수를 20,000개로 제한한 것은 실제 현장에서 취득 가능한 데이터의 유의미한 수를 상정한 것이다. 전동기의 진동 신호는 외란에 영향을 받지만, 그 범위는 매우 한정적이다. 정상 상태는 N, 고장 상태는 F로 표기하며 혼동 행렬에서의 긍정은 정상, 부정은 고장으로 설정된다. 재현율(Recall)은 정상 상태를 정상으로 예측한 확률이며 특이도(Specificity)는 고장 상태를 고장으로 예측한 확률이다. 혼동 행렬의 시험에 사용된 데이터 전체에 대한 모델 출력이며 재현율과 특이도는 각 데이터에 대한 모델의 반응이다. TD는 학습에 사용된 데이터를 의미한다.

표 2의 실험 결과와 달리 고장 상태 데이터가 제한된 상태에서 정상 상태 데이터 분류 정확도는 전이 학습을 통해 증가하지 않고 몇몇의 실험 결과는 정확도가 떨어지는 것이 확인된다. 이는 데이터 불평형에 따른 전이 학습 성능 감소를 보여준다. 전체 데이터에 대한 정밀도(Precision)는 61, 97, 99, 99로 정상 데이터의 수가 증가함에 따라 증가하지만, 재현율은 71, 54, 53, 85로 불안정하다. 데이터 수가 증가함에 따라 F1 점수는 66, 70, 69, 91이 된다.

믹스업 알고리즘은 정상 상태 A와 가장 고장 상태가 심한 고장 D를 이용하여 구현한다. 사전 학습은 가장 심한 고장 상태와 정상 상태 사이의 데이터를 믹스업 알고리즘을 통해 생성하는 것으로 전체적인 전동기 신호를 증대할 수 있다. 사전 학습된 모델에 고장 D와 정상 A, B, C 및 D를 믹스업 시킨 데이터를 순차적으로 전이 학습시켜가며, 전이 학습 데이터 수 증가에 따른 성능 증가를 확인한다. 학습에 사용된 데이터 수는 믹스업 알고리즘을 이용하여 증가시킨 20,000개의 데이터이며 검증 데이터는 믹스업 알고리즘으로 증가시키지 않은 각 상태별 2,000개이다. 시험 데이터는 학습 및 검증에 사용되지 않은 그룹의 데이터 1,000개이다. 그 실험 결과는 표 4와 같다.

표 3. 전이 학습 실험 결과

Table 3. The results of transfer learning

Test 3-1

NA(TD)

N B

N C

N D

Recall

100%

13.2%

32.4%

99.8%

Test 3-1

F A

F B

F C

FD(TD)

Specificity

100%

1.0%

100%

100%

Test 3-1

Predicted Positive

Predicted Negative

Actual Positive

TP(2,454)

FP(1,546)

Actual Negative

FN(990)

TN(3,010)

Test 3-2

NA(TD)

NB(TD)

N C

N D

Recall

100%

100%

91.2%

99.7%

Test 3-2

F A

F B

F C

FD(TD)

Specificity

100%

36.2%

89.7%

100%

Test 3-2

Predicted Positive

Predicted Negative

Actual Positive

TP(3,909)

FP(91)

Actual Negative

FN(3,259)

TN(741)

Test 3-3

NA(TD)

NB(TD)

NC(TD)

N D

Recall

99%

99%

99.8%

100%

Test 3-3

F A

F B

F C

FD(TD)

Specificity

100%

48.8%

100%

100%

Test 3-3

Predicted Positive

Predicted Negative

Actual Positive

TP(3,978)

FP(22)

Actual Negative

FN(3,488)

TN(512)

Test 3-4

NA(TD)

NB(TD)

NC(TD)

ND(TD)

Recall

99%

99%

99.8%

100%

Test 3-4

F A

F B

F C

FD(TD)

Specificity

100%

32.7%

99.2%

99.6%

Test 3-4

Predicted Positive

Predicted Negative

Actual Positive

TP(3,978)

FP(22)

Actual Negative

FN(685)

TN(3,315)

표 4. 믹스업 데이터 전이 학습 실험 결과

Table 4. Transfer learning results with mixup data

Test 4-1

NA(TD)

N B

N C

N D

Recall

100%

100%

100%

84.6%

Test 4-1

F A

F B

F C

FD(TD)

Specificity

100%

100%

100%

100%

Test 4-1

Predicted Positive

Predicted Negative

Actual Positive

TP(3,846)

FP(154)

Actual Negative

FN(0)

TN(4000)

Test 4-2

NA(TD)

NB(TD)

N C

N D

Recall

99.9%

100%

100%

96.0%

Test 4-2

F A

F B

F C

FD(TD)

Specificity

48.4%

100%

100%

100%

Test 4-2

Predicted Positive

Predicted Negative

Actual Positive

TP(3,959)

FP(41)

Actual Negative

FN(516)

TN(3,484)

Test 4-3

NA(TD)

NB(TD)

NC(TD)

N D

Recall

100%

100%

100%

100%

Test 4-3

F A

F B

F C

FD(TD)

Specificity

10.7%

100%

100%

100%

Test 4-3

Predicted Positive

Predicted Negative

Actual Positive

TP(4,000)

FP(0)

Actual Negative

FN(893)

TN(3,107)

Test 4-4

NA(TD)

NB(TD)

NC(TD)

ND(TD)

Recall

100%

100%

100%

100%

Test 4-4

F A

F B

F C

FD(TD)

Specificity

91.3%

100%

100%

100%

Test 4-4

Predicted Positive

Predicted Negative

Actual Positive

TP(4,000)

FP(0)

Actual Negative

FN(87)

TN(3,913)

표 4의 결과는 표 3의 결과에 비해 적은 그룹으로 학습시킨 상태에서 평균 정확도가 더욱 우수하다. 또한 전체 데이터에 대한 정밀도는 96, 98, 100, 100으로 기존 방법에 비해 우수하다. 재현율은 100, 88, 81, 97로 불안정하다. 그 이유는 고장 A는 정상 상태와 가장 유사한 초기 고장 상태이며 그 신호는 정상 상태와 매우 유사하다. 결정 경계를 스무딩하는 믹스업 알고리즘의 영향으로 적은 데이터 그룹을 사용할 때 분류 정확도는 50% 미만으로 낮지만 정상 데이터 그룹이 증가함에 따라 그 분류 성능은 증가된다. 데이터 수가 증가함에 따라 F1 점수는 98, 93, 89, 99가 된다. 결정 경계의 영향 및 데이터 불평형을 고려하지 않은 실험 3의 결과는 학습에 사용되지 않은 고장 데이터를 분류함에 있어 큰 오차를 보인다. 믹스업 알고리즘은 기존 전이 학습의 방법에 비해 학습에 사용되지 않은 고장 데이터 분류 정확도를 증가시킴이 확인되었다.

GAN은 상대적으로 GAN 학습에 사용된 데이터와 유사한 데이터들이 생성된다. 이는 정상, 고장 데이터와 모델 관점에서 유사한 데이터만이 생성되는 것을 의미한다. 그림 10은 GAN으로 생성한 데이터를 보여준다. GAN을 이용해 각 상태별 데이터를 20,000개씩 증대시켰으며, 모든 GAN 데이터를 학습 데이터로 사용한다. 검증 데이터는 GAN으로 증대시키지 않은 원 데이터 2,000개이다. GAN을 이용한 실험 결과는 표5와 같다.

그림. 10. GAN 데이터

Fig. 10. GAN data

../../Resources/kiee/KIEE.2023.72.2.255/fig10.png

GAN 데이터를 사용하는 실험 5와 믹스업 데이터를 사용하는 실험 4의 결과를 비교하면 GAN 데이터를 이용한 전이 학습은 학습에 사용되지 않은 데이터 분류 성능이 떨어짐을 알 수 있다. 전체 데이터에 대한 정밀도는 96, 96, 91, 99로 믹스업에 비해 불안정하다. 재현율은 100, 99, 95, 95로 데이터 증가에 따라 감소한다. F1 점수는 98, 97, 93, 97로 학습에 사용되는 GAN 데이터 그룹 증가가 큰 영향을 주지 못한다. 이는 결정 경계가 크게 달라지지 않는 GAN 데이터 증대의 특성상 정상 상태와 가장 유사한 고장 A의 분류 성능은 떨어지지 않는다. 반면에 운전에 영향을 주기 시작하는 고장 B, C에 대해서 분류 성능이 감소한다. 이는 GAN 데이터로 학습된 모델의 결정 경계는 고장이 심해질수록 특정한 주파수에서의 진폭이 변화되는 고전적 진단 이론과 달리 모델이 임의의 결정 경계를 만들었음을 의미한다. 운전에 영향을 주지 않는 초기 고장 상태의 진단 성능보다 운전에 영향을 주기 시작하는 고장 상태를 분류하는 성능이 우수한 믹스업 알고리즘 기반의 전이 학습이 더욱 전동기 고장 진단에 적합하다고 판단된다.

표 5. GAN 데이터 전이 학습 결과

Table 5. The result of GAN data transfer learning

Test 5-1

NA(TD)

NB(TD)

N C

N D

Recall

100%

100%

88%

97.5%

Test 5-1

F A

F B

F C

FD(TD)

Specificity

100%

97.4%

99.9%

98.8%

Test 5-1

Predicted Positive

Predicted Negative

Actual Positive

TP(3,855)

FP(145)

Actual Negative

FN(39)

TN(3,961)

Test 5-2

NA(TD)

NB(TD)

NC(TD)

N D

Recall

100%

100%

97.8%

69.3%

Test 5-2

F A

F B

F C

FD(TD)

Specificity

100%

91.2%

92.6%

99.8%

Test 5-2

Predicted Positive

Predicted Negative

Actual Positive

TP(3,671)

FP(329)

Actual Negative

FN(164)

TN(3,836)

Test 5-3

NA(TD)

NB(TD)

NC(TD)

ND(TD)

Recall

100%

100%

98.2%

100%

Test 5-3

F A

F B

F C

FD(TD)

Specificity

100%

90.4%

91.2%

100%

Test 5-3

Predicted Positive

Predicted Negative

Actual Positive

TP(3,982)

FP(18)

Actual Negative

FN(184)

TN(3816)

5. 결 론

본 논문에서는 기존 전이 학습을 이용한 고장 진단 알고리즘의 문제점인 데이터 불균형 현상을 극복하기 위해 믹스업 알고리즘을 사용하는 전이 학습 방법이 연구되었다. 믹스업 알고리즘은 부족한 고장 데이터의 수를 증대하는 방법으로 기존 전이 학습에 비해 데이터의 분산을 충분히 증가시키는 것이 확인되었다. 또한 동일한 수의 증대된 데이터를 사용한 GAN 알고리즘 기반의 전이 학습에 비해 데이터 분산이 증가하여 모델의 분류 성능이 향상됨이 확인되었다. 전이 학습에 사용되는 데이터의 수는 믹스업 알고리즘의 계수를 조절하는 것으로 증가 가능하고, 그 수가 늘어날수록 모델의 분류 성능은 크게 증가한다. 또한 실험 결과를 통해 고장 진단 분야의 부족한 데이터의 수를 증대하는 방법으로 믹스업 알고리즘이 사용 가능함이 확인되었다. 믹스업 알고리즘 기반의 전이 학습은 딥 러닝 알고리즘을 사용한 전동기 고장 진단의 현장 적용에 큰 도움이 될 것으로 기대된다.

Acknowledgements

This research was supported by Korea Electric Power Corporation. [Grant number : R21XO01-14].

References

1 
Chuan Li, 2022, A systematic review of deep transfer learning for machinery fault diagnosis, Neurocomputing, Vol. 407, pp. 121-135DOI
2 
Xiaoling Xu, Li Wensheng, Duan Qingling, 2021, Transfer learning and SE-ResNet152 networks-based for small-scale unbalanced fish species identification, Computers and Electronics in Agriculture, Vol. 180DOI
3 
Sungnyun Kim, 2020, Mixco: Mix-up contrastive learning for visual representation, arXiv preprint arXiv:2010.06300Google Search
4 
Connor Shorten, 2019, A survey on image data augmentation for deep learning, Journal of big data, Vol. 6, No. 1, pp. 1-48Google Search
5 
Yuantao Chen, 2021, Research on image inpainting algorithm of improved GAN based on two-discriminations networks, Applied Intelligence, Vol. 51, No. 6, pp. 3460-3474DOI
6 
Rui Zhou, 2022, A highly accurate delta check method using deep learning for detection of sample mix-up in the clinical laboratory, Clinical Chemistry and Laboratory Medicine (CCLM), Vol. 60, No. 12, pp. 1984-1992Google Search
7 
Yubin Park, 2019, Tackling overfitting in boosting for noisy healthcare data, IEEE Transactions on Knowledge and Data Engineering, Vol. 33, No. 7, pp. 2995-3006DOI
8 
Chen, Guhua, September 2022, A Novel Multi-Sample Data Augmentation Method for Oriented Object Detection in Remote Sensing Images, 2022 IEEE 24th International Workshop on Multimedia Signal Processing (MMSP), pp. 26-28DOI
9 
Neelam Mehala, 2007, Motor current signature analysis and its applications in induction motor fault diagnosis, International journal of systems applications, engineering & development, Vol. 2, No. 1, pp. 29-35Google Search
10 
Long Wen, Gao Liang, 2017, A new deep transfer learning based on sparse auto-encoder for fault diagnosis, IEEE Transactions on systems man and cybernetics: systems, Vol. 49, No. 1, pp. 136-144DOI
11 
Ji-Hoon Han, 2022, Hyperparameter optimization using a genetic algorithm considering verification time in a convolutional neural network, Journal of Electrical Engineering & Technology, Vol. 15, No. 2, pp. 721-726Google Search
12 
Gyu-Ri Kim, Ui-Jin Choi, Ji-Sung Yang, Seung-Min Song, Ji-Hoon Han, Sun-Ki Hong, 2022, Building a Big Data Set for Deep Learning Fault Diagnosis from Multiple Motors and Comparison of Motor Data Characteristics, KIEE summer conference, pp. 280-281Google Search

저자소개

최의진 (Eui-Jin Choi)
../../Resources/kiee/KIEE.2023.72.2.255/au1.png

He obtained his B.S. in Digital Control Engineering from Hoseo University, Korea in 2023.

Currently, he is pursuing the M.S. in Information Control Engineering from Hoseo University, Korea.

His research interests include deep learning, motor control and IoT.

한지훈 (Ji-Hoon Han)
../../Resources/kiee/KIEE.2023.72.2.255/au2.png

He obtained his B.S. and M.S in Digital Control Engineering from Hoseo University, Korea in 2019 and 2021.

Currently, he is pursuing the Ph.D in Information Control Engineering from Hoseo University, Korea.

His research interests include deep learning and motor control.

홍선기 (Sun-Ki Hong)
../../Resources/kiee/KIEE.2023.72.2.255/au3.png

He received the B.S., M.S. and Ph.D degreesin Electric Engineering from Seoul NationalUniversity, Korea in 1987, 1989 and 1993,respectively.

He joined Hoseo University, Korea,in 1995, where he is currently a Full Professor with the Department of Digital Engineering.

His research interests include hysteresis motor analysis, electric motor analysis anddesign, motor fault diagnosis, servo motorcontrol, converter and inverter design, deep learning and IoT.