1. 서론

딥러닝 기법중의 하나인 CNN (Convolutional Neural Networks)은 생물체의 시각 처리 방식을 응용한 것으로 영상 인식분야에서 탁월한 성능을 보이고 있다^(1,2). CNN은 특징점을 사전에 추출하지 않고, 입력 층에 영상 데이터를 직접 입력하여 컨볼루션 층을 통해 특징이 자동 추출되는 기능을 가지고 있다⁽³⁾. 구체적으로, 다층으로 구성된 다중 필터 기반의 자동적 필터 생성 방식으로 인해, 단일(소수) 필터 및 미분이나 알고리즘을 사용해 필터를 설계하는 전통적인 접근법⁽⁴⁾과 대비된다.

CNN 기반의 다층 및 다중 필터를 학습에 의해서 개선하면서 물체를 인식하는 것은 이미 뛰어난 성능을 인정받고 있으며 층이 깊어질수록 정확도는 더욱 높아지고 있다^(5,6). GPU등의 딥러닝 연산 환경의 발달로 층과 필터수를 늘린 방대한 규모의 모델이 성능 향상을 주도하고 있으며^(7,8), 층의 규모가 커질수록 구조의 최적화가 더 어렵고 방대한 연산량을 필요로 한다. 기존의 경험적인 층 구성에서 벗어나 진화연산을 이용하여 CNN의 구조를 최적화하려는 시도가 연구되어 왔다^(9-12). 더욱 최근인 2018년에는 RNN을 사용하여 CNN 모델을 생성하고 강화학습을 통해 네트워크의 성능을 최대화 하도록 RNN을 학습시키는 NASNet⁽¹³⁾ 및 PNASNet⁽¹⁴⁾ 연구가 제안되었고 이전보다 우수한 성능을 보여주고 있다. RNN을 사용한 이유는 CNN의 구조와 연결이 가변길이 스트링으로 적합하게 표현될 수 있기 때문이다. 표현된 CNN을 검증 데이터에 대해서 성능을 평가하고, 이 결과를 보상으로 사용하여 정책 경사(policy gradient) 를 계산하고 RNN을 갱신하는 방식이다⁽¹³⁾. 한편 진화연산을 사용하여 CNN의 구조를 최적화하는 AmoebaNet⁽¹⁵⁾ 연구가 제시되었으며, 방대한 규모의 탐색을 효율화하기 위해서 개체 선택에 나이 개념을 도입하였다(aging evolution bytournament selection). 이 연구는 구글 팀에서 GPU 500대 이상을 10일 이상 투입한 것으로, NASNet/PNASNet과 경쟁할 만한 결과를 얻고 있다⁽¹⁵⁾.

한편으로 CNN 구조의 일부인 필터 수를 줄이는 연구가 시도되고 있다. 이것은 이미 설계된 네트워크에서 컨볼루션 층의 필터중에서 영향력이 적은 것들을 삭제함으로써 전체 네트워크가 차지하는 메모리 용량을 줄이고, 처리 속도를 감소시키는 특성이 있으며, 압축(compression)이나 가지치기(pruning)의 연구로 분류된다^(16-21).

CNN 층에서 필터의 삭제를 통해 네트워크의 용량을 축소하는 것은 CNN의 층 구조가 결정된 상태에서 세부적인 개선을 진행하는 것으로, 준 구조적인 최적화에 해당한다. 상기한 대부분의 진화연산 관련 구조 연구가 CNN 층의 설계에 초점을 맞추고 있는 것에 비해, 본 논문에서는 사전 연구⁽²²⁾에 이이서 진화연산을 기반의 필터 삭제 최적화 알고리즘 연구를 확장하여 수행한다. 필터 삭제에 진화연산을 사용한 연구는 본 연구자 외에는 아직까지 시도되지 않고 있다.

제안하는 진화연산 기반의 필터 축소 접근법은 단지 가중치 기반의 삭제을 통한 네트워크의 축소가 아니라, 필터의 위치 및 전후 관계를 고려하여, 특징에 대한 표현력이 더 향상된 필터 집합을 제공하는데 있다. 즉, CNN이 자동적으로 선택한 필터를 진화연산(GA)를 통해서 정제하여, 적은 수의 필터로서 최대한 성능을 유지하도록 도모한다. 진화연산의 구현시 CNN의 삭제할 필터를 유전자로 표현한다.

6개층(conv 3, 풀링3)으로 구성된 비교적 소규모의 CNN 네트워크에 대해서 해당 데이터를 충분히 학습시킨 후, 학습된 네트워크의 각층의 필터를 진화연산을 통해 재구성하고 이를 테스트 데이터에 대해서 적합도를 계산하면서 최적화를 진행한다. 필터의 축소율은 전체 필터의 10-30%를 설정하고 일정 세대의 진화연산을 수행하여 분류성능인 정확도(accuracy)의 개선을 비교한다. 부가적으로 최종세대에서 얻어진 축소되고 정제된 CNN 필터들에 대해서 추가적인 학습을 진행하여 성능개선 여부를 관찰한다.

제안된 방법을 CIFAR10에 대해서 실험을 수행하고 원본 네트워크에 대비 분류성능의 유지 수준을 통해 필터 삭제의 의 효율성을 입증한다.

2. CNN 네트워크 최적화 문제 분석

CNN 네트워크는 그림. 1과 같이 특징 추출과 강인화에 관여하는 컨볼루션(convolution) 층과 풀링(pooling) 층이 순차적으로 반복되며, 후반부에 분류 목적에 사용되는 완전연결(fully connected) 층이 위치한다. 일반적인 네트워크 최적화 문제는 구조와 파라미터로 변수를 포함한다. CNN 네트워크에서 CNN 구조에 관한 변수들은 컨볼루션 층수, 풀링 층수, 컨볼루션 층내의 필터 수 및 크기등이 있으며, 패딩, 보폭, 풀링 연산의 방식등이 함께 존재한다. 또한 컨볼루션 층과 풀링 층의 배열에 대한 조합과 층간의 분기도 가능하여 구조의 가능 복잡도는 더욱 증가한다. 네트워크 구조외에 학습률, 가중치 갱신법, 가중치 초기화, 배치 정규화, 활성화 함수등의 하이퍼 파라미터가 부가적으로 존재하나, 이들 중 상당수가 기존 연구에서 상당히 탐색이 된 경우가 많으므로, CNN 네트워크 최적화는 구조적인 문제가 중점으로 볼 수 있다.^(9-12,23)

그런데, 지금까지 기존 구조의 분석과 개선을 통해 많이 알려진 네트워크들이 존재하고, 이들 네트워크들은 일정한 구성 형태를 가지고 있기 때문에, 전체 변화 공간에 대한 임의의 탐색보다는 계산 비용을 고려한 영향력 있는 부분 탐색이 더 효율적일 수 있다. CNN 필터는 정해진 개수만큼 임의로 생성되기 때문에 의미가 떨어지는 필터가 포함될 수 있다. 학습을 통해 필터가 개선되지만, 불필요한 여분이 여전히 존재할 수 있다.

정해진 층 구조에서 층 내의 유용한 필터 선택이나 불필요한 필터를 효율적으로 제거하는 문제는 준구조 최적화에 해당하며, 현실적인 대응 방안이다. CNN 구조/최적화 문제에 대한 분류 개념도가 그림. 2에 나와 있다.

3. CNN 필터 선택 최적화

대부분의 구조 또는 파라미터 최적화 문제는 방대한 경우의 수로 구성된 탐색 공간 때문에 진화연산 방식이 사용되고 있다. 또한 문제의 표현에 있어서 CNN 필터의 구성과 유전자 표현이 부합되므로, 본 연구에서는 진화연산을 사용한 필터 최적화 문제를 다루고자 한다. 특히, DNN의 각 노드가 하나의 가중치 값으로 연결된 것에 비해서 CNN의 필터는 n X n 개의 가중치로 구성되어 있기 때문에 하나의 필터라도 이를 단순한 가중치 값을 기준으로 처리하기 힘들다.

4. 실 험

CNN 필터 삭제 실험은 표 1에 나온 Conv12 네트워크에 대해서 CIFAR10 데이터를 사용한다. 진화 연산 과정은 다음과 같은 GA 파라미터를 사용하여 GTX-1080Ti GPU 환경에서 수행된다.

실험에 사용된 GA 파라미터는 다음과 같다.

1. Number of generations: 20

2. Population sizes: 50

3. Selection: Tournament (size=7)

4. Crossover: 0.85

5. Mutation: 0.2

표 2는 GA 기반의 전체 한번 삭제 방법으로 전체 필터의 15.6%를 삭제한 후 진화연산 최종세대에서 원본 네트워크의 89.7% 정확도를 얻었고, 삭제 후 네트워크를 500 epochs 재학습하여 98.3%의 성능을 얻었다. 이를 통해 본 연구에서 시도한 GA 기반의 필터 삭제 방법이 유효함을 알 수 있다.

표 3은 같은 방법으로 전체 필터의 31.3%를 삭제한 후 원본 네트워크의 83.2% 정확도를 얻었고, 삭제후 네트워크를 500 epochs 재학습하여 93.4%의 성능을 얻었다. 표 1에 비하여 필터를 두배 가량 삭제했으므로 당연히 분류 성능이 많이 저하되었고, 재학습 후에도 표 1에 비해서 원본 네트워크 성능과 6.4% 차이남을 알 수 있다. 그러나 삭제율에 비해서는 성능 저하가 적으므로 적은 규모의 네트워크와 처리 속도의 감소를 필요로 하는 경우에는 유용하다고 볼 수 있다.

제안된 3가지 진화연산 방법의 비교 결과가 표 4에 나와 있다. 전체 삭제(One time deletion) 방법에 비해 층별 삭제(Layer by layer)와 반복적 부분 삭제(Iteratively Partial Deletion)가 훨씬 더 우수하였으며, 15%와 31% 삭제율 간의 성능 차이도 매우 적었다. 이는 일부 삭제와 재훈련을 통해서 지속적인 최적화가 수행되었기 때문으로 보인다. 반복적 부분 삭제가 층별 삭제에 비해서도 약간 더 우수한 성능을 나타내었다.

CIFAR-10 데이터 중 고양이 이미지에 대한 활성화 맵이 그림. 6에 시각화되어 있다. 좌측에 원본 맵이 나와 있고, 중간에 진화연산 기반의 반복적 부분 삭제를 통해 얻은 필터에 해당하는 활성화 맵이 나와 있다. 아래 검은색 부분은 삭제된 필터에 대응하는 것이라 검게 표시되어 있다. 원본 맵에 비해서, 활성화 정도가 약한 맵들이 제거되고, 대부분 유의미한 맵들로 구성되어 있음을 알 수 있다. 우측은 제거된 필터에 해당하는 활성화 맵이다.

5. 결 론

CNN 네트워크의 성능을 유지하면서, 용량과 계산비용을 축소하기 위해서 진화연산 기반의 필터 삭제 방법을 제안하였다. 진화적 필터 삭제와 재훈련 과정을 층별 수행과 반복적 부분 삭제 방식을 구현하고 전체 한번 삭제 방식과 비교하였다. 6개층(conv 3, 풀링3)으로 구성된 소규모의 CNN 네트워크을 사용하여 CIFAR10 데이터에 대해서 실험을 수행하였고, 원본 네트워크에 대비 분류성능은 99%, 축소율은 최대 31%를 얻을 수 있었다. 이를 통해 진화연산을 필터 삭제에 적용할 수 있는 가능성을 발견하였고, 향후 축소율의 확대 및 가중치 기반의 가지치기(pruning) 알고리즘과의 비교도 수행할 예정이다.