3.1 CNN VoV, Faster R-CNN

머신 비전 기법으로는 전통적인 필터 기반의 접근법^[1,2], 필터와 SVM등의 기계학습을 결합한 접근법^[2,3,4], 그리고 CNN(Convolutional Neural Network) 등을 이용한 딥러닝 접근법이 있다^[5,8]. 난이도가 높은 결함 검사에는 필터 또는 검출자 기반의 접근이 성능의 한계를 보이고 있다. 조명의 불균일한 반사나 표면이 균일하지 않은 경우, 결함과 주변의 구분이 명확치 않기 때문에 결함을 검출하기가 더욱 어렵다.

3.2 YOLO v2, v3

YOLOv2^[9]는 실시간 객체 검출을 목표로 하는 학습 및 검출 알고리즘이다. 입력 이미지를 그리드 셀로 나눈 후 각 셀마다 n개의 앵커 박스를 적용하여 그리드 셀 내의 객체의 존재 확률, 객체에 대한 클래스의 확률을 구한다. 이를 토대로 최종적으로 객체의 중심좌표와 너비 및 높이를 추정한다. 그림 3에 YOLOv2의 구조가 나와 있다.

YOLOv3^[13]는 YOLOv2를 개선한 기법이다. YOLOv2에서 검출 부분이 한 가지 스케일에서만 수행되는 것과 달리, YOLOv3는 검출 부분이 세 가지 스케일에서 실행되기 때문에, 더 깊은 네트워크에서도 특징을 효율적으로 검출할 수 있다. 또한, YOLOv2에서 컨볼루션 층이 19개인 darknet19를 사용한 것에 비해 YOLOv3에서는 더 높은 정확도를 위해 컨볼루션 층이 53개인 darknet53을 사용한다. 네트워크 층이 깊어질수록 기울기 손실의 가능성이 높아지기 때문에 ResNet^[15]에서 사용된 Residual(Shortcut) 기법을 차용한다. 본 논문에서는 임베디드 시스템 적용을 위하여 규모가 큰 YOLOv3 보다는 YOLOv2를 주 대상으로 네트워크를 변형하고 YOLOv3는 비교만을 위해 사용한다.

4.1 검출 성능 향상을 위한 구조 변경

철판 표면 결함에 대한 검출 성능을 높이기 위해서 YOLOv2의 구조 변경을 시도한다. Route 기능은 이전 층의 출력을 최종 출력층에 결합(Concatenation)하여 사용하는 방식이다. YOLOv2의 기본구조에서는 그림 3과 같이 5번째 컨볼루션 그룹 층과 최종 출력층을 결합하여 사용하고 있다. 본 논문에서는 결함 인식과정에서의 특징 손실을 줄이기 위해서 이전 층에서 두 개의 Route를 연결하는 방식을 시도한다. 그림 4에 4, 5번째 컨볼루션 그룹 층과 최종 출력층을 결합하는 Double Routes 연결 구조가 나와 있다.

4.2 임베디드 시스템 수행을 위한 네트워크 축소

연산 성능이 제한적인 임베디드 시스템에서의 딥러닝 수행을 위해서는 네트워크의 축소가 필요하나, 이는 성능의 저하를 가져온다. 따라서 성능을 최대한 유지하면서 연산량을 줄이기 위한 압축 기술에 대한 연구가 진행되어 왔다. 가중치 가지치기(Weight Pruning), 양자화/이진화의 시도부터 네트워크의 구조를 변경하는 다양한 연구가 진행되고 있다^[15]. 대상 문제에 따라 또 대상 딥러닝 네트워크에 따라 접근법이 달라지며, 경우의 수가 방대한 문제이다. 본 연구에서는 비교적 간단한 시도를 통해 네트워크구조를 축소하는 방식을 사용한다. YOLOv2에서 반복되는 컨볼루션 그룹 층을 제거하여 네트워크 규모를 축소한다. 즉, 그림 5에서 네모로 표시된 컨볼루션 그룹 층의 4, 5번째에서 두 번 반복을(2x) 한번 반복(1x)으로 변경한다. YOLOv3에 대해서도 같은 방식을 적용하여 축소된 모델을 구성한다.

4.3 YOLOv2-tiny 모델의 변형

YOLOv2와 v3는 규모가 매우 큰 네트워크로 성능 저하가 적은 범위내에서 일부 축소를 할 경우에도 임베디드 시스템에서 수행되기에는 여전히 규모가 크다. 축소율을 높일 경우 성능이 급격히 떨어진다. 따라서 성능과 수행 속도에 대한 사용자의 다양한 선택을 위해서 YOLOv2의 축소와 함께 사전에 경량화된 YOLOv2-tiny^[14] 모델로부터 역으로 구조를 확장시켜 성능을 높이는 시도를 수행한다. YOLOv2-tiny 모델은 처리속도는 매우 빠르나 검출 성능이 떨어지는 단점이 있다. 그림 6과 같이 네모로 표시된 컨볼루션 층(Extra Layers)을 추가하여 YOLOv2-tiny의 성능을 개선한다.

5.1 임베디드 딥러닝 시스템 실험 환경

Jetson TX1^[12] 보드는 임베디드 환경에서 GPU연산을 사용할 수 있도록 NVIDIA사에서 개발한 개발자용 도구이다(그림 7). TX1 보드에는 256개의 코어를 가진 NVIDIA Maxwell GPU가 내장되어 있으며 NVIDIA사에서 제공하는 JetPack을 설치하여 CUDA, cuDNN 및 GPU연산에 필요한 툴들을 손쉽게 설치하여 사용 할 수 있다.

5.2 실험 결과

본 논문에서는 금속으로 된 금속 부품의 표면에 대해 North Eastern 대학에서 구성한 NEU surface 데이터^[11]를 사용하여 실험을 진행한다.

실험에 사용된 데이터는 각 클래스당 300장 씩 총 6개의 클래스로 구성이 되어있으며, 학습과 테스트의 구성은 표 1과 같으며, 학습에 사용된 파라미터는 표 2와 같다.

YOLOv2와 v3에서 앵커박스 최적화^[7]는 결함들의 라벨들을 비교하여 k개의 박스들로 군집화 하여 해당 데이터의 결함합 분포에 맞게 앵커들을 구성한다. 그림 8에서 좌측의 Anchor 5는 YOLOv2 에서의 최적화 결과이고, Anchor 9 은 YOLOv3에서의 최적화 결과를 나타낸다.

YOLOv2와 v3 및 제안된 방법을 사용하여 변형된 모델에 대해서 검출 성능과 BFLOPS(Billion Flops) 및 fps를 비교한 결과가 표 3에 나와 있다. YOLOv2-route는 4.2절에서 설명한 Double Routes 연결 구조이고, YOLOv2_r 4.2절에서 언급한 축소 모델이다. YOLOv2_route_r은 YOLOv2-route를 축소한 것이고, YOLOv3_r은 YOLOv3의 축소 모델이다. YOLOv2_tiny_m은 YOLOv2_tiny를 수정한 모델이다(4.3절 참고).

YOLOv2-route는 원본의 검출 성능인 65.14% 보다 2% 증가된 67.04%의 향상을 보였으나 연산량인 BFLOPS는 32.64로 증가하고 fps는 4.2로 감소하였다. 성능 개선을 위해 더 규모가 커진 YOLOv3는 철판 결함 검출 문제에는 오히려 58.2%로 검출 성능이 떨어졌다. 그리고 fps는 YOLOv2의 절반 수준인 2.5를 기록했다. YOLOv2_r 축소 모델의 성능은 65.53%로 원본보다 0.5% 향상되었고 fps도 5.1 로 소폭 증가되었다. YOLOv2_route 모델을 축소한 YOLOv2_route_r에서는 성능은 64.41%로 약간 저하되었고 처리속도는 4.6 fps로 축소 전보다는 증가되었으나 기본 YOLOv2에 비해서는 두 가지 측면 모두 약간씩 못 미쳤다. YOLOv3_r도 처리속도는 원본에 비해 약간 높아졌으나 성능이 저하되어 결함 문제에 대해서는 큰 큐모의 네트워크가 유용하지 못함을 보여준다. 정리하면 YOLOv2 보다 두 지표에서 더 나은 성능을 보이는 것은 YOLOv2_r 임을 알 수 있다. 그러나 5.1 fps는 여전히 낮은 처리 속도이기 때문에, 이를 개선하기 위해서 속도가 빠른 YOLOv2-tiny의 성능을 개선하여 YOLOv2_tiny_m을 제안하였고, 62.33% 성능에 8.8 fps를 얻을 수 있었다. 이것은 YOLOv2에 비해서 성능은 2.81%만 감소하면서 처리속도는 거의 2배 가까이 향상 시킨 개선된 결과이다.

표 1에 나온 YOLO 변형 모델에 대한 성능 비교 그래프가 그림 8에 나와 있다. 성능 mAP와 연산량 BFLOPS에 대한 수치를 도식화 한 것으로 좌상에 위치할수록 우수함을 나타낸다. YOLOv2_tiny_m 모델이 두 가지 지표를 만족시킴을 알 수 있다. 그림 9에는 mAP와 fps에 대한 그래프가 나와 있으며 우상에 위치할수록 우수함을 나타낸다. 역시 YOLOv2_tiny_m 모델이 가장 좋은 대안임을 보여주고 있다.

현재는 성능이 떨어지는 Jetson TX1 보드에서 실험하였으나 연산 속도가 빠른 Jetson TX2 보드를 사용하면, 같은 검출 성능에 더 높은 fps를 얻을 수 있어서, 실제 현장 적용의 가능성을 기대할 수 있다.