이상정
(Sang-Jeong Lee)
1iD
서성발
(Sung-Bal Seo)
2iD
배유석
(You-Suk Bae)
†iD
-
(Vision AI Business Team, LG CNS, Korea.)
-
(Dept. of Computer Engineering, Tech University of Korea, Korea.)
Copyright © The Korea Institute for Structural Maintenance and Inspection
Key words
Deep learning, Anomaly detection, Feature extractor, Intelligent manufacturing, Vision inspection
1. 서 론
전자회로가 집적되어 구성된 PCB 기판은 디스플레이, 전자제품 모듈 등 다양한 전자제품의 중요 모듈로 사용된다. 이에 전자제품의 완성도는 좋은 품질의
PCB 기판을 제조하는 과정과 밀접한 연관성이 있다. 일반적인 제조 공정에서 불량을 검출하는 데 비전 검사가 주로 사용되었다[1]. 전통적으로 영상처리를 이용한 규칙 기반 시스템 (Rule-based system)을 이용하여 불량의 위치, 크기 등의 정보를 계산하여 비전 검사를
수행하였다[2]. 하지만, 규칙 기반 시스템은 규격화된 영상에서는 불량 검출 정확도를 보이지만, 규격화되지 않고, 복잡한 구조를 보이는 영상에서는 영상별 정확도
편차가 큰 경향이 있다.
최근 그래픽 처리 장치 (Graphic processing unit, GPU)의 발전과 더불어 인공지능 알고리즘의 발전으로 기계학습 (Machine
learning) 및 심층학습 (Deep learning) 기반의 영상처리 알고리즘이 비전 검사에 도입되는 추세이다. 제조 공정 중 발생하는 불량의
종류 및 난이도에 따라 단순한 양불 판정을 수행할 수 있는 분류 (Classification) 모델, Bounding box 형태로 불량을 탐지하는
검출 (Detection) 모델 및 불량의 영역을 추출하는 분할 (Segmentation) 모델 등이 널리 사용되고 있다[3]. 이러한 모델은 대부분 학습 데이터를 사용자가 직접 생성하여 심층학습 모델을 학습시키는 지도 학습 (Supervised learning) 방법을
사용한다. 지도 학습은 양품과 불량 레이블이 지정된 데이터를 학습시켜 입력된 이미지의 판정 결과를 예측하고, 패턴을 인식하는 방법으로, 이를 통해
학습된 심층학습 모델은 학습된 지식으로부터 새로운 입력 영상에 대한 올바른 출력값이 무엇인지 예측한다. 지도 학습 모델의 정확도는 학습 데이터의 질에
의해 좌우되는데, 높은 정확도를 확보하기 위해서는 양품과 불량품 영상이 명확히 구분되고, 데이터의 수량도 균등하게 구성되어야 한다. 그러나, 일반적인
제조 공정에서 불량률은 1% 미만이다. 이에 따라 양품의 영상 데이터는 비교적 쉽게 확보할 수 있지만, 불량품 영상 데이터는 수집하기 어려우며, 종류
또한 사용자가 조절하여 생성할 수 없어 데이터 불균형 (Data imbalance) 문제가 발생하는 경우가 많다[4]. 또한, 제조 설비가 노후화됨에 따라 기존에 발생하지 않던 신규 유형의 불량이 발생하는데, 이 경우 데이터 드리프트 (Data drift) 현상이
발생하여 기존 데이터로 학습된 모델이 올바르게 양불 판정을 수행하지 못한다[5].
이상 감지 (Anomaly detection) 모델은 비지도 학습(Unsupervised learning)의 한 방법으로, 양품 영상의 특성을 학습하고,
학습된 특징 및 패턴(정상 범주로 가정)에서 벗어나는 모든 데이터를 이상 영상을 예측한다[6]. 따라서, 이상 감지 모델은 정답 레이블이 없는 데이터를 비슷한 특징끼리 군집화하여 군집에서 벗어나는 이상치 데이터를 검출할 수 있다. 이러한 장점을
활용하여 이상 감지 모델을 제조 공정 중 양불 판정 비전 검사에 도입하는 사례가 소개되고 있다[7].
본 연구에서는 PCB 기판 제조 시 발생하는 불량품을 탐지하기 위해 이상 감지 모델 기반 방법론을 개발하였으며, 주요 기여도는 다음과 같다.
1. PCB 기판 내 불량의 특징 (Feature)을 정확하게 검출하기 위한 특징 추출 모델 (Feature extractor) 비교 검증 및 개발
2. PCB 기판의 불량품 탐지에 적합한 이상 감지 모델 선정을 위한 2가지 모델의 비교 검증
3. 최적의 이상 감지 모델 개발을 위한 손실함수 선정
2. 재료 및 방법
그림 1. 이상 감지 모델을 이용한 PCB 기판 비전 검사 순서도
Fig. 1. Overall process of PCB board vision inspection using anomaly detection model
그림 1은 이상 감지 모델을 이용하여 불량 영상을 검출하는 과정을 나타낸 flowchart이다. 본 논문에서 개발한 이상 감지 모델은 하기 2단계를 통해
입력된 영상에 대한 출력값을 예측한다.
1. Backbone 모델 기반 영상 특징 벡터 (feature vector) 추출
2. 추출된 특징으로부터 이상치 점수 (anomaly score) 계산 및 이상 영역 (anomaly map) 검출
이상 감지 모델로 계산된 영상별 이상치 점수가 지정한 임계치 이상일 경우 불량으로 최종 판정을 수행한다.
2.1 데이터셋 및 불량 유형
그림 2와 같이 PCB 영상의 구조는 Pad, Ground, Pattern의 세 가지 부분으로 구성되어 있다.
그림 2. PCB 기판과 세부 구조
Fig. 2. PCB board image and sub structures
PCB 기판의 각 부분에서 발생하는 불량 유형의 구성은 그림 3과 같으며, 각 불량 별 발생 양상에 대한 대표적인 예시는 그림 4와 같다. PCB 기판 제조 시 발생하는 불량 유형은 크게 8가지이며, SCRATCH는 PAD와 PATTERN 부분에 같은 형태로 발생하는 유형이다.
그림 3. PCB 기판의 부분별 불량 유형
Fig. 3. Types of defects by part of PCB board
그림 4. PCB 기판 제조 공정에서 발생하는 불량 유형별 예시
Fig. 4. Examples of defect types that occur during the PCB board manufacturing process
모델 학습 및 평가를 위해 양품 영상 3,970장과 불량품 영상 2,039장, 총 6,009장의 PCB 기판 영상을 수집하였다. 특징 추출 모델과
이상 감지 모델 학습을 위한 데이터셋 구성은 표 1과 같다. 특징 추출 모델과 이상 감지 모델의 학습 데이터 간 중복을 피하고자 모델별로 학습 데이터셋을 다르게 구성하였다.
표 1 특징 추출 및 이상 감지 모델의 학습과 평가를 위한 데이터셋 구성
Table 1 Dataset configuration for training and test of feature extractor and anomaly
detection models
|
모델
|
학습
|
평가
|
|
양품
|
불량품
|
양품
|
불량품
|
|
특징 추출
|
1,000
|
500
|
500
|
250
|
|
이상 감지
|
2,000
|
-
|
470
|
1,289
|
|
총계
|
3,000
|
500
|
970
|
1,539
|
2.2 특징 추출 모델 (Feature extractor) 개발 및 비교 검증
표 2와 같이 PCB 기판 영상에서 불량 부위의 특징을 정확하게 추출하기 위해 3가지 모델을 비교 검증하였다.
표 2 특징 추출 모델 비교 검증을 위한 모델 구성
Table 2 Model configuration for comparison of feature extractors
|
Feature extractors
|
Backbones
|
Pre-train
|
|
ResNet50 with CBAM
|
ResNet50
|
ImageNet
|
|
SpinalNet50
|
WideResNet50
|
ImageNet
|
|
SpinalNet101
|
WideResNet101
|
ImageNet
|
첫째, ResNet50 [8] 모델의 특징 추출 능력을 향상시키기 위해 convolutional block attention module (CBAM) [9]을 추가로 구성하였다.
둘째, 인간이 영상을 인식하고 분석하는 과정을 본떠 인체 감각 시스템을 모사한 SpinalNet을 선택하였고, backbone으로 2가지 WideResNet
모델을 선택하여 구성하였다. SpinalNet은 아래와 같이 인간 척수의 3가지 특징을 모사하였다[10].
1. 점진적 입력과 신경총
2. 자발적/비자발적 행동
3. 통증 강도에 대한 주의
2.3 이상 감지 (Anomaly detection) 모델 비교
최종적으로 PCB 기판 영상에서 불량을 검출하기 위해 2가지 이상 감지 모델에 특징 추출 모델을 적용하여 비교 검증을 수행하였다. 비교 검증을 위해
PaDiM [11]과 PatchCore [12] 모델을 선정하였다. 두 가지 모델 모두 특징 추출 모델을 backbone으로 삼아 이를 통해 추출된 영상 내 특징을 정상 데이터의 특징 분포와 비교,
정상 범주에서 벗어나는 영상을 이상으로 분류한다.
PaDiM은 학습을 위해 입력된 영상을 patch 단위로 분할하여 특징을 추출, patch embedding vector를 생성한 후, 정상 범주의
확률적 representation을 계산하기 위해 다변량 가우시안 분포 (multivariate Gaussian distribution) 를 활용한다.
Patch embedding vector가 다변량 가우시안 분포로 생성되었다는 가정하에 학습 영상의 sample mean과 covariance를 추정한다.
이후 이상치 점수와 이상 영역을 계산하기 위해 마할라노비스 거리 (Mahalanobis Distance)를 사용한다. 학습된 분포와 새로 입력된 영상
간 거리를 계산하여, 최종적으로 이상치 값과 영역을 도출하게 된다[11].
PatchCore는 기존 이상 감지 모델의 장점을 극대화하여 정확도를 높인 모델로, 3단계의 방법론을 사용한다[12].
1. Local Patch Features : 중간 단계의 특징을 사용함으로써 공간적 정보 손실을 보전하고, 양불 분류의 bias를 줄일 수 있다.
2. Coreset Subsampling : 1단계에서 추출한 모든 특징을 사용하면 모델이 과도하게 무거워질 수 있어 핵심 (Coreset)만 추출하여
분석에 사용하며 이 단계에서 Greedy Search [13] 알고리즘을 선택하였다.
3. Detection and Localization : 2단계에서 추출된 핵심 특징을 기준으로 이상치 값과 영역을 추출한다. 이 과정에서 k-nearest
neighbor 알고리즘 [14]을 사용하여 유클리디언 거리 (Euclidean distance)로 비교를 진행한다.
손실함수의 선택이 이상 감지 정확도에 미치는 영향을 분석하기 위해, 이진 분류에서 주로 사용되는 아래의 2가지 손실함수를 이용하여 비교 분석하였다.
1. Binary Cross Entropy (BCE) loss [15]
2. Mean-Shifted Contrastive (MSC) loss [16]
또한, PCB 기판 영상 내 특징을 올바르게 추출할 수 있도록 일부 PCB 영상 데이터를 이용하여 사전 학습을 진행하고, 사전 학습 여부에 따른 정확도
차이를 분석하였다.
이상 감지 모델의 정확도 지표는 accuracy와 F1-score를 사용하여 분석하였다. Accuracy와 F1-score의 계산 수식은 각각 (1), (2)와 같다.
2.4 이상 감지 모델 기반 양불 판정 방법
이상 감지 모델 기반의 양불 판정을 수행하기 위해서는 양품과 불량품을 구분하는 이상치 점수의 임곗값 (Threshold) 설정이 필요하다. 비지도
학습의 특성상, 이상 감지 모델은 학습된 정답 레이블이 없어 임곗값에 따라 양불 판정 성능이 크게 변할 수 있다. 본 논문에서는 ROC (Receiver
Operating Characteristic) curve 기반의 최적 임곗값을 계산하는 방법 중 Youden's Index를 채택하였다[17].
3. 결과 및 고찰
3.1 특징 추출 모델 비교 결과
표 3은 각 특징 추출 모델의 양불 이진 분류 정확도를 나타낸다.
표 3 세 가지 특징 추출 모델의 이진 분류 정확도
Table 3 Binary classification accuracy of three feature extractors
|
Feature extractors
|
Accuracy
|
|
ResNet50 with CBAM
|
97.67%
|
|
SpinalNet50
|
98.03%
|
|
SpinalNet101
|
96.92%
|
세 가지 특징 추출 모델의 이진 분류 정확도는 SpinalNet50이 가장 높은 98.03%, SpinalNet101이 가장 낮은 96.92%을
보였다. 다시 말해서, PCB 기판 영상에서 특징 추출 시, 깊고 매개변수가 많아 크고 무거운 모델에 비해 상대적으로 작고 가벼운 모델에서 더 높은
정확도를 보였다. 분류 문제에서 일반적으로 모델이 크고 무거울수록 정확도가 높은 경향성을 보이지만, 모델에 크기에 비례하여 손실함수 최적화에 필요한
데이터 수도 증가한다. 이러한 점으로 볼 때, 크고 무거운 모델의 손실함수를 최적화하기에 충분히 많은 양품과 불량품 영상을 확보하였을 경우, 큰 모델을
선택하는 것이 유리하지만, 본 연구와 같이 불량품 영상의 수량이 제한적인 상황에서 상황에서는 작고 가벼운 모델을 이용하더라도 충분히 비전 검사에 적용할
만한 정확도를 확보할 수 있다. 또한, 대부분의 제조 공정에서 목표 수율 달성을 위해 추론 시간을 제한하고 있어, 작고 가벼운 모델을 비전 검사 프로세스에
탑재하는 것이 유리하다.
상기 비교 결과를 통해 본 연구진은 SpinalNet50 모델을 최종 선정하여 이상 감지 모델 학습 및 개발에 이용하였다.
3.2 이상 감지 모델 기반 불량 검출 정확도
그림 5는 불량품 영상과 각 영상의 이상 감지 모델 추론 결과 추출된 이상 영역을 보여준다. 그림 5(a)의 입력 영상과 그림 5(f)의 이상 영역 추출 결과 영상을 보면, 불량의 크기가 작고, 주변부의 픽셀값과 큰 차이가 나지 않을 경우, 불량 영역의 이상치 점숫값이 낮게 계산되었음을
알 수 있다. 또한, 그림 5(e)와 그림 5(j)를 보면, 불량 영역이 육안으로 명확히 식별되더라도, 주변에 복잡한 PCB 회로 pattern이 있는 경우 해당 부위의 이상치 값이 크게 계산되었음을
알 수 있다. 그 외 결과를 보면 불량 영역이 눈에 띄게 식별되고, 주변부에 복잡한 pattern이 없는 경우, 불량이 정확하게 검출되었다.
그림 5. (a-e) 불량 유형별 영상 및 (f-j) 이상 감지 모델 추론 결과, 붉은 상자는 불량 영역을 표시함
Fig. 5. (a-e) Images with defect and (f-j) anomaly maps of anomaly detection model
inference, red boxes indicate defect areas
표 4 이상 감지 모델 비교 평가 결과
Table 4 Ablation study results of each model
|
Feature extractors
|
Loss functions
|
Pre-trained dataset
|
PaDiM
|
PatchCore
|
|
Accuracy
|
F1-score
|
Accuracy
|
F1-score
|
|
SpinalNet50
|
BCE
|
ImageNet
|
0.601
|
0.743
|
0.618
|
0.746
|
|
BCE
|
PCB
|
0.622
|
0.758
|
0.630
|
0.762
|
|
MSC
|
PCB
|
0.635
|
0.769
|
0.652
|
0.776
|
|
BCE, Binary Cross Entropy loss; MSC, Mean-Shifted Contrastive loss
|
표 4는 두 가지 이상 감지 모델의 손실함수 및 사전 학습 데이터셋 별 정확도 평가 결과를 보여준다. 본 연구에서 모든 실험은 같은 컴퓨팅 환경에서 같은
학습 및 평가 데이터셋을 사용하여 진행하였다. 평가 결과를 보면, 동일한 손실함수와 사전 학습 데이터셋을 사용한 경우 PatchCore 모델의 양불
판정 정확도가 PaDiM에 비해 높게 나타났다. 또한, 손실함수는 MSC가 BCE를 사용하여 학습한 경우에 비해 높은 정확도를 보였다. 마지막으로
PCB 영상 데이터셋으로 특징 추출 모델의 사전 학습을 진행한 경우 ImageNet 데이터셋 기반의 사전 학습 모델에 비해 높은 정확도를 보였다.
결론적으로, PCB 영상 데이터셋과 MSC 손실함수를 이용하여 사전 학습된 SpinalNet50을 특징 추출 모델로 사용하는 PatchCore 모델이
본 연구에서 비교 검증한 모델 중 가장 높은 양불 판정 정확도를 보였다.
다만, 본 연구에서 사용한 학습 데이터셋의 규모는 작고 가벼운 모델을 최적화할 수 있는 정도였으며, 이를 한계점으로 볼 수 있다. 따라서, 추후 3.1절에서
언급한 바와 같이 크고 무거운 모델을 최적화시키기에 충분한 데이터를 추가로 수집하고, 각 특징 추출 모델을 재학습하여 추가 검증할 예정이다. 또한,
본 연구에서 사용한 모델 외에 EfficientNet [18], Vision Transformer [19] 등 비교적 최근에 공개된 모델을 추가로 선정하여 비교 평가를 진행할 예정이다. 또한, PCB 기판 제조 공정의 특성상, 불량품 영상을 단기간에 수집하기
어려운 단점이 있다. 이를 극복하기 위해 생성형 AI 모델로 불량품 영상을 생성한 후, 생성 이미지가 특징 추출 및 양불 판정 정확도에 미치는 영향에
대해 분석할 예정이다. 마지막으로, 회로가 복잡하게 인쇄되어있는 PCB 기판 영상의 경우 단순한 영상에 비해 양불 판정 정확도가 낮게 측정되었으며,
이를 극복하기 위한 후처리 방안 및 불량 영역에 집중하여 특징을 추출할 수 있는 방법론에 관해 추가 연구를 진행할 예정이다.
4. 결 론
본 연구에서는 PCB 기판 제조 공정에 적용할 수 있는 이상 감지 모델 기반 비전 검사 프로세스를 개발하였다. PCB 기판 영상에서 불량 영역의 특징을
추출하기 위한 특징 추출 모델과 이를 이용한 이상 감지 모델을 개발하였다. 개발된 프로세스는 PCB 기판 제조 공정뿐만 아니라, 불량품 영상을 확보하기
어려운 다양한 제조 공정에 적용할 수 있다. 추후 연구를 통해 PCB 기판의 양불 판정 정확도를 높일 예정이며, 다른 제조 공정 비전 검사 영역으로
적용 분야를 확대할 예정이다.
Acknowledgements
This work was supported by Innovative Human Resource Development for Local Intellectualization
program through the Institute of Information & Communications Technology Planning
& Evaluation(IITP) grant funded by the Korea government(MSIT)(IITP-2024-2020-0-01741)
References
Mar, Nang Seng Siri, Prasad KDV Yarlagadda, and Clinton Fookes, “Design and development
of automatic visual inspection system for PCB manufacturing,” Robotics and computer-integrated
manufacturing, vol. 27, no. 5, pp. 949-962, 2011
Darwish, Ahmed M, and Anil K. Jain, “A rule based approach for visual pattern inspection,”
IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 10, no. 1, pp.
56-68, 1988
Hütten, Nils, et al., “Deep Learning for Automated Visual Inspection in Manufacturing
and Maintenance: A Survey of Open-Access Papers,” Applied System Innovation, vol.
7, no. 1, Nov. 2024
Jang, Jiyong, and Sungroh Yoon, “Feature concentration for supervised and semisupervised
learning with unbalanced datasets in visual inspection,” IEEE Transactions on Industrial
Electronics, vol. 68, no. 8, pp. 7620-7630, 2020
Hoens, T. Ryan, Robi Polikar, and Nitesh V. Chawla, “Learning from streaming data
with concept drift and imbalance: an overview,” Progress in Artificial Intelligence,
vol. 1, pp. 89-101, 2012
Pang, Guansong, et al., “Deep learning for anomaly detection: A review,” ACM computing
surveys (CSUR), vol. 54, no. 2, pp. 1-38, 2021
Liu, Jiaqi, et al., “Deep industrial image anomaly detection: A survey,” Machine Intelligence
Research, vol. 21, no. 1, pp. 104-135, 2024
He, Kaiming, et al., “Deep residual learning for image recognition,” Proceedings of
the IEEE conference on computer vision and pattern recognition, 2016
Woo, Sanghyun, et al., “Cbam: Convolutional block attention module,” Proceedings of
the European conference on computer vision (ECCV), 2018
Kabir, HM Dipu, et al., “Spinalnet: Deep neural network with gradual input,” IEEE
Transactions on Artificial Intelligence, vol. 4, no. 5, pp. 1165-1177, 2022
Defard, Thomas, et al., “Padim: a patch distribution modeling framework for anomaly
detection and localization,” International Conference on Pattern Recognition. Cham:
Springer International Publishing, 2021
Roth, Karsten, et al., “Towards total recall in industrial anomaly detection,” Proceedings
of the IEEE/CVF conference on computer vision and pattern recognition, 2022
Chickering, David Maxwell, “Optimal structure identification with greedy search,”
Journal of machine learning research, vol. 3, pp. 507-554, Nov. 2002
Fix, Evelyn, Discriminatory analysis: nonparametric discrimination, consistency properties,
USAF school of Aviation Medicine, vol. 1, 1985
Ruby, Usha, and Vamsidhar Yendapalli, “Binary cross entropy with deep learning technique
for image classification,” Int. J. Adv. Trends Comput. Sci. Eng., vol. 9, no. 10,
2020
Reiss, Tal, and Yedid Hoshen, “Mean-shifted contrastive loss for anomaly detection,”
Proceedings of the AAAI Conference on Artificial Intelligence, vol. 37, no. 2, 2023
Youden, William J., “Index for rating diagnostic tests,” Cancer, vol. 3, no. 1, pp.
32-35, 1950
Tan, M,. and EfficientNet Le Q V, “rethinking model scaling for convolutional neural
networks,” arXiv preprint arXiv:1905.11946, 2019(1905)
Dosovitskiy, Alexey, “An image is worth 16x16 words: Transformers for image recognition
at scale,” arXiv preprint arXiv:2010.11929, 2020
저자소개
He received B.S. degree in Biomedical Engineering from Kyunghee University, Seoul,
South Korea, in 2013, and he received his doctorate in Convergence Science from Seoul
National University, Seoul, South Korea, in 2021. He has been working as an AI engineer
and a project leader at LG CNS, Seoul, South Korea. His research interests include
the applications of deep learning, machine learning, and image processing. Also he
intersts in an intellectual manufacturing and a smart factory. Dr. Lee was awarded
the eight best paper prize of KIEE (2020, 2021), KOSOMBE (May & Nov. 2019, 2020, 2021),
KAOMR (2018), and Seoul National University (2020). He was also the winner of Healthhub
AI datathon at 2020.
He received B.S. degree in Computer Engineering and M.S. degree in Smart Factory Convergence
from Tech University of Korea, South Korea. He is currently enrolled in the Ph.D.
program in Computer Engineering at the same university. He is currently researching
methods to improve the performance and reliability of AI models so that the system
can process and adapt data more efficiently, focusing on smart factories, manufacturing
AI, deep learning, and data systems. His main projects include schedule optimization
algorithms, AI-based defect classification systems, and anomaly detection algorithm
development, and he is participating in projects that apply AI techniques to solve
various industrial problems.
He graduated from the Department of Electrical Engineering at Seoul National University
and received his master's degree from the same university. He then received his doctorate
in artificial intelligence from the Department of Electrical and Electronic Engineering
at KAIST. He worked as a researcher at the National Institute of Standards and Technology
(NIST) in the United States on security artificial intelligence, and later conducted
research on image processing at Samsung Electronics DM Research Institute. He was
the head of the research institute at the venture company Huno Technology. He served
as the head of the Gyeonggi Smart Industrial Complex Business Group of the Ministry
of Trade, Industry and Energy, and is also participating in policy and business planning
for the Ministry of Trade, Industry and Energy, the Ministry of Science and ICT, and
the Ministry of SMEs and Startups. He is currently the director of the Grand ICT Center
of the Ministry of Science and ICT, the director of the Advanced Manufacturing Innovation
Institute, a professor of department of computer engineering, and the dean of the
SW College of Tech University of Korea.