1. Introduction

인쇄회로기판(PCB) 불량 판별은 전자 제조 공정의 수율 및 신뢰성 확보를 좌우하는 핵심 요소이다. 그러나 실제 생산 환경에서는 조명·스케일·재질·설비 교체 등으로 데이터 분포가 자주 변동되고, 불량이 균등하게 발생하지 않는 환경의 특성상, 모든 유형에 대해 대규모 라벨 데이터를 지속적으로 축적하기 어려운 문제가 있었다. 규격서·작업 표준서·검사 스펙 등 문서 형태의 지식은 풍부하지만, 고품질 이미지 라벨로의 전환 비용이 높아 완전 지도학습 방식만으로는 확산에 한계가 있었다 ^{[1- 2]}.

대규모 비전-언어 모델(VLM)은 텍스트-이미지 정렬을 바탕으로 제로샷 분류를 제공하며 데이터 부족 상황에서 해결 방안이 될 수 있다. 다만 제조 도메인에서는 불량 정의가 세밀하고(예: 색조·질감·미세 패턴) 촬영 조건에 따라 특징이 국소적으로만 드러나는 경우가 많아, 범용 프롬프트만으로는 안정적인 구분이 어렵다. 또한 불량 라벨이 소수만 존재하는 상황에서는 제로샷만으로 판정의 안정성과 신뢰도를 높이기 어렵다 ^{[3- 4]}

한편, PCB 불량 검출 분야에서는 ResNet ^[5], EfficientNet ^[6], YOLO 계열 ^[7]을 활용한 합성곱 신경망(CNN) 기반 전이학습이 표준적인 접근으로 자리잡아 왔으며, 풍부한 라벨이 확보된 환경에서는 95% 이상의 분류 성능을 보고하는 사례가 다수 존재한다 ^{[1, 4, 8]}. 그러나 이러한 성능은 일반적으로 클래스당 수백~수천 장의 라벨이 확보된 조건을 전제로 하고, 클래스당 수십 장 수준의 소량 라벨만 사용 가능한 경우, 동일 CNN 전이학습이라도 성능이 급격히 저하되는 것이 보고되고 있으며 ^{[9- 10],} 신규 불량 유형이 추가될 때마다 처음부터 라벨링·재학습이 필요하다는 운영상의 부담도 존재한다.

본 연구는 제조 백데이터(불량 기준서·검사 스펙·슬라이드 등)를 수집·정제하고 라벨별 도메인 프롬프트를 구축하고, 이를 바탕으로 세 가지 실용 시나리오를 직접 비교하였다:

(1) 도메인화 제로샷(tuned prompts) - 문서 기반 프롬프트로 범용 제로샷을 보강,

(2) ROI 타일링 기반 제로샷 - 엣지/구조 밀도에 기초한 타일 후보만 선택해 국소 신호를 증폭,

(3) 소량 지도 Linear Probe - CLIP 이미지 임베딩을 고정한 채 소량 라벨로 얕은 선형 분류기를 학습.

이 비교를 통해 추가적인 대규모 미세조정 없이 문서 지식과 소량 라벨을 어떻게 결합·활용할 때 성능과 견고성이 향상되는지를, 실제 공정 데이터 기반으로 확인할 수 있다.

현장 적용을 위해 문서(PPTX/PDF/엑셀/텍스트)에서 슬라이드·표·노트·본문 청크화 및 중복을 제거하고, PCB 기판 이미지와 함께 검색기반증강(Retrieval-Augmented Generation, RAG)을 위한 Database(DB)를 생성하였다 ^[11]. 또한, 불량별 핵심 시각 단서를 한국어 중심 다중 프롬프트로 정리하였다. ROI 타일링은 국소 불량 신호가 분산·희석되는 문제를 완화하며, Linear Probe는 적은 라벨로도 클래스 간 결정 경계를 보정할 수 있다. 결과 분석은 동일 테스트셋 상에서 혼동행렬과 F1을 계산하여, 제로샷 대비 ROI 보강·Probe 보강의 개선 양상을 분석하였다.

본 논문의 기여는 다음과 같다.

(1) RAG DB 생성 및 문서 기반 프롬프트 도메인화: 제조 백데이터에서 불량 정의·검사 기준을 추출·정규화하여 제로샷 표현을 도메인에 정합.

(2) 국소 신호 강화 제로샷(ROI 타일링): 타일 수준 후보를 선별하여 국소적 불량 특징을 강조, 제로샷의 민감도를 향상 여부 확인.

(3) 소량 지도학습 기반 Linear Probe 적용: 제한된 라벨만으로도 불량간 구분 능력을 보정하는 효과 확인.

2. Materials and Methods

2.1 데이터셋

데이터셋 구성은 표 1과 같으며, 불량 별 대표 이미지는 그림 1과 같다. 세 방법(도메인화 제로샷, ROI 타일링 제로샷, Linear Probe)의 비교 평가는 동일 테스트셋에서 수행하였다. RAG DB의 데이터는 불량 기준서, 검사 스펙, 발표 슬라이드, 표준서 등으로 구성하였고, PDF·PPTX·엑셀·텍스트 파일과 불량이 촬영된 원본 이미지를 활용하였다.

표 1 데이터셋 구성

Table 1. Dataset configuration

Class	수량	비율 (%)
PSR Peel-Off	4,625	57.71
Pollution	1,302	16.25
Foreign Particles	982	12.25
PSR Skip	632	7.89
Scratch	329	4.11
Missing of Silk	57	0.71
Spurious Copper	49	0.61
Pin-Hole	38	0.47

그림 1 불량 별 대표 예시 이미지

Fig. 1. Representative examples for each defect category

표 1의 8개 클래스는 공정 내 비전검사 단계에서 가장 빈번하게 발생하는 불량 유형을 채택하였으며, 각 클래스의 표본 수는 공정에서 발생하는 불량 빈도를 반영한 것으로, 균등 샘플링은 적용하지 않았다. 그 결과 PSR Peel-Off가 약 57.7%로 가장 다수인 반면 Pin-Hole·Spurious Copper 등은 1% 미만의 극소수 클래스로 나타나는 강한 long-tail 분포를 보이며, 이는 실제 공정에서 관찰되는 불량 발생 양상을 반영한다. 이를 통해 본 연구는 현장에서 발생하는 불량 분포 하에서의 방법론을 검증하고자 하였다.

2.2 말뭉치 추출 및 RAG DB 생성

평가의 신뢰성 확보를 위해, 본 연구는 수집된 이미지 데이터셋을 (i) RAG DB 인덱싱 및 Linear Probe 학습용 부집합과 (ii) 평가용 테스트 부집합으로 분할하였다. 두 부집합은 이미지 단위로 상호 배타적이며, 모든 정량 결과는 평가용 테스트 부집합 320장에서만 산출하였다.

문서 전처리는 각 유형 별 방법론을 선택하여 수행하였다. PPTX는 슬라이드·표·노트의 텍스트를 분리 추출하고 슬라이드 번호나 중복 문장을 제거한 뒤 문단 단위로 분할하였다. PDF는 텍스트 추출을 기본으로 하되 필요 시 OCR을 통해 가독성을 보완하였고, 엑셀 시트는 행·열 범위를 제한하여 텍스트화하였다. 모든 포맷에 공통으로 제어문자 정규화와 최소 길이 필터를 적용하여 과도한 중복과 잡음을 억제하였다. 이렇게 구축한 말뭉치와 클래스 정의를 바탕으로, 라벨별 핵심 시각 단서를 요약한 한국어 중심의 다중 문장을 프롬프트 JSON으로 정리하여 제로샷 분류에서 사용할 텍스트 임베딩을 도메인 지식에 정렬시켰다 (표 2). 또한 이미지의 인덱싱 및 임베딩을 통해 검색기반증강 시 활용할 수 있도록 하였다.

표 2 불량 라벨별 도메인 프롬프트 예시

Table 2. Example domain prompts per defect label

Defects	Prompts
Foreign Particles	"dust or contamination particles on PCB surface" "random scattered dots not following trace edges" "PCB surface contamination or debris on solder mask" "PCB의 이물(먼지/잔여물)로 보이는 점상 패턴"
Missing of Silk	"silkscreen text or legend partially/fully missing on PCB" "absent printed legend characters on solder mask; blank where text should be" "실크(실크스크린) 문자/마크가 일부 또는 전부 인쇄되지 않음" "실크 누락으로 텍스트/표기가 보이지 않음"
PSR Peel-Off	"solder mask peeling or flaking off exposing lighter green PSR tone" "mask delamination spots, lighter green than discoloration" "솔더마스크(PSR)가 벗겨지거나 들뜸, 연한 녹색 톤"
PSR Skip	"area with missing solder mask coverage exposing bare copper" "sharp-edged region of bare copper due to mask skipping" "PSR 누락으로 동박 노출"
Pin-Hole	"tiny circular hole through solder mask down to substrate/copper" "isolated small round void in PSR film" "솔더마스크의 미세 원형 구멍"
Pollution	"smear or stain on solder mask surface unrelated to copper pattern" "non-uniform discoloration or film on PCB surface" "균일하지 않은 얼룩/오염 흔적"
Scratch	"linear scratch mark on solder mask; narrow elongated groove" "straight elongated defect with directional texture" "솔더마스크 표면의 선형 긁힘"
Spurious Copper	"unwanted isolated copper island/spot not connected to net" "random copper residue patch between traces" "의도되지 않은 고립 동박 잔류"

문서 청크에서 도메인 프롬프트로 변환되는 과정은 알고리즘 1로 정리하였다. 또한 표 3은 Foreign Particles 라벨에 대한 변환 예시로, 원문 청크가 시각 단서 추출과 정렬을 거쳐 표 2의 다중 프롬프트로 도출되는 과정이다.

표 3 Foreign Particles 라벨의 문서 청크에서 프롬프트 변환 예시

Table 3. Example conversion from a document chunk to prompts for the Foreign Particles label

Step	Content
(a) 원문 청크	"PCB 표면에 부착된 미세 입자성 이물질로, 동박 패턴과 무관한 위치에 비주기적으로 분포함. 청정실 환경에서 외부 유입된 먼지 또는 공정 잔여물로 추정됨. 점상 또는 비정형 점 군집 형태로 나타남."
(b) 추출된 핵심 시각 단서	색조: (특정 색 없음, 어두운 점) 형태: 점상, 비정형 점 군집 위치: 동박 패턴과 무관 분포: 비주기적, 산포 기원: 외부 입자, 잔여물
(c) 정렬된 프롬프트	① "dust or contamination particles on PCB surface" ② "random scattered dots not following trace edges" ③ "PCB surface contamination or debris on solder mask" ④ "PCB의 이물(먼지/잔여물)로 보이는 점상 패턴"

알고리즘 1 청크에서 도메인 프롬프트로의 변환 절차

Algorithm 1 Conversion procedure from document chunks to label-wise domain prompts

3. Results

본 연구는 동일 테스트셋을 대상으로 도메인화 제로샷(Zero-shot; ZS), ROI 타일링 기반 제로샷(ROI-ZS), 소량 지도 Linear Probe (Probe)의 세 방법을 비교하였다. 결과 요약은 표 4와 같다.

첫째, 도메인화 제로샷(ZS)은 정확도 17.5%, macro-F1 0.145, micro-F1 17.5%를 기록하였다. 이는 문서 기반 다중 프롬프트가 없는 일반 제로샷 대비 성능이 안정화되는 경향을 보였으나, 제조 도메인 특유의 국소 불량·미세 패턴 분류에는 한계가 있었다.

둘째, ROI 타일링 기반 제로샷(ROI-ZS)은 정확도 18.4%, macro-F1 0.142, micro-F1 18.4%를 보였다. ZS 대비 정확도는 개선되었으나 macro-F1은 소폭 하락하였다. 이는 ROI 선택이 일부 불량(국소 신호가 강한 불량)에는 유리하지만, 전반의 클래스 분포에는 균일한 이득을 주지 못했음을 보여주었다. 즉, 타일링은 민감도(정확도) 측면의 미세 개선을 제공하되, 클래스 균형 성능(macro-F1)까지 고르게 상승시키지는 못하였다.

셋째, Linear Probe는 정확도 51.6%, macro-F1 0.307, micro-F1 51.6%로, ZS 대비 뚜렷한 성능 향상을 보였다. 이는 소량의 라벨만으로도 CLIP 이미지 임베딩 상의 결정 경계를 효과적으로 보정하여, 도메인화 제로샷의 표현력에 얕은 지도 신호를 더하는 접근이 제조 데이터에서 실질적인 성능 향상으로 이어짐을 의미한다.

표 5의 분포는 불량 신호의 공간성(전역 vs. 국소)과 도메인 특이성 차이에서 비롯된다. ZS·ROI-ZS가 Scratch, Missing of Silk, Spurious Copper, Pin-Hole에 강한 이유는 이들이 형태·텍스트 기반의 고대비 전역 패턴이라 프롬프트+코사인 유사도만으로도 구분이 되기 때문이다. 반면 Pollution, Foreign Particles, PSR Peel-Off처럼 색조·입자·광택의 미세 국소 변화가 핵심인 클래스는 제로샷 임베딩이 불안정해 취약하다. ROI-tiling은 엣지 밀도 등 저수준 특징으로 국소 신호를 일부 증폭하지만 의미적 경계 보강이 부족해 구성은 ZS와 유사하였다. Linear Probe는 소량 라벨로 불량 간 경계를 직접 학습해 PSR 계열·이물/오염류에서 우위를 보였다. 요약하면 전역·형태 불량은 ZS/ROI-ZS, 국소·미세 불량은 Linear Probe가 상대적으로 유리하였다.

추가로, 혼동행렬을 확인한 결과, ROI 타일링은 미세 불량(국소 텍스처/스크래치 계열)에서 일부 개선을 보였다. 반면 Linear Probe는 다수 클래스에서 재현율 향상이 관찰되어 전체 macro-F1을 크게 향상시켰다 (그림 2).

그림 2 방법별 혼동행렬 결과 시각화: (a) Zero-shot, (b) ROI-tiling Zero-shot, 및 (c) Linear Probe

Fig. 2. Confusion matrices for (a) Zero-shot, (b) ROI-tiling Zero-shot, and (c) Linear Probe methods

4. Discussion

표 6에서 알 수 있듯, ROI 타일링은 모든 클래스를 일관되게 향상시키지 못하고, 일부 클래스(Missing of Silk, Spurious Copper, Scratch)에서는 이득을, 다른 일부(Foreign Particles, PSR Skip)에서는 손실을 동시에 발생시켰다. 이러한 양 극단의 변동이 상쇄되어 macro 평균은 거의 변동이 없는 반면, 다수 클래스의 정답 회복 효과가 단순 정확도에는 우호적으로 반영되어 정확도만 미세하게 상승하는 결과가 발생하였다.

혼동행렬(그림 2)을 추적해 보면 손실의 원인이 보다 구체적으로 드러난다.

첫째, PSR Skip 클래스의 재현율 붕괴: ZS에서는 50개 표본 중 20개를 정답 처리했으나, ROI-ZS에서는 5개로 감소하였다(31개가 Pin-Hole로 오분류). PSR Skip은 솔더마스크가 누락된 비교적 넓은 영역의 색상·노출 패턴에 의존하는 광역 신호 불량으로, 타일 크롭이 이 광역 컨텍스트를 끊어버리면서 임베딩 상의 차별점이 약해진 것으로 해석된다.

둘째, Foreign Particles 클래스의 정밀도 소실: 본 클래스의 정답 처리 건수는 2건에서 0건으로 줄었고, 동시에 ROI-ZS에서는 50개 중 22개가 Scratch로 오분류되었다. 이는 타일 단위로 잘라 본 입자 군집이 ROI가 강조하는 엣지·선형 구조 신호에 더 가깝게 보이게 되어, 모델이 선형 패턴(Scratch) 쪽으로 끌려가는 체계적 편향이 발생함을 보여준다.

셋째, Pollution이 Scratch로 오분류 증가: ROI-ZS에서 Pollution 50건 중 32건이 Scratch로 분류되어, 색조·얼룩 단서가 타일 크롭으로 인해 다시 한 번 선형 텍스처처럼 보이게 되는 동일한 편향이 관찰된다.

종합하면, ROI 타일링의 macro-F1 하락은 (i) 광역 컨텍스트 의존 클래스에 대한 정보 손실(PSR Skip의 재현율 붕괴)과 (ii) 타일 선택 기준이 강조하는 시각적 어휘로의 분류 결과 쏠림, 즉 Foreign Particles, Pollution이 Scratch로 오분류되는 유형이 동시에 작용한 결과로 추정할 수 있다. 이는 ROI 타일링이 국소 엣지·선형 단서가 핵심인 클래스(Scratch, Missing of Silk, Spurious Copper)에는 부합하지만, 광역 색상·영역 단서가 핵심인 클래스(PSR Skip, Pollution, Foreign Particles)에는 부적합한 사전 정보를 부여한다는 것을 의미한다.

반면 Linear Probe는 동일한 이미지 임베딩 위에서 얕은 지도 신호만으로도 결정 경계를 의미 있게 보정하여, 정확도 51.6%, macro-F1 0.307로 큰 폭의 성능 향상을 달성하였다. 특히 macro-F1의 개선은 클래스 불균형 상황에서도 전체적으로 균형 잡힌 성능을 확보했음을 보여준다. 이는 (i) 프롬프트 품질과 상관없이 이미지 임베딩 공간에 직접 경계를 그려 줄 수 있고, (ii) 라벨 수가 많지 않아도 학습이 비교적 안정적이라는 Linear Probe의 장점에 기인한다.

반면, 본 연구의 한계점은 다음과 같다. 첫째, ROI 타일링은 타일 선택 기준(엣지/구조 밀도, 그리드 크기, 상위 타일 수 등)과 촬영 조건 간 상관관계를 정확하게 규명하지 못하여, 일부 클래스에서만 성능이 향상되는 결과를 보였다. 둘째, Linear Probe는 소량 라벨로도 개선을 보였지만, 실제 배포 시 데이터 드리프트에 따라 성능이 흔들릴 여지가 있다. 셋째, 도메인화 프롬프트는 문서 품질과 추출/정제 파이프라인의 일관성에 의존하며, 프롬프트 집합 내부의 문장 선택·가중 최적화가 이루어지지 않았다. 넷째, 본 결과는 단일 train/test 분할 하의 1회 실험 결과로, 시드 변동에 따른 통계적 안정성을 정량적으로 보장하지 못한다. 후속 연구에서는 다중 시드 반복을 통해 평균과 표준편차를 함께 보고할 계획이다.

본 연구에서 도출한 51.6%의 정확도는 라벨이 풍부한 환경에서 보고되는 CNN 기반 PCB 불량 검출 성능과 비교했을 때 낮은 수준이다 ^{[1, 4, 8]}. 그러나 본 연구는 8개 클래스에 대해 총 320장의 테스트 샘플과 클래스당 평균 수십 장의 소량 라벨이라는 제약 하에서 실험을 수행하였으며, 이는 일반적인 CNN 전이학습이 안정적으로 수렴하기 어려운 영역으로 알려져 있다 ^{[9- 10]}. 동일 320 샘플 조건에서의 CNN 전이학습 직접 비교는 본 연구의 범위를 벗어나며 향후 과제로 남긴다. 다만, (i) 라벨이 전혀 없는 상태에서도 동작이 가능한 zero-label cold-start, (ii) 기존 검사 문서를 그대로 활용 가능한 자원 효율성, (iii) 신규 불량 유형 추가 시 프롬프트만 갱신하면 되는 유지보수 비용 절감, (iv) 분류 결정에 사용된 단서를 확인할 수 있는 해석 가능성 등의 정성적 이점은 라벨이 본격적으로 누적되기 전 단계에서 본 접근의 가치를 뒷받침한다.

향후 연구 방향은 다음과 같다.

(1) 프롬프트 가중 및 선택 자동화: 말뭉치 문장 후보를 더 넓게 수집하고, 불량 별로 문장 가중을 학습(learn-to-reweight)하여 제로샷의 안정성을 높인다.

(2) 하드 네거티브 채집과 멀티모달 라벨 보강: 오분류된 샘플을 선별하여 약지도/대비학습으로 불량 별로 임베딩 공간의 분리도를 향상시킨다.

(3) ROI 선택의 적응화: 타일링 기준을 엣지/텍스처/색상 대비 등 복합 지표로 확장하고, 이미지 조건에 따라 동적으로 타일 수·크기를 조절하여 정확도 향상 여부를 확인한다.

(4) Probe 고도화: 클래스 가중치, focal loss ^[19], 온도 스케일링, 소규모 LoRA ^[20] / VPT ^[21] 와의 비교를 통해 소량 지도 성능의 추가 향상을 모색할 예정이다.

5. Conclusion

본 논문은 제조 현장의 데이터 제약과 분포 변동을 고려하여, Visual RAG 구축, 문서 기반 프롬프트 도메인화 제로샷, ROI 타일링 제로샷, 그리고 소량 지도 Linear Probe를 비교·분석하였다. 문서 지식에 의존한 제로샷만으로는 국소적 불량과 미세 패턴을 충분히 분리하기 어려웠으며, ROI 타일링은 정확도 측면에서 미세한 보완 효과를 보였으나 클래스 균형 지표(macro-F1)에서는 뚜렷한 이득을 제공하지 못하였다. 또한, 소량의 학습 데이터만으로도 Linear Probe가 결함 간 결정 경계를 보정하여, 제로샷 베이스라인 대비 정확도와 macro-F1 모두에서 유의미한 개선을 달성함을 실험적으로 확인하였다. 다만, 본 연구에서 보고한 정확도(최대 51.6%)는 그 자체로 양산 라인에 직접 배포하기에는 충분하지 않으며, 본 연구의 기여는 라벨이 극히 제한된 초기 단계에서 비전-언어 기반 파이프라인이 합리적인 출발점(initial baseline)을 제공할 수 있음을 정량적으로 보였다는 데 있다. 향후 프롬프트 자동 가중, 하드 네거티브 채집, ROI 적응화, Probe 고도화 등을 통합하고, 점진적으로 라벨을 추가 확보하여 모델을 갱신해 나간다면, 초기 도입 비용을 낮추면서도 단계적으로 실제 품질 관리 요건에 근접해 갈 수 있는 비전-언어 기반 불량 검사 파이프라인으로 확장할 수 있을 것으로 기대된다.