2.1 단일 자동차 번호인식(단일LPR)

그림 1에서는 일반적인 자동차 번호인식 흐름도를 나타낸다⁽²⁾. 번호인식의 성능을 높이기 위해서는 각각 블록의 성능이 중요하다. 각 블록의 성능에 따라 인식률이 좌우된다. 각 블록에 대한 설명은 아래와 같다.

(1) 차량 검출

: 일반 주차장의 경우 차단기 앞에 루프(Loop)를 설치하여 차량이 주차장에 들어오면 루프신호를 받았을 때 스트로브(Strobe)를 터트리면서, 카메라로부터 차량 이미지를 입력 받는다. 또한 하이패스(Highpass)나, 신호/속도위반 차량을 검출하기 위해서는 일반 도로에 루프를 설치할 수 없으므로, 짧은 주기로 카메라로부터 이미지를 습득 받는다.

(2) 사전 이미지 처리

: 자동차 번호인식 성능의 가장 중요한 부분이다. 원본자체를 번호인식에 가장 좋은 환경으로 만드는 부분이다. 많은 논문들이 이 부분을 연구하여 성능 개선을 위해 노력 해왔다. 이미지 처리 방법으로는 다음과 같다.

① 화질 개선

번호판의 글씨가 잘 보일 수 있도록 일정한 밝기를 유지하는 것이 중요하다. 보통 스트로브를 통해서 어두운 날 또는 밤에도 번호판이 잘 보이도록 한다. 그러나, 햇살이 강하거나, 외부의 조명등에 의하여 빛이 정광으로 비치는 경우 번호판에 백화 현상이 일어나 글씨를 잘 알아볼 수 없는 경우가 발생한다. 이 부분은 카메라 내 교정(Calibration)을 통해서 해결한다. 주로 노출(Exposure) 교정을 이용한다. 단 현장마다 주변 환경의 상황이 다르기 때문에 노출 정도를 가변으로 조절할 수 있어야 한다.

② 색상 개선

대부분 흑백 이미지로 처리한다. 밤이나 흐린 날씨에도 똑같이 적용되기 때문에 흑백 이미지를 사용하는 것이 일반적이다. 컬러 카메라 사용 시 비용적인 부분의 부담을 주기 때문에 흑백 카메라를 사용하여 이미지를 입력 받는다. 그러나, 인식률을 높이기 위해 낮에는 컬러이미지를 적용하고, 어두운 상황에서는 흑백 이미지를 적용하기도 한다. 컬러 이미지의 경우 RGB나 HSV 이미지 포맷을 사용한다.

③ 노이즈 개선

차량 운행을 하다보면 번호판에 이물질이 묻어 번호판 인식률을 떨어뜨리는 결과를 가져온다. 특히 비/눈이 내리거나, 공사현장에 출입하는 경우 이런 현상이 더욱 많이 발생한다. 이 경우 고주파(Highpass), 저주파(Lowpass), 미디언(Median), 가우시안(Gaussian) 필터링 등을 통해서 번호들이 더 잘 보이도록 개선한다.

④ 이미지 변환

현장마다 카메라가 설치된 각도에 따라 입력되는 번호판의 각도가 다른 수 있다. 번호인식에 사용한 학습이미지가 적용 현장에서 습득한 번호판의 번호 각도에 맞추어 학습하였다면 인식률이 더 좋아질 수 있다. 그러나, 일반적으로 여러 현장에서 차량이 입/출차 할 때 운전자 쪽과 카메라의 거리가 2~3m인 차량 번호판으로 번호인식 엔진을 학습시킨다. 따라서, 현장에 따라 이미지 습득 각도가 다른 경우가 발생하기 때문에 인식률이 현장마다 달라진다. 이런 경우에 인식률을 개선하기 위해서는 카메라로부터 습득한 이미지를 전체적으로 이동/변환시켜야 한다. 주로 위치 옮김(Translation)과 회전(Rotation)을 사용한다.

(3) 번호판 추출

: 카메라로부터 습득한 이미지로부터 번호판을 추출한다. 주로 에지검출(Edge Detection) 방법을 통해 번호판 부분을 유추한다. 캐니(Canny)필터, 침식(Erosion), 팽창(Dilation), 열림(Opening), 닫힘(Closing)을 이용하여 해당 지역을 유추하고, 이 부분에서 특징벡터를 추출한다. CCA(Connected Component Analysis), DFT(Digital Fourier Transform), Adaboost등을 이용하여 특징벡터를 추출할 수 있다.

(4) 번호 추출

: 번호판으로부터 번호를 추출한다. 각 번호가 있는 블랍(Blob)들을 추출해야한다. 가로/세로 투영(Projection)이나 형태학적 두꺼움(Morphological Thickening), 형태학적 얇음(Morphological Thinning)을 통해서 번호 부분의 블랍을 추출한다.

(5) 번호인식

: 이미지로부터 번호가 있는 각각의 블랍들을 얻어내고, 번호인식엔진을 통해서 이미지가 어떠한 번호인지 알아낸다. 템플릿 매칭(Template Matching), 신경망(Neural Network), SVM(Support Vector Machine)등을 이용하여 인식을 하고, 최근에 들어와서는 딥러닝(Deep Learning)을 이용한 인식이 활발하게 연구되고 있다.

2.2 기존 시스템의 개선 방향

수많은 번호 인식 알고리즘이 연구되고 있으나, 100% 번호 인식이 되는 경우는 없다. 현장의 상황, 빛의 노출정도, 카메라의 성능 등 수많은 요인들에 의해서 인식률이 결정된다. 따라서 본 논문에서는 기존 번호인식엔진이 가지는 문제점을 개선하기 위하여, 전처리 부분에서는 가변 임계치 병렬 알고리즘을 적용하고, 후처리 부분에서는 보우팅LPR 시스템을 구현함으로써 번호인식률을 높이는 전·후처리 방법에 대한 연구를 진행하였다.

3.1 전처리 과정

(1) 가변 임계치 병렬 알고리즘

일반적인 번호 인식 과정을 보면 번호판 추출 후 이진화 필터를 거쳐 블랍(Blob)을 추출 하고, 추출된 블랍에 대하여 각각 번호인식을 진행한다. 제안하는 전처리 과정에서는 이진화 필터 적용 시 N개의 가변 임계치 (variable -threshold)를 병렬 처리 하고 N개의 번호 인식 과정을 진행한다. N개의 가변 임계치를 설정할 때 가장 중요한 요소는 번호판 인식 결과가 나오는 속도가 주요 요소이다. N을 크게 하면, 빛/그림자와 같은 환경적 요소에 보다 적응적으로 대응할 수 있으나, 인식 개체가 많아짐에 따라, 인식 엔진은 더 많은 리소스를 차지하게 된다. 따라서 본 실험에서는 평균적으로 600ms안에 인식결과가 나오기 까지 최대 개수 N을 사용하였으며, 실험치로 N=5로 설정하였다. 만약 인식엔진이 더 빨리 인식 처리할 수 있다면 N의 값을 크게 할수록 좋은 결과가 나온다.

이진화 필터는 아래와 같다.

그림 2에서는 정상 번호판에 대하여 가변 임계치 병렬 처리하는 과정을 나타낸다. 이때 N=5를 적용 하였고, 가변 임계치는 20부터 60까지 10씩 증가하여 다변화 하였다. 정상적인 번호판인 경우 여러 가지 임계치를 적용했을 때 이미지의 변화가 적기 때문에 가변 임계치를 병렬처리를 하거나, 고정 임계치를 기준으로 단일처리를 하였을 때 결과에 별 영향을 주지 않는다. 그림 2에서도 N이 5인 경우 번호인식 결과가 모두 100% 나왔다.

그러나 외부 환경에서 차량 번호인식을 하는 경우, 날씨, 빛, 조명, 주변 건물 환경 등에 많은 영향을 받기 때문에 추출된 번호판 원본이 번호인식에 적합하지 않는 경우가 많이 발생할 수 있다. 따라서 이런 경우에는 이진화 필터에 가변 임계치

병렬처리를 적용하면, 번호인식에 보다 적합한 이미지를 추출할 수 있다. 그림 3의 경우 햇빛이 강한 오후 시간대에 차량 번호판 바로 위 트렁크 그림자에 의해서 비정상적으로 추출된 번호판의 경우이다. 이런 경우 가변 임계치 병렬 처리를 통해서 번호 인식률의 성능을 높일 수 있다. 단일 LPR에서는 단일 기준으로 이진화 필터를 적용하기 때문에 그림 3의 첫 번째 이미지만 추출하게 된다. 이 경우 “45노2608”의 차량번호가 “45노7XXX“로 인식할 수 있다.

3.2 후처리 과정

(1) 투표기반 자동차번호인식(보우팅LPR)

그림 4는 제안하는 보우팅LPR 시스템의 구성을 보여준다. 루프신호가 들어왔을 때 LPR 카메라로부터 초당 150프레임으로 입력받고 그 중 N프레임을 추출하여 버퍼에 넣는다. 이 이미지 버퍼는 멀티쓰레드(Multithread)를 이용하여 동시에 번호인식을 진행한다. 많은 수의 이미지 버퍼를 사용하여 보우팅을 하면 더 좋은 결과를 가져올 수 있으나, 동시 동작 시 시스템에 부하문제가 발생하고, 1초안에 모두 인식결과를 내야 되기 때문에 쓰레드 개수의 제한이 필요하다⁽¹⁾. 번호인식된 결과에 대하여 보우팅을 진행하고, 결과가 나온 후 과반수 이상 동일한 결과가 나오면 나머지 결과는 인식결과와 상관없이 최종 인식된 번호로 판단한다. 만약 보우팅의 최대값이 동일하게 나오는 경우에 빠르게 인식 결과가 나온 것을 우선으로 하였다. 인식이 빨리 될수록 정확한 결과가 나올 확률이 크기 때문이다.

인식결과의 판단은 4가지(인식 성공, 인식실패, 오인식, 부분인식)로 구분할 수 있다. 보우팅은 인식 성공, 오인식일때만 진행되며, 인식 실패, 부분인식일 때는 보우팅이 생략된다. 상황에 따라 정상인식 결과로 나왔으나 인식실패로 판단해야 되는 경우가 발생한다. 단, 아래 4가지 경우에는 정상인식이 되었어도 보우팅에서 제외한다.

①차량 번호 크기 판단에 의한 인식실패

보통 주차장에 들어오는 차량에 대해 과금을 진행한다. 그러나, 장소에 따라서 차량 외에 지계차가 들어오거나, 자전거나 오토바이와 같은 이륜차가 들어오는 상황이 발생한다. 이륜차의 경우는 주차비를 받지 않는 경우가 대부분이기 때문에 번호인식 결과가 DB에 쌓여도 의미 없는 데이터가 된다. 그러나, 이 경우에도 루프로부터 신호가 들어오기 때문에 입차로 인식하고 번호인식이 진행된다. 이때 번호인식된 차량번호의 크기를 판단하여 차량으로 판단하지 않을 수 있다. 그림 5의 경우는 차량의 동선에 따라 의도치 않게 이미 주차되어 있는 차량을 번호인식 하는 경우를 보여준다. 차량 입차 후 후면에서 촬영한 것으로 차량동선이 입차 후 좌 또는 우로 바로 이동하는 경우이다.

이때 카메라 입력영상이 늦어 입차하는 '04나0481'을 인식해야 되나 이미 주차된 '31나3779'로 오인식을 하였다. 이 경우에 인식실패로 판단하여 보우팅하지 않도록 한다.

② 차량 번호 크기 비율에 의한 인식실패

인식된 차량 번호 4자리수의 각각의 높이를 계산한다. 이때 인식된 숫자의 가장 큰 세로크기와 가장 작은 세로크기의 비율을 계산한다. 그림 6은 정광으로 태양이 번호판을 비출 때 번호판의 일부만 보이는 경우이다. 이 경우 실제 ‘54거5833’을 ‘54거5830으로 오인식을 하였다. 번호인식결과를 보면 끝 숫자인 3이 0으로 오인식 하였으나 0의 글자크기가 가장 크게 인식된 5의 크기의 50%가 되지 않았다. 이 때 글자크기가 가장 큰 수와 작은 수의 비율이 일정 부분 나오지 않으면 오인식일 확률이 크기 때문에 보우팅을 하지 않는다. 본 논문에서는 기준 비율을 60%로 정하였다.

③ 번호인식 경과 시간에 의한 인식실패

인식엔진의 특성에 따라 다를 수 있지만, 인식판단을 할 때 시간이

오래 걸리는 경우도 발생할 수 있다. 특히 카메라로 찍는 순간에 사람이 지나가는 경우, 차량대신 사람이 찍히는 경우도 발생한다. 이 경우 번호인식엔진에서는 번호판을 찾지 못하기 때문에 인식결과 판단까지 많은 시간이 소요된다. 현장에서는 1초안에 번호인식 뿐만 아니라, 요금 계산과 차단기

열림까지 진행되어야 하므로 인식엔진의 속도가 1초를 넘어가는 경우에는 인식실패로 판단하여 보우팅하지 않았다.

④ 사업모델에 의한 인식실패

일반적인 경우는 해당되지 않으나, 특수하게 사업모델에 따라 특수용도 차량이 주차장에 입차하는 경우 주차 차단을 하거나, 특수용도 차량만 주차장에 입차 가능한 경우도 존재한다. 이 경우 번호 인식 결과를 분석하고 인식실패로 판단할 수 있다. 이 경우 보우팅에서 제외한다. 한 예로 대한민국 차량번호의 경우 ‘바’, ‘사’, ‘아’, ‘자’, ‘배’가 들어가는 경우 영업용 차량으로 판단하고, ‘하’, ‘호’, ‘허’ 인 경우 렌트 영업차량으로 판단한다. 영업용 차량만 주차장 허용을 한다거나, 렌트카의 경우에만 주차장 허용을 하는 경우에 적용할 수 있다.

3.3 클라우드 기반의 주차관제 시스템 적용

산업 현장에서는 위와 같은 문제들로 인해서 인식률이 떨어지고, 고객의 불만이 커지고 있다. 주차비 결제와 연동되기 때문에 현장에서는 더욱 민감하게 반응하고 있다. 이를 해결하기 위하여, 인식 실패한 이미지만 따로 모아서, 다른 특성을 가지는 자동차 번호인식엔진을 통해 실패한 차량에 대해서 다시 번호인식을 하는 등 인식률을 높이기 위한 추후 작업들을 진행하고 있다. 이러한 상황 속에서 제안하는 가변 임계치 병렬 알고리즘과 투표기반의 보우팅LPR 시스템을 이용하여 인식률을 높이고, 서비스의 질을 높이며, 고객의 만족도를 높일 수 있다. 제안하는 전·후 처리 알고리즘을 클라우드 기반의 주차관제시스템에 적용해 보았다. 그림 7은 클라우드 기반의 자동차번호인식 서비스를 이용한 주차관제시스템 구성도이다⁽¹⁾.

(1) 주차장 LPR클라이언트

차량이 입/출차시 루프신호를 발생시키고, 스트로브가 터지면서 카메라가 작동한다. 카메라로부터 입력받은 FullHD급의 RAW데이터 이미지를 JPEG으로 압축하여 인식 서버에 전달한다. 전송 시 multipart/form-data 형식으로 HTTP 프로토콜을 이용해 이미지를 전달한다. 이때 전송 프로토콜은 아래와 같다.

[전송 프로토콜]

POST /lpr HTTP/1.1

Host: 127.0.0.1:9980

Content-Type: multipart/form-data;

boundary=----WebKitFormBoundary7MA4YWxkTrZu0gW

Cache-Control: no-cache

Postman-Token: 8b39979d-0e44-ddbd-c6f5-25a4c9ec7a2b

------WebKitFormBoundary7MA4YWxkTrZu0gW

Content-Disposition: form-data; name="auth_key"

YUADKWWFSS

------WebKitFormBoundary7MA4YWxkTrZu0gW

Content-Disposition: form-data; name="file";

filename="01_004_YUADKWWFSS_2019101116412106.jpg“

Content-Type: image/jpeg

------WebKitFormBoundary7MA4YWxkTrZu0gW--

(2) 인식서버

카메라로부터 얻은 차량이미지를 클라이언트에서 HTTP로 인식 요청하면 아래와 같은 응답을 보낸다. num은 인식된 번호판의 마지막 4자리를 나타내고 이때 좌표정보를 나타낸다. 이 정보를 이용하여 차량 번호 크기 판단에 의한 인식실패 여부를 판단할 수 있다.

[ACK]

{

$\quad$"lpr_result":{

$\quad$"num0":"776,720,811,771", $\quad$ // 1번째 번호 좌표

$\quad$"num1":"816,721,852,773", $\quad$ // 2번째 번호 좌표

$\quad$"num2":"852,730,891,777", $\quad$ // 3번째 번호 좌표

$\quad$"num3":"905,731,942,780", $\quad$ // 4번째 번호 좌표

$\quad$"plate_num":"36다9469", $\quad$ // 인식된 차량번호

$\quad$"ret":"1" $\quad$ // return code 값

$\quad$}

}

4. 1 시스템 구현환경

기존의 LPR 시스템과 제안하는 가변 임계치 병렬 알고리즘과 보우팅LPR 시스템을 적용 했을 때 인식률을 비교하기 위해 같은 주차장에서 나온 10일간의 데이터 12842개의 이미지를 동시에 비교하였다. 이때 차량외 중장비나 자전거, 오토바이 같은 이륜차는 인식률 계산에서는 제외하였다. LPR 카메라로부터 1920x1080의 흑백이미지를 얻었으며, 인식엔진 장비는 OS가 64bit Windows7에 Intel(R) core(TM) i7-3630QM CPU@2.40GHz, 메모리는 8.00GB를 사용하였으며, 가변 임계치 개수 N을 5개(실험치) 적용하였으며, 보우팅 LPR시스템에서는 멀티쓰레드를 동시에 5개(실험치)를 사용하여 인식하였다. 이때 인식결과가 나오기까지 평균 600ms의 인식 시간이 소요되었다. 성능비교를 할 수 있는 프로그램은 Visual Studio 2015 C++로 개발하였다.

4.2 시스템 성능비교

표 1에서는 기존의 단일LPR과 전·후처리를 적용한 제안하는 LPR시스템을 비교 분석하였다. 이때 전처리 과정인 가변임계치 병렬적용에서 임계치를 5개로 이진화 필터를 적용하였고, 후처리 과정인 보우팅LPR에서는 숫자크기가 30pixel 이하인 것과 숫자크기비율이 60% 이하인 것을 인식실패로 판단하여 보우팅에서 제외하였다. 그리고 멀티쓰레드 5개를 이용하여 인식엔진을 구동시킬 때 1초안에 결과가 나오지 않는 부분은 보우팅하지 않았다. 결과를 분석해 보면 단일LPR을 이용하는 것보다 전·후처리를 적용한 제안하는 LPR시스템을 이용할 경우 3.69% 인식률이 더 좋아진 것을 알 수 있다. 크기제한을 두었을 경우 3.35% 인식률이 향상되었으며, 비율제한을 두었을 경우 3.48% 인식률이 향상되었다. 실험환경에서 시간제한을 두었을 경우와 아닌 경우는 동일한 결과가 나왔다. 이 부분은 테스트 했을 시에 번호판 인식이 어려운 차량이 입차하지 않았기 때문이다.

최근에 유행하고 있는 딥러닝을 이용한 영상처리기술들이 많이 발달되었다. 그러나, 본 논문의 대상은 실제 산업계에서 적용가능하기 위해 기존 현장의 장비를 그대로 사용 가능하고, 저비용, 고효율의 LPR 시스템을 목표로 하고 있다. 따라서 GPU사용을 위해 고비용의 그래픽 카드 사용이 필수적인 딥러닝을 이용한 영상처리기술들은 비교 대상에서 제외하였다.