2.1 구조광과 카메라 시스템의 특성

비접촉 보정 방법에서는 획득된 레이저 점의 이미지로부터중심점의 위치를 계산해야 한다. 실제로 레이저는 원기둥 모양의 빔 형태로 투사되기 때문에 면적을 가지는 형상으로 검출되며 레이저 포인터가 가리키는 정확한 위치를 알기 위해서는 추가적인 과정을 거쳐야 한다. 레이저가 스크린에 투사된 상을 카메라로 촬영하면 광점과 산란광(flare)으로 나눌 수 있다. Fig. 3에서 볼 수 있듯이 광점은 비교적 일정하며 높은 명도와 포화도를 가진다. 따라서 광점은 레이저의 파장에 관계없이 흰색에 가까운 색을 나타낸다. 산란광은 모양이 미세하게 계속 변하며, 레이저에 파장에 따른 색 특성을 가진다. 또한 레이저 광선은 부피가 있는 원통 형태로 모델링 할 수 있다. 따라서 레이저 광선이 스크린에 수직이 아닌 경우에는 투사점은 점이 아닌 타원의 형태로 나타나게 된다.

본 논문에서 사용하는 카메라는 산란광의 외곽선을 추출하여 위치를 추적하므로 산란광의 비정형성이 위치 값 추정에 미세하게 영향을 준다. 또한 레이저가 기울거나 움직일 경우 카메라의 처리 가능한 초당 프레임 수(FPS: Frame Per Second)의 제한에 의하여 정지상태의 레이저와는 다르게 잔상이 검출된다. 이때 발생하는 잔상은 레이저 포인터의 속도가 빠를수록, 카메라의 샘플링 시간이 길수록 길게 나타난다.

2.2 레이저 투사점의 위치 추정을 위한 알고리즘

구조광의 레이저 투사점의 정확한 위치를 추정하기 위하여 본 논문에서는 수학 모델을 이용한 영상처리 알고리즘을 사용한다(Fig. 3). 카메라를 통하여 레이저 투사점 영상을 받아오면 영상을 이진화한 뒤 이상학적 구조 해석 방법으로 레이저 투사점의 외곽선을 검출한다. 명도와 포화도가 비교적 높은 광점이 항상 레이저 투사점의 중심부에 위치하므로 명도 혹은 포화도를 한계값(threshold)과 비교하여 이진화할 수 있다. 검출된 외곽선이 비정형이며, 완전히 닫히지 않은 곡선이 검출되는 경우에도 무게중심을 검출할 수 있도록 클러스터링 알고리즘을 이용하여 근접한 외곽선을 하나의 형상으로 판단하여 무게중심을 추정한다. 이후 과거의 프레임들로부터 추정한 값과 현재 투사점의 무게중심 값과의 가중치 합으로부터 레이블링(labeling) 작업을 수행한다.

획득된 영상 프레임간의 시간차가 적을수록 레이저 투사점의 이동에 대한 반응성이 높고, 반응성이 높을수록 잔상이 짧게 검출되기 때문에 검출되는 레이저 투사점의 오차가 줄어들게 된다. 영상 프레임의 획득에 소요되는 시간은 컴퓨터의 프로세싱 자원에 의존하지 않고, 카메라의 성능과 통신 대역폭에 크게 의존하기 때문에, 하나의 단일 스레드로 프로그램을 작성할 경우, 프레임 획득 함수의 대기(function block)으로 인하여, 프로세싱 자원이 비효율적으로 낭비되는 현상이 발생한다. 이를 해소하기 위하여, 프레임획득 부분과 영상처리 부분을 별도의 스레드로 나누어 구현하였다. 각각의 스레드에 작업을 분배하여 진행하므로 시스템의 자원을 최대한으로 활용하여 대기 시간을 줄여 초당프레임수를 높일 수 있다. 각 스레드에서 동작하는 프로세스의 실행 시간 및 실행 순서는 Fig. 4와 같다.

메인 스레드에서는 샘플 시간에 대해 스레드간의 정확한 동기화를 위해서 timerfd() 타이머를 사용한다. timerfd() 타이머는 리눅스 커널에서 동작하며 높은 정밀도와 적은 자원 소모, 쉬운 구현 난이도를 가진다. 매 샘플 시간마다 메인 스레드는 영상처리 스레드에 신호를 보냄과 동시에 카메라 센서에서부터 이미지 프레임을 획득한 후 다음 샘플시간까지 대기상태로 머물게 된다(busy waiting technique).

영상 처리 스레드에서는 이전 샘플 시간에서 저장된 프레임을 이용하여 레이저 투사점의 좌표를 추정한다. 우선 클러스터링에 필요한 투사점의 중심점 좌표를 얻기 위해 영상을 이진화한 뒤 외곽선 검출 알고리즘을 통해 레이저 투사점의 이미지피처(image feature)를 추출한다. 이 과정에서 노이즈를 줄이기 위해서 블러링 연산을 진행한다. 이후 각 피처의 중심점을 추출한 뒤 클러스터링을 진행한다. 두 점 사이의 거리를 Manhattan distance⁽⁷⁾로 계산한 후, 임계값보다 작을 경우에 동일 클러스터로 결정하는 방법을 사용하였다. 클러스터링을 진행한 피처에 대해 타원 검출을 진행하여 중심점 정보를 추출한다. 이때, 피처의 중심점 추정값을 구하기 위해서 이전 샘플 시간에서의 중심점과 추정 속도를 이용하였으며, 그 식은 식 (1)과 같다.

여기서, $p_{k}$는 샘플시간에서의 실제 좌표, $\hat p_{k}$는 샘플 시간 $T_{k}$에서 추정된 좌표, $\alpha$는 가중치를 의미한다.

클러스터된 피처들을 레이블링하기 위해서 수학적 모델로 추정된 좌표 와 카메라로부터 얻은 좌표를 이용한다. 카메라로부터 얻은 좌표들을 피처의 후보 좌표군으로 지정하고 이 좌표들과 추정된 좌표들 간의 거리를 Manhattan distance로 계산한다. 모든 $\hat p_{k}$-$p^{m}_{k}$간의 거리를 계산하고 모든 경우의 거리 합을 구하여 가장 낮은 조합을 선택한다. 이 때 $p^{m}_{k}$의 레이블 아이디는 $\hat p_{k}$와 같은 아이디를 부여한다. 이후 레이블 된 정보로부터 레이저 투사점의 좌표 정보를 업데이트한다.

3.1 실험 환경 구축

본 논문에서는 제안한 알고리즘의 영상처리 부분에서 외곽선 검출을 위하여 한계점(threshold) 알고리즘⁽⁴⁾을 사용하여 실험한다. 또한 실제 레이저 포인터가 가리키는 각도와 카메라로 촬영되는 레이저 투사점의 시지연을 측정하기 위하여 정밀 엔코더를 사용하였다. 정밀 엔코더에 동기 신호를 사용하여 카메라로 촬영되는 레이저 투사점의 위치와 실제 레이저 포인터가 가리키는 각도 정보를 동기화 하였다. Fig. 5에서와 같이 카메라가 스크린의 정 중앙에 놓이도록 엔코더/카메라를 고정하였다($l_{0}$=$l_{1}$=$l_{2}$=$l_{3}$). 정지 상태에서 레이저 포인터를 카메라의 정중앙으로 촬영되도록 흔들림 없이 고정한 뒤 추정되는 중심점의 평균과 표준편차로부터 레이저의 세기 및 주변 환경의 밝기를 변경하였다. 엔코더 위의 카메라를 회전시켜 투사되는 레이저의 각도를 변경하면서 엔코더로부터 측정된 레이저 포인트의 계산값과 알고리즘에 의한 실측값의 오차를 측정한다. 이 때, 카메라의 특성 및 영상 처리 속도에 따른 시지연이 존재하므로 이를 실측한 후 보정하기 위하여 엔코더로부터 얻어진 데이터를 지연하여 정합 후 사용하였다.

실험을 위하여 카메라의 영상을 처리하는 컴퓨터로 Nvidia의 Jetson Nano (ARM-A57@1.43G Hz)를 사용하였으며, 정밀 엔코더에 동기신호를 주고 위치 데이터를 측정하는 인터페이스 보드로 Arduino Due (ARM-M3 AT91SAM3X8E @84MHz)를 사용하여 실험 환경을 구축하였다(Fig. 7).

실험에서 사용되는 파라미터는 다음과 같다 (Fig. 8, Table.1). 레이저가 엔코더에 장착된 structured laser module (SLM)과 카메라를 스크린에 최대한 수직으로 배치한 뒤, 측정된 각도를 각도 영점($\theta_{0}$)으로, 레이저 투사점의 좌표를 좌표 영점($p_{0}$)으로 가정한다. 또한 레이저 투사점이 카메라에 잡히는 한계 지점까지 엔코더를 회전한 각도를 각각 좌한 각도($\theta_{L}$), 우한 각도($\theta_{R}$)로 가정한다. 앞서 얻은 파라미터로부터 각도에 따른 좌표를 계산한다. 계산된 좌표($x_{a}$)는 식 (2)로 표현된다.

3.2 실험 결과

알고리즘의 성능 확인을 위하여 다음과 같은 단계로 실험을 진행하였다.

1. SLM의 회전 각도를 다양하게 바꾸며 영상을 촬영한다.

2. 1에서 얻은 영상 정보와 각 샘플 시간에서의 각도 정보를 바탕으로 레이저 투사점의 실제 좌표($x_{k}^{a}$)를 계산한다.

3. 촬영된 영상과 비교하여 시지연을 측정 후 보정한다.

4. 1에서 촬영한 영상을 알고리즘을 통해 처리하여 레이저 투사점의 추정 좌표($\hat x_{k}$)를 계산한다.

5. 2에서 얻은 실제 좌표 $x_{k}^{a}$와 4단계에서 얻은 추정 좌표 $\hat x_{k}$의 차이를 비교하여 알고리즘의 성능을 검증한다.

영상은 100ms의 샘플 시간에 따라 촬영되었으며 촬영된 스크린의 크기는 가로로 500mm, 세로로 281mm이며, 화면 양 끝에 도달했을 때 엔코더가 나타내는 각도는 $+-30^{\circ}$이다 ($\theta_{L}= 30^{\circ},\:\theta_{R}= -30^{\circ}$).

Fig. 9와 Fig. 10은 정밀 엔코더의 각도 정보로부터 계산된 레이저 투사점의 궤적($p_{k}^{a}$, 붉은색), 카메라를 통해서 얻은 프레임에서의 레이저 투사점의 궤적($p_{k}^{m}$, 초록색), 과거 프레임에서의 좌표를 이용하여 추정한 레이저 투사점의 궤적($\hat p_{k}$, 파란색)와 과거 프레임에서 레이저 투사점의 좌표와 과거 샘플 시간에서의 속도 추정값을 이용하여 추정한 궤적($\hat p'_{k}$, 자홍색)을 도시하였다. Fig. 9의 그래프에서 보이듯 가로축은 샘플 주기, 세로축은 각 점의 좌표를 나타낸다. 이번 실험에서는 카메라 지연으로 인하여 12주기만큼 (=1200ms) 시지연이 발생하였으며 Fig. 10의 그래프는 이 시지연을 보정한 그래프이다. 두 그래프의 실험 결과 시지연을 보정하기 전에는 $p_{k}^{a}$와 $\hat p_{k|k}$의 오차 norm값과 $p_{k}^{a}$와 $\hat p_{k|k-1}$의 오차 norm값이 모두 로 나타났지만 12주기의 시지연을 보정한 결과 $p_{k}^{a}$와 $\hat p_{k|k}$의 오차 norm값은 , $p_{k}^{a}$와 $\hat p_{k|k-1}$의 오차 norm값은 로 나타났다. 따라서 알고리즘이 추정한 $x$좌표가 정밀 엔코더를 통해 얻은 궤적과 유사하게 진행함을 알 수 있다.

Fig. 11과 Fig. 12는 이번 논문에서 제시한 알고리즘을 통해서 처리된 레이저 포인터의 투사점 영상의 사진이다. 해당 사진에서는 좌표값 추정을 위해 과거 프레임에서 레이저 투사점의 중심 좌표값과 속도 추정값을 사용하였다. 레이저 투사점은 정밀 엔코더에 장착된 레이저 포인터의 투사점이다. 사진에서 검은색 타원은 레이저 포인터의 투사점으로 추정되는 부분을 둘러싸는 타원을 나타내며, 각 투사점에 찍힌 초록색 점은 투사점의 추정된 좌표이며, 붉은색 점은 정밀 엔코더에서 얻은 각도 정보를 토대로 계산된 좌표이다. 화면 좌상단의 실수는 정밀 엔코더에서 얻은 현재 프레임에서의 각도 정보이다. Fig. 13은 그래프에서와 마찬가지로 Fig. 12에서 의 위상만 12 샘플 주기만큼 (=1200ms) 뒤로 이동한 그래프이다. 시뮬레이션 결과 시지연을 고려하였을 때 초록색 점과 붉은색 점의 위치가 높은 정밀도로 일치하는 것을 확인할 수 있다.