2.1 다중 센서기반 상태 추정기

엔코더와 카메라로부터 측정된 위치 값으로부터 로봇의 위치 변화를 추정하기 위하여 퍼지 모델 기반의 다중 주기를 가지는 상태 추정기가 이용된다. 상태 추정기는 이동 로봇의 수학적 모델을 기반으로 현재 측정된 값으로부터 실제 로봇의 위치를 추정한다. 본 연구에서는 이동 로봇 추적제어 모델이 이용된다^[10]. T-S 퍼지 모델을 이용하여 비선형 이동 로봇 추적 제어 시스템을 모델링하였다. 상태 추정기의 이득 값을 설계하기 위해 다중 주기 샘플링을 고려한 리아프노프 함수 기반의 설계 방법이 이용되었다^[11]. 그림. 2에서와 같이 카메라와 엔코더로부터 측정된 센서 값들은 상태 추정기에 의해 하나의 신호로 계산된다.

2.2 외연적 모델 예측 제어기 설계

모델 예측 제어기는 시스템의 입력의 제한을 조건을 고려하여 최적의 성능을 보장해주는 제어기이다. 그러나 실시간으로 복잡한 최적화 문제를 풀어서 입력을 계산해야 하는 단점이 있다. 따라서 충분한 컴퓨팅 자원이 지원되지 않는 환경에서는 입력 계산을 위해 많은 시간이 소비된다는 단점이 있다. 이러한 문제를 해결하기 위하여 설계된 외연적 모델 예측 제어기는 오프라인에서 최적의 입력 값을 모두 계산한 후, 사용하기 때문에 계산 지연 문제를 해결할 수 있다.외연적 모델 예측 기법에서는 오프라인에서 상태 변수들의 영역에 따라 플랜트를 제어함에 있어서 필요한 최적의 입력 값을 모두 계산한다. 온라인에서는 계산된 입력 값들은 함수 형태로 저장이 되어 있어 플랜트에서 상태 변수를 함수에 적용하면 변수들의 영역에 맞는 최적의 입력 값을 반환하여 준다. 외연적 모델 예측 제어는 현재 순간의 상태 변수를 이용하여 입력 값을 계산하는 것이 아니라, 현재 상태 $x_{0}$가 가질 수 있는 집합 $X$ 에 대하여 $u=ax+b$의 아핀 형태로 최적 입력 값을 계산하는 것이다. 외연적 모델 예측 제어기를 설계하기 위해서 M. Kvasnica and P. Grieder and M. Baoti에 의해 제공된 Multi-Parametric Toolbox (MPT)를 이용하였다^[8]. MPT는 기본적인 일차 이차 계획법을 해결하는 함수들을 제공해줄 뿐만 아니라, 외연적 모델 예측 제어기 설계 내장 함수와 다른 개발 언어로 변환시켜주는 내장 함수들을 제공하고 있다.

표 1은 MPT를 이용하여 매트랩에서 외연적 모델 예측 제어기를 설계하여 Python 언어로 변환시켜주는 단계를 설명하였다. 1 단계에서는 이동 로봇 모델의 이산적 상태 변수 방정식의 A, B 행렬을 설정해주며, 2 단계에서는 상태변수들과 입력의 크기 제한을 고려한다. 3 단계에서는 예측 제어기의 입력 미래 예측 구간을 설정한다. 4 단계에서는 모델 예측 제어기를 내장 함수로 먼저 생성 한 다음 ctrl.toExplicit()를 이용하여 외연적 모델 예측 제어기를 생성한다. explicit_ctrl.partition.plot()를 이용하면 상태 변수들의 영역에 따른 최적의 입력 값을 그래프로 나타낸다. 그림. 3은 3차 상태 변수 방정식의 이동 로봇 모델을 이용하여 입력 제한 조건을 고려하여 구한 최적의 입력 값 그래프이다. 각 영역에 따른 최적의 입력 값은 다른 색으로 표시되어 있으며, 각 영역 별로 입력 값을 구하기 위해서는 아래의 식에서

$\begin{bmatrix}x_{1} & 1\\ x_{2} & 1\end{bmatrix}\begin{bmatrix}a \\ b\end{bmatrix}=\begin{bmatrix}u_{1}\\ u_{2}\end{bmatrix}$

역행렬을 이용하여 a와 b의 변수들을 찾아야 한다. 이를 내장 함수 형태로 구현 한 것이 ctrl.evaluate(x0) 함수이다. 상태 변수의 현재 값만 설정해주면 최적의 입력 값을 자동 계산하여 결과 값으로 나타낸다. 마지막 5 단계에서는 MATLAB에서 생성된 제어기를 Python 언어로 변환 시켜주는 과정인 opj.toPython ('filename','primal','obj')의 내장 함수를 이용하였다.

2.3 카메라 영상 신호 처리

제안된 자율 주행 시스템에서 영상 데이터는 로봇의 위치 변화 측정과 표지판 검출 2가지 기능을 위해 사용된다. 영상을 통한 로봇의 위치 변화 측정을 위한 방법으로 Zed 카메라에 구현되어진 비주얼 오도메트리 기법을 사용하였다^[9]. 비주얼 오도메트리는 이미지들 간의 특징점 변화를 계산하여 카메라의 이동량을 측정하는 기술이다. 사용된 비주얼 오도메트리의 알고리즘은 특징점 추출, 아웃라이어 제거, 특징점 매칭, 카메라 파라미터를 이용한 실제 이동거리 계산으로 구성되어 있다. 표지판 검출 알고리즘으로 opencv의 TM_SQDIFF_NORMED 방법을 기반으로 다중 템플릿 매칭 방법이 제안되었다. 템플릿 데이터 획득 과정에서는 환경의 변화에도 강인한 표지판 검출 성능을 보장하기 위해 다양한 환경에서 획득한 표지판 영상에서 특징이 되는 부분들로 템플릿이 만들어진다. 검출 과정에서는 현재 획득한 이미지와 템플릿 간의 차이도가 계산된다. 필터링 과정에서는 템플릿과 들어온 이미지의 차이도 값이 일정 값 이하이면 검출 후보 영역으로 지정한다. 각 템플릿에서 지정된 후보 영역들 간의 거리 차이가 미리 정해진 임계값 보다 작은 경우에는 표지판이 검출되었다고 판단하고 임계값 보다 큰 경우에는 표지판이 없는 경우로 판단한다. 제안된 방법은 작은 템플릿을 이용하여 계산 시간을 줄일 수 있고, 추가적인 정보와 목표 물체의 특징을 나타내는 템플릿을 사용함으로 적은 양의 데이터를 통해 기존의 템플릿 매칭 방법보다 검출 성능을 높일 수 있다.

2.4 라이다 신호 처리

이동로봇의 주변의 장애물을 검출하고 경로를 생성하기 위하여 라이더 센서 (Velodyne LiDAR)가 이용된다. 16 채널의 데이터를 2차원의 장애물 위치 정보 데이터로 변환하기 위하여 그림. 5와 같은 과정을 거친다.

첫 번째 과정으로 라이더로부터 각 채널에 대하여 주변의 물체와의 거리정보를 직교평면으로 표현된 데이터를 획득한다. 그 다음 각 필요한 채널만의 데이터들을 선택하고 각 채널의 동일한 위치에 있는 값들을 누적하여 하나의 2차원 평면 데이터로 변환한다. 이때 일정 값 이하의 값들은 노이즈로 간주하여 제거한다. 물체를 검출하기 위한 과정으로 레이블링 과정을 거쳐 일정 덩어리 이하의 값들을 제거한다. 로봇이 이동해야할 위치를 정하기 위하여 장애물간의 중점을 계산하여 목표 지점을 지정한다.

3.1 로봇 운영체제 기반의 임베디드 시스템 구현

이동 로봇과 카메라 및 라이다를 제어하고 신호 처리 및 제어 알고리즘을 구현하고 관리하기 위하여 로봇 운영 체제 기반의 시스템을 구현하였다. 로봇 운영체제(ROS)는 로봇 응용 프로그램을 개발할 때 필요한 하드웨어 추상화, 하위 디바이스 제어, 일반적으로 사용되는 기능의 구현, 프로세스 간의 메시지 패싱, 패키지 관리, 개발환경에 필요한 라이브러리와 다양한 개발 및 디버깅 도구를 제공한다. 각 하드웨어 요소들과 기능들은 노드 단위로 구현되고 토픽을 이용하여 데이터를 주고받는다. 제안된 시스템은 노드들을 관리하는 노드, 로봇 모터 및 엔코더 제어 노드, 라이다 센서를 관리하는 라이다 노드, 영상 데이터를 획득하고 비주얼 오도메트리를 계산하는 카메라 노드, 표지판 검출 노드, 상태 추정기 및 제어 입력 계산 노드, 라이다 데이터 처리 노드로 구성되어 있다. 그림. 6은 임베디드 보드 (NVIDIA Jetson TX2)에 구현된 노드들의 연결 구성과 토픽을 통해 송수신되는 데이터들을 나타낸다.

3.2 자율 이동 로봇 추적 제어 시스템

다중 센서를 이용하는 상태 추정기, 외연적 모델 예측 기기반의 추적 제어 시스템을 구현하기 위해 임베디드 보드 (NVIDIA Jetson TX2)에 알고리즘이 구현되었다. 그림. 7은 자율 주행 시스템의 구조를 나타낸다. 주행이 시작되면 로봇은 라이더로부터 데이터를 받아 로봇이 주행할 경로를 계획한다. 라이더 데이터처리 후 생성된 목표지점의 좌표가 주어지면 모바일 로봇의 키네마틱 모델을 기반으로 로봇의 궤적을 계산한다. 궤적 생성을 위한 로봇의 입력은 다음과 같이 주어진다.

$v=K_{1}\rho\cos\Phi$

$w = -K_{1}\sin\Phi\cos\Phi -K_{2}\Phi$

$rho=\sqrt{(x_{t}-x_{i})^{2}+(y_{t}-y_{i})^{2}}$

$\Phi =\theta_{i}-arc(\dfrac{y_{t}-y_{i}}{x_{t}-x_{i}})$

$K_{1} > 0, K_{2} > 0$

$x_{t}$, $x_{i}$는 로봇의 목표 지점의 $x$좌표와 로봇의 현재 위치를 나타내고 $y_{t}$, $y_{i}$는 로봇의 목표 지점의 $y$좌표와 로봇의 현재 위치를 나타낸다. $\theta_{i}$는 로봇이 바라보는 각도를 나타낸다. 선속도 $v$와 각속도 $w$를 다음의 모바일 로봇의 키네마틱 모델에 입력으로 주어 로봇이 이동해야할 경로와 속도를 계산한다.

$\dot x =v\cos\theta ,\:\dot y =v\sin\theta ,\:\dot\theta =w.$

경로는 표지판이 있는 위치까지 장애물을 피해가며 직진할 수 있는 경로가 주어진다. 표지판이 있는 경우 표지판에 제시하는 방향으로 회전한다. 계획된 경로에는 로봇이 이동해야할 위치와 속도 값이 계산되어져있다. 경로가 계획되면 로봇의 현재위치 값이 카메라와 엔코더로부터 측정되고 측정된 값들은 상태 추정기의 입력이 되어 로봇의 현재 위치를 추정한다. 외연적 모델 예측제어기는 계획된 경로와 로봇의 현재 위치 값을 이용하여 로봇의 제어 입력을 계산한다.

4.1 가상 환경 실험

제안된 시스템의 성능을 평가하기 위해서 가제보 가상환경에서 제어 시스템의 성능을 평가하였다. 센서의 측정 노이즈가 있는 상황을 고려하기 위하여 엔코더의 경우 위치 측정시 -0.05m에서 0.05m 사이의 측정 오차를 누적되도록 모델링되었고 카메라의 경우는 위치 측정시 –0.005m에서 0.005m 사이 측정 오차가 누적된다. 엔코더는 0.05s의 샘플링 주기를 가지고 카메라는 0.5s의 샘플링 주기를 가진다. 그림. 8은 카메라와 엔코더로부터 측정된 로봇의 위치의 측정 오차($\sqrt{(실제위치-측정위치)^{2}}$)와 상태 추정기로부터 추정된 로봇의 위치 추정 오차($\sqrt{(실제위치-추정위치)^{2}}$)를 보여준다. 그림. 9는 카메라와 엔코더 각각을 사용한 경우와 카메라와 엔코더를 함께 사용한 경우의 로봇 추적제어 오차($\sqrt{(목표위치-현재위치)^{2}}$)를 보여준다. 엔코더만을 사용한 경우는 측정 오차가 큰 이유로 경로 추적 오차가 발산한다. 카메라만을 사용한 경우에는 느린 샘플링 주기 때문에 주어진 궤적에 도달하는 시간이 오래 걸린다. 카메라와 엔코더 데이터를 동시에 이용하는 경우에는 응답속도가 빨라지고 노이즈가 줄어드는 효과가 있는 것을 볼 수 있다.

4.2 실제 환경 실험

다중 주기 샘플 데이터 상태 추정기와 실시간 모델 예측제어기의 성능을 평가하기 위하여 무인 지상 주행 로봇에 적용하여 실험하였다. 엔코더의 샘플링 주기는 0.05초 카메라의 샘플링 주기는 0.5초로 주어진다. 그림. 10은 가로, 세로 1.8m 크기의 정사각형의 궤적을 따라 이동하는 경로 추적 제어 실험 결과를 보여준다.

표지판 검출 성능 평가를 위해 2가지 표지판에 대해 각각 20개의 템플릿 구성하였고, 총 200개의 테스트 데이터에 대해서 실험을 하였다. 표 2에서 단일 템플릿과 다중 템플릿은 기존의 템플릿 매칭 방법을 나타낸다. 단일 템플릿 매칭 방법에서는 150$\times$150 이미지 한 장이 템플릿으로 사용되었고 다중 템플릿 매칭 방법에서는 150$\times$150 이미지 40장이 템플릿으로 이용되었다. 제안된 방법에서는 다중 템플릿 매칭에서 사용되어진 템플릿에서 특징이 되는 부분만 선택하여 템플릿으로 이용하였다(크기: 50$\times$50). 제안된 방법은 기존의 방법들보다 높은 성능을 보였다.

그림. 11은 라이더와 카메라 기반으로 경로를 생성하여 장애물을 피해가며 주행하는 임무를 위한 실험 환경을 보여준다. 주어진 이동 로봇의 임무는 표지판이 나올 때까지 장애물과 충돌하지 않고 이동해야하며 표지판이 나오는 경우 표지판이 안내하는 방향으로 회전을 해야 한다. 그림. 11에서 보여주는 바와 같이 제안된 자율 이동로봇 추적 제어 시스템을 통해 로봇이 성공적으로 임무를 수행 한다는 것을 확인할 수 있다.

표 3은 모바일 로봇 추적제어의 평균 오차를 보여준다. 로봇의 위치 추적 오차는 다음과 같이 계산된다.

$평균오차=\dfrac{\sum\sqrt{(현재 목표위치 - 현재로봇위치)^{2}}}{샘플 수}$

데이터는 40초 동안 1초마다 측정되었으며 (샘플 수: 40)현재 목표 위치와 현재 로봇 위치는 각 샘플마다 측정된 로봇의 위치와 목표 위치를 나타낸다. 실험에서 로봇의 이동 경로는 1.5m*1.5m의 정사각형으로 주어진다. 엔코더의 샘플링 주기는 0.05초 카메라의 샘플링 주기는 0.5초로 주어진다. 가상환경 실험의 경우 측정 노이즈를 고려해주기 위해 4.1 가상환경 실험과 동일한 측정 노이즈 조건을 가정하였다.