2.1 교량 환경 모델링

주변 환경은 격자(Grid) 또는 다면체(Polygon mesh) 형태로 나타낼 수 있다. 일반적으로 라이다를 활용한 위치추정의 경우 Occupancy Grid Map을 사용한다. 일정한 크기의 공간을 셀(cell) 단위로 나누어 특정 물체나 장애물이 존재하는 경우 각 셀을 점유(occupy)로 표현하고 비어있는 경우 비점유(free)로 나타낸다. 이러한 맵 형태는 지형지물과 점군 데이터 간의 매칭 방법에 이점이 있다.

본 연구에서는 매칭 방법이 아닌 물체와 점군 데이터 간 기하관계를 이용하기 때문에 꼭지점(Vertex)과 면(Face)으로 이루어진 다면체 형태로 3D 맵을 구성하였다. 실제 경주에 위치한 철도교량 “월산교”를 참고하여 모델링하고, 추후 항공촬영이나 드론 매핑(Mapping) 등을 이용하여 제작한 3D 모델의 적용도 고려하여 3차원 데이터를 표현하는 국제 표준 형식 중 하나인 STL로 저장하였다. 생성된 3D 맵은 그림 1에 도시하였다. 교량 상부는 왕복 2차선 선로가 통과하는 14m 폭을 가지며, 교량 하부는 지름 5m인 원기둥이 39.975m 간격으로 배치되어 있다.

그림. 1. 교량환경 3D 모델링

Fig. 1. Bridge 3D Model

그림. 2. 복합항법 구조도

Fig. 2. Structure of proposed navigation system

2.2 교량환경 항법 구조 설계

교량 시설물 점검을 위한 드론이 교량 하부에 위치할 경우 상판과 주변 기둥으로 인해 위성의 가시성이 떨어진다. 가시위성 수의 감소는 위치 오차의 증가를 유발하게 되고 항법 성능이 악화된다. 교량 주변에서 드론 임무 수행 시 위성항법이 가용한 지역과 비가용 구역 모두 비행한다. 따라서 GNSS/INS 단일 항법으로는 모든 구역에 대해 항법 성능을 보장할 수 없다. 즉, 교량 환경에 드론을 적용하기 위해서는 위성 음영지역에 대한 항법 해결이 필요하다^(6-8).

그림. 3. 3D 맵과 점군 데이터 사이 기하관계[12]

Fig. 3. Geometry between a point cloud and map

위성 가용 및 비가용 구역이 혼재하는 복합적 환경에서 연속적인 항법 성능을 보장하기 위해서는 각 구역에 따른 적합한 항법 알고리즘의 적용이 필요하다. 본 연구에서는 위성 음영지역에 따른 항법 알고리즘을 별도 구성하여 구역별 항법 알고리즘이 변경되도록 항법 구조를 설계하였다. 충분한 가시위성 수 확보가 가능한 교량 상부 또는 외곽에서는 일반적인 GNSS/INS 결합 항법으로 비행을 하다가, 교량 하부와 같이 위성항법의 비가용 상황 발생 시 위성항법을 제외한 점군 기반 맵 연동 항법을 수행한다. 이러한 비행 시나리오에 맞춰 제안한 복합항법 구조는 그림 2와 같다.

3.1 점군 데이터 관측모델

칼만필터 결합을 위한 GNSS 측정치 모델은 널리 알려진 GNSS/INS 약결합(Loosely Coupled) 방법⁽¹⁴⁾으로 구성하고, 위성 음영지역에서의 항법을 위한 3D 맵과 점군 데이터에 대한 측정치 모델은 이전 연구⁽¹²⁾의 거리센서 모델을 참고하였다.

그림 3은 드론으로부터 측정된 점군 데이터와 주변 맵 과의 기하관계를 도시한 것이며, 이때 하나의 점군 측정치에 대한 3D 맵 과의 관계식은 식(1)과 같다.

$\hat{r}_{i}$는 주변 맵과 드론 사이 추정된 거리값이며, $\vec{o}_{r_{1}}^{T}$는 번째 점군 데이터가 측정된 면의 수직벡터와 꼭지점이다. $\vec{d}_{r_{1}}^{b}$는 Body-frame상 점군 데이터의 방향벡터를, $p^n$는 Navigation-frame상의 드론 위치, $C_{b}^{n}$는 b-frame에서 n-frame으로의 DCM (Directional Cosine Matrix)을 의미한다.

앞선 수식을 선형화하여 구한 관측행렬은 다음과 같다.

위 수식은 임의의 ${i}$번째 점군 데이터만을 표현하고 있다. 주변 환경에 따라 측정되는 점군 수는 변하며 측정치 ${z}$ 및 관측행렬 ${H}$는 점군 수만큼 누적된다. 따라서 가용한 점군 수에 따라 행렬의 크기가 가변적이다. 측정치 잡음 ${R}$ 또한 점군 수에 따라 크기가 달라지며, 하나의 센서에서 측정된 점군 데이터의 잡음은 모두 같다고 볼 수 있다.

3.2 EKF(Extended Kalman Filter) 구성

칼만필터 구성을 위해 15차 상태변수(state)를 다음과 같이 정의하였다.

${p,v,\psi}$는 각각 n-frame에서의 위치, 속도, 자세를 나타내며, $b_{a}$는 가속도 바이어스, $b_{g}$는 각속도 바이어스 항이다. 이때 각 문자열 앞의 $\delta$는 참값과 추정값의 차인 오차를 의미한다.

복합항법에 대한 EKF 최종 수식은 아래와 같다. 아래첨자 GNSS는 위성항법으로부터 얻어진 모델을 의미하며, PC(Point Clouds)는 점군 데이터에 대한 측정치 모델을 의미한다. 각 항법의 상태변수가 동일하게 정의되었기 때문에 측정치 모델이 변경되어도 상태변수와 공분산(Covariance)을 그대로 전파할 수 있다.

그림. 4. 기둥 형태별 점군 측정치 예시

Fig. 4. Example of point clouds data by column type

3.3 점군 특징점 기반 성능 개선

교량 시설물은 원, 타원, 사각형 등 다양한 모양의 기둥을 갖고 있다. 이전 연구^(11-12)에서 맵 연동 복합항법 성능이 맵 상 포함된 드론 주변 장애물의 배치 및 형태에 따라 달라지는 것을 확인했다.

그림 4는 사각형태의 기둥을 갖는 교량환경에서 맵 연동 항법의 성능이 저하될 수 있는 예시를 나타내고 있다. 교량 외부에서는 North, East 방향으로 점군 측정치가 존재하지만, 교량 하부로 진입 시 East 방향의 점군 측정치가 없다. 이로 인해 East 방향으로 위치 공분산이 증가하고 결국 항법이 발산하게 된다. 반면 원기둥은 점군 측정치의 전 방향 분포로 인해 이러한 문제가 발생하지 않는다.

그림. 5. 특징점 추출

Fig. 5. Extract feature points

사각기둥 형태의 교량 환경에서 점군 밀집도로부터 특징점(=End Point)을 추출하여 기존 알고리즘의 취약점을 해결하였다. 측정거리가 멀어지면 점군 분포밀도가 낮아지며, 맵과 드론의 거리가 가까울수록 점군 분포밀도가 높아진다. 즉, 점군 밀도가 높을수록 측정치 신뢰성이 높다고 볼 수 있다. 측정치 거리에 따른 점군 분포를 그림 5에 도시하였다. 밀도가 높은 구간의 끝점을 활용하여 기존 점군 측정치 모델에 누적하고 확장된 모델을 식(7)에 나타내었다. 이때, 항법 성능은 센서의 점군 해상도(Resolution)에 영향을 받게 된다.

4.1 시뮬레이션 환경

이전 연구⁽¹³⁾에서 구성한 Matlab 기반 시뮬레이터를 기반으로 교량 환경에서의 맵 연동 복합항법 시뮬레이션을 수행하였다. 시뮬레이터는 ‘유도-제어-동역학-센서 데이터 생성-항법’에 이르는 전 과정이 포함한다.

센서 데이터 생성부의 경우 IMU, GNSS 외 270° FOV(Field Of View), 2.5° 해상도를 갖는 2D 라이다와 고도 측정을 위한 1축 거리센서(LRF, Laser Range Finder)를 추가하였다. 2D 라이다와 1축 거리센서에서 생성된 데이터는 모두 점군 형태로 점군 기반 맵 연동 항법의 측정치 업데이트에 사용된다. 측정 가능한 최대 점군 수는 수평 109개, 수직 1개이다. 이때, 센서값의 현실성을 고려하여 실제 센서로부터 측정한 데이터를 분석하여 잡음을 삽입하였다. Hexa-Rotor 형태의 드론 동역학 모델과 간단한 PID 제어기를 구성하였다.

3D 맵의 경우 교량 상부가 제거된 교량 하부 기둥만 존재하는 모델을 사용하고, 실제 상판 폭보다 넓은 20m(East 0m 기준 ±10m) 사이를 위성항법 음영지역으로 가정하였다. 항법부의 경우 음영지역에 대한 판단을 별도로 고려하지 않고, 드론의 위치에 따라 GNSS/INS 결합 항법과 점군 기반 맵 연동 항법이 전환된다.

4.2 시뮬레이션 결과

먼저 사각기둥 교량에서의 특징점 적용 유무에 따른 항법 성능을 검증하였다. 초기 GNSS/INS 결합 항법으로 비행 후 음영지역 진입 시 점군 기반 맵 연동 항법으로 전환된다. 이어서 항법 발산 정도를 보기 위해 (0, 0) 지점에서 30초간 호버링 후 교량을 통과하였다. 이와 같은 시나리오를 그림 6에 도시하였다.

점군 특징점 적용에 따른 위치 오차와 공분산을 그림 7, 8에 도시하였다. 파란색 구간은 GNSS/INS 결합 항법 구간이며, 빨간색 구간은 점군 기반 맵 연동 항법 구간으로, 본 구간에 대한 위치 공분산을 오른쪽에 함께 나타내었다.

기존 점군 측정치만으로 항법을 수행했을 때, 그림 8과 같이 호버링 구간에서 점군 측정치가 존재하지 않는 East 방향으로 공분산과 함께 위치 오차가 증가하여 항법이 발산한다. 반면 특징점을 확장한 경우 East 방향으로 측정치가 존재하지 않음에도 불구하고 그림 9와 같이 East 방향에 대한 공분산이 어느정도 제한되면서 위치 오차가 수렴하였다.

그림. 6. 비행 시나리오

Fig. 6. Flight scenario

그림. 7. 특징점을 적용하지 않은 위치 오차와 공분산 결과

Fig. 7. Error of position and Covariance (wo feature)

그림. 8. 특징점을 적용한 위치 오차와 공분산 결과

Fig. 8. Error of position and Covariance (with feature)

그림. 9. 교량 하부기둥 형태별

Fig. 9. Type of bridge column

그림. 10. 항법 결과 (위치)

Fig. 10. Position estimation according to column’s shape

4.3 기둥 형태별

다음은 교량 하부 기둥의 형태별로 항법 성능을 분석하였다. 원, 타원, 정사각형, 직사각형은 실제 교량에서 많이 볼 수 있는 대표적 기둥 형태로 각각의 3D 맵 정보를 그림 9에 도시하였다. 원과 타원의 경우 곡면으로 인해 사각형보다 더 많은 면과 꼭지점을 가진다.

교량 하부기둥 형태별 복합항법 결과를 그림 10에 도시하였다. 녹색선은 시뮬레이션상 True 궤적이며, 파란선은 GNSS/INS 결합 항법 구간, 빨간선은 특징점을 적용하지 않은 점군 기반 맵 연동 항법 구간(East ±10m)을 나타낸다.

사각기둥의 경우 호버링 없이 5초 내외로 짧게 통과하기 때문에 앞서 언급한 점군 기반 맵 연동 항법이 발산없이 수렴하는 것을 확인할 수 있다. 그림 10에 대한 각 구간별 위치해의 평균 제곱근 오차(RMSE)는 표 2에 정리하였다. 동일 형태의 기둥에서 GNSS와 점군 기반 항법은 2D 3.6cm, 3D 2.2cm 정도의 성능 차이를 보이며, 기둥 형태별로는 GNSS의 경우 2D 1.8cm, 3D 0.8cm, 점군 기반 항법의 경우 2D 3.3cm, 3D 2.4cm 정도의 성능 차이를 보인다.

그림. 11. 원기둥 다각형화

Fig. 11. Polygonlize about bridge column

그림. 12. 항법 결과 (위치)

Fig. 12. Position estimation according to column’s polygon

4.4 원기둥 단순화

점군 기반 맵 연동 항법의 경우 점군 데이터와 주변 지형지물과의 기하관계 연산에 (맵의 면 개수)×(가용한 점군 수) 만큼의 계산이 필요하다. 연산량 감소를 위해 원기둥의 면 개수를 줄여 항법 성능을 분석하였다. 그림 11은 원기둥을 12각형과 6각형 기둥으로 변환했을 때 면수와 꼭지점 수를 나타낸다. 이를 반영한 항법 결과를 그림 12에 도시하고, 점군 기반 맵 연동 항법 구간에 대한 RMSE 결과와 임베디드 시스템(NVIDIA Jetson TX2)에서의 점군 측정치를 업데이트하는데 소요되는 시간을 표 3에 정리하였다. 원기둥을 다각기둥으로 단순화 시켰음에도 불구하고 위치 오차의 큰 변화 없이 연산시간은 감소하였다. 따라서 항법 성능은 일정 수준 유지하면서 실시간성 확보를 위해 3D 맵의 표현 정확도(해상도) 감소가 가능하다고 볼 수 있다.