Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Main Menu

Journal Search

[

Research article

]

The Transactions of the Korean Institute of Electrical Engineers

KIEE Vol. 69, No. 2, p.337-343

ISSN (print) :

1975-8359

ISSN (online) :

2287-4364

Received : 11 November 2019Accepted : 8 January 2020

DOI :

http://doi.org/10.5370/KIEE.2020.69.2.337

Local Navigation Using Weight Learning on Image Features

이미지 특징점 가중치 학습을 통한 내비게이션

최종하 (Jong-Ha Choi) ¹ 김대은 (DaeEun Kim) ^†iD

(School of Electrical and Electronic Engineering, Yonsei University, Korea.)

^†Corresponding Author : School of Electrical and Electronic Engineering, Yonsei University, Korea.

E-mail : daeeun@yonsei.ac.kr

License :

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.(www.kiee.or.kr).

Abstract

Visual navigation is a challenging subject in robotics, which is involved estimating the target position and direction at an arbitrary location. In this study, we follow the snapshot model, a bio-inspired model to determine the target direction with the snapshots taken at the current location and the target location. From the snapshots, we collect landmarks with three different features, the corner landmarks with SURF (Speeded Up Robust Features), the vertical edge landmarks with HOG (Histogram of Gradient) and the Haar-like feature landmarks. Those methods can play significant roles in finding appropriate visual features depending on the environment. A linear combination of those landmarks, that is, weighted feature landmarks are more suitable to find homing vector than landmarks found with one method alone. We propose that the gradient-descent method should be applied to the weighted feature landmarks to improve the homing performance. The homing results with ALV (Average Landmark Vector) model are demonstrated to show the effectiveness of the method.

Key words

Local Visual Navigation, HaarLike Features, HOG, SURF, Feature Matching, Snapshot Model, ALV

1. 서 론

비교적 단순한 메커니즘을 지닌 동물이나 곤충들도, 보유하고 있는 다양한 감각기관을 활용하여, 거주지나 먹이가 있는 장소 등의 특정장소로 이동할 수 있는 능력이 있음은 다양한 연구를 통해 확인되었다. 이들의 이러한 능력은 시각적 신호뿐만이 아닌 때때로 후각이나 청각을 이용하여 원하는 위치에 대한 정보를 기억하는 방식을 사용하는데 ^[1-^4], 이들과 달리 사막 개미를 비롯한 일부 동물들은 먹이를 찾은 후에 돌아올 때 최단 경로를 이용하여 그들의 둥지로 복귀하는데 이를 위해 경로 누적 계산 방식(Path Integration)을 사용한다고 알려져 있다 ^[5-^7]. 경로 누적 계산방식은 이동하는 경로의 방향과 거리를 내부적으로 합산하여 출발위치와의 상대적 위치를 계산(추정)하는 방식이다.

이러한 방식(경로 누적 계산)은 내비게이션 측면에서 두 가지 문제점이 있는데 이동 간에 절대좌표계에서 인지가능한 방위정보가 있어야 하며, 이동이 지속될수록 발생하는 오차값이 축적된다는 점이다. 본 문제점을 해결하기 위해 경로 누적 계산 방식을 활용하는 동물(곤충)들은 시각 랜드마크 등의 외부정보를 이용하는 것으로 알려져 있다.

일부 벌은 먹이를 찾거나 집으로 돌아가는데 태양빛의 편광패턴을 참조하여 이동한다 ^[8]. 두더지는 땅밑에서도 지구자기장 정보를 경로 누적 계산 방식의 정보와 조합하여 시각 랜드마크를 특정하기 어려운 환경에서도 길을 잃지 않고 원하는 위치나 집으로 이동한다 ^[9]. 일부 유럽개미(Wood Ants)는 시각 랜드마크를 집으로 이동하는데 보조적으로 활용하며 ^[10], 시각정보와 태양빛의 편광정보를 조합한 홈 네비게이션 시스템을 갖고 있는 개체도 존재한다 ^[11,^12].

많은 동물은 종의 생존을 위해 환경에 따라 가용한 능력을 갖추고 있으며, 비교적 단순한 감각기관 및 인지체계만으로도 생존을 위해 최적화 되어있음을 보여준다^[1,^3,^4,^6,^7,^13,^14]. 생존을 위한 진화와 능력은 인간에게도 적용 가능하지만 인간의 복잡한 공간인지 및 내비게이션 알고리즘을 이해하기는 쉽지 않다.

인간의 복잡한 인지 및 사고 알고리즘을 인공지능으로 구현하기에는 한계가 있기 때문에, 동물들의 행동패턴을 모방하는 다양한 방식의 내비게이션 알고리즘에 대해 많은 연구가 진행되고 있다. 넓은 구역에서 내비게이션을 수행하는 경우에는 위에서 언급한 문제점으로 인해 다양한 센서를 통합하여 사용하는 방식일 때, 만족할 만한 성능을 보일 수 있지만, 국지적으는 시각센서만으로도 충분히 원하는 위치로 돌아가기 위한 방향 (홈벡터) 산출이 가능하다.

이는 비교적 단순한 원리로도 구현이 가능한데, 대표적인 방식이 스냅샷 모델(Snapshot Model)이다. 이 모델은 주로 꿀벌의 방향추정 방식을 모방한 방식으로 두 지점(처음과 끝)에서 촬영한 이미지만을 이용하여 국지영역에서의 상대적인 위치를 추정하는 방식이다. 스냅샷 모델을 실제로 적용하는 방식은 매우 다양하지만 대표적으로 시각적 랜드마크를 이용하여 위치를 추정하는 ALV (Average Landmark Vector) 방식을 들 수 있다 ^[15]. 위 방식을 비롯한 스냅샷 모델은 많은 경우 방위정보를 갖고 있어야 한다는 전제가 있다. 동물이나 곤충은 주로 태양 빛의 편광정보나 자기장 정보를 이용한다. 스냅샷 모델은 시각센서 이외에도 거리 센서 이미지에도 확장 가능하며, 해당 모델은 직관적이고 계산이 단순하여 국지 홈 내비게이션에 다양하게 활용되어 왔다 ^[16].

시각 랜드마크를 이용한 내비게이션은 ALV 방식 외에도 COMALV (CenterOfMass ALV), ACV (Average Correctional Vector), DELV (Distance Estimated Landmark Vector) 등 다양하며 ^[17-^19], 랜드마크의 위치정보가 아닌 분포를 이용한 홈 벡터를 추정하는 방식 또한 가능함이 제안되어 왔다 ^[20]. 또한 랜드마크 벡터에 대한 학습 방법 또는 내비게이션을 위한 특징 추출에 대한 연구가 진행되어 왔다 ^[21,^22].

본 연구에서는 스냅샷 모델 중 ALV 방법을 사용하여, 두 위치간의 상대적 방향을 찾아내는 방법에 대해 기술하였다. 이를 위해 사전에 전 방향 촬영이 가능한 옴니 카메라로 획득한 스냅샷을 파노라마 형태로 변경하였다. 두 파노라마 이미지에서 다양한 형태의 랜드마크를 검출하여, 두 위치에서의 랜드마크들의 상대적 위치변화를 바탕으로 상대적인 위치변화를 계산하였다. 이때 랜드마크를 검출하기 위해 SURF (Speeded Up Robust Features) 등 코너 특징점 추출 알고리즘 ^[23]과, 영상에 Mask를 적용하여 각 마스크의 형태에 따른 다양한 특징 값(Feature Value)을 찾아내는 HaarLike Features ^[24] 및 수직엣지 추출 및 매칭을 위한 Hough 변환 ^[25], HOG (Histogram Of Gradient) 알고리즘 ^[26]을 사용하였다. 추가적으로 언급한 3가지 방식의 성능을 향상시키기 위해 정확한 랜드마크 선정 알고리즘을 제안하였으며, 결과를 상호 비교하여 적용 가능성을 확인하였다. 그리고 이러한 방식으로 구한 결과를 향상시키기 위해 위에서 언급한 다양한 방법을 조합하여 홈벡터를 계산하는 방법에 대해 기술하였다.

언급한 방식을 통해 구한 결과들에서 각 환경에서 성능을 평가하고, 그 결과를 바탕으로 각 방법에 대해 가중치를 부여하여 이를 바탕으로 위에 열거한 방식을 선별적으로 활용한다. 각 방법의 성능을 평가하고 가중치를 계산하기 위한 방법으로, 일부위치에서 구한 각 결과를 실제 위치와 비교하여, 각각의 방식에 대한 가중치를 사전에 경사하강법 (Gradient Descent Method)을 사용하여 최적화하였다. 이렇게 계산한 가중치를 사용하여 구한 홈 벡터를 전체위치에서 적용하였을때의 결과를 확인하고, 기존의 방식의 결과와 비교하였다. 또한 특정위치에서 학습한 결과가 이와 유사한 다른 환경에서도 잘 적용되는지에 대해 실험을 통해 확인하였다.

2. 본 론

2.1 스냅샷 모델(Snapshot Model)

스냅샷 모델은 두 지점의 스냅샷 이미지를 통해 상대적 위치를 계산하는 방식이다 ^[15]. 본 연구에서는 스냅샷 모델 중 현재(Current) 지점과 목표(Home)지점에서 촬영된 스냅샷에서 관측이 가능한 랜드마크의 평균 합 벡터를 이용하여 홈벡터를 계산하는 방법 (ALV Method)을 사용하였다.

2.1.1 ALV(Average Landmark Vector)

그림. 1. ALV 방법 : 두 위치에서 바라본 랜드마크들의 평균 방향벡터로 홈 벡터 계산

Fig. 1. ALV Method : Homing vector using landmark vectors at two locations

ALV(Average Landmark Vector) 방법은 스냅샷에서의 공통된 랜드마크의 위치 평균벡터의 차이를 통해 두 위치의 상대적 방향을 추정하는 알고리즘이다.

(1)

$$\overline{H}=\overline{ALV_{cur}}-\overline{ALV_{tar}}=\dfrac{1}{N}\sum_{i=1}^{n}\overline{lan_{i}}^{cur}-\dfrac{1}{N}\sum_{i=1}^{n}\overline{lan_{i}}^{tar}$$

사용된 cur 표시는 현재 (current) 위치에서의 랜드마크와 평균 벡터, tar 표시는 목표 (target) 위치에서의 랜드마크와 평균 벡터를 나타낸다. 그림 1과 식 (1)은 현재(current) 지점과 목표(target) 지점에서의 동일한 랜드마크의 평균벡터를 통해 홈 벡터를 추정해내는 과정을 보여주고 있다. 임의의 한 지점(current)에서 원래의 위치(target)으로 향하는 방향벡터는 두 지점에서 바라본 랜드마크들의 방향벡터들의 평균 합 벡터의 차이로 구할 수 있다. 이러한 과정에서 중요한 것은 두 위치에서 홈벡터를 계산함에 있어서 동일한 랜드마크를 사용하여야 한다는 점과 방위각(Compass)정보를 갖고 있어서 어떤 위치에서도 같은 방향을 지향함을 전제로 한다.

2.1.2 랜드마크 검출

스냅샷에서 랜드마크 추출은 영상의 수직 엣지(Vertical Edge)와 코너 특징점을 활용하여 사용이 가능하다. 해당 기존 연구의 기술 방법 ^[22,^25]에서는 Hough Transform, HOG 등의 알고리즘을 이용해서 수직 엣지를 검출하여 랜드마크로 사용하는 방식 (방법1)과 SIFT를 통해 추출한 코너특징점을 랜드마크로 사용하는 방식 (방법2)으로 ALV 벡터를 계산하였다. 위와 같은 방법은 특정 형태의 랜드마크를 사용하는 방식으로 충분한 수의 랜드마크 검출이 가능한 환경에서는 충분히 활용가능하다. 또한 이러한 방식은 위치가 변화하더라도 각각의 특징점 간의 유사성을 통해 매칭이 가능하다.

2.1.3 수직엣지 랜드마크 방식 (방법 1)

일반적인 실내 환경에서 활용이 용이한 랜드마크로 수직엣지(Vertical Edge)를 생각해 볼 수 있다. 수직엣지는 옴니 이미지에서 파노라마 이미지로의 변환에서 발생하는 왜곡(Warping)에 비교적 강인한 특성을 가지고 단일한 위치(방위각)를 가지므로 랜드마크 사용으로 적합하다. 이미지로부터 수직엣지(Vertical Edge)를 찾기 위해서 영상처리 기법 중 허프변환(Hough Transform)을 사용하였다. 허프변환은 이진 이미지(Binary Image)를 기준점으로부터의 거리와 각도로 이루어진 허프평면(Hough Plane)으로 변환하여 원하는 각도에서 임계점 이상의 값을 가진 엣지(Edge)을 검출해준다. 그림 2는 이미지에서 허프변환으로 검출한 수직엣지를 보여준다. 영상에서 좌우의 밝기 변화가 큰 엣지를 검출해 주며, 엣지의 길이는 조정이 가능하다.

그림. 2. 허프변환을 통한 수직엣지 검출

Fig. 2. Vertical edge by Hough transform

그러나 검출된 수직선들은 매칭을 위한 고유값이 없는 상태이기 때문에 매칭을 위해 수직선을 중심으로 일정구역에 HOG(Histogram Of Gradient) 값을 계산하였다. 허프변환으로 검출된 랜드마크 후보들은 수직선 인근의 HOG의 결과값을 비교하여 매칭하며 차이가 임계값 이하인 매칭에 대해서는 랜드마크로 인정하며 ALV 알고리즘에 따라 홈벡터를 계산하는데 사용한다 (그림 3).

그림. 3. 수직엣지 랜드마크 방식

Fig. 3. Landmark Using vertical edge method

2.1.4 코너 특징점 랜드마크 방식 (방법 2)

SIFT (Scale-Invariant Feature Transform), SURF (Speeded Up Robust Features) 등은 모두 영상의 코너 특징점 검출을 위해 사용하는 대표적인 알고리즘이다 ^[23,^27]. 코너 특징점을 이용하는 방식은 두 지점의 스냅샷에서 특징점을 검출한 후 검출된 특징점들을 랜드마크로 사용하여 랜드마크 벡터들의 합 벡터를 이용하여 홈벡터를 구하는 방식이다. 그러나 특징점들의 Feature Value로 표현되는 유사도에 따라 매칭하는 방식은 그림 4와 같이 다수의 부정확한 매칭이 발생할 수 있다.

그림. 4. SURF 알고리즘을 통한 특징점 매칭

Fig. 4. Feature matching by SURF

이전의 연구 ^[22]에서는 이러한 문제점을 해결하기 위해 가장 유사도가 높은 특징점 매칭의 일부만을 활용하여 ALV 벡터를 계산하는 한편, 유사도에 따라 가중치(Weight)를 부여하여 벡터 계산에 기여도를 차등 적용하는 방식을 사용하였다. 이러한 방식에도 불구하고 소수의 부정확한 매칭으로도 시스템에 높은 오차를 발생시킴을 확인할 수 있었다. 본 연구에서는 위 방식을 보완하기 위해서 가능한 많은 랜드마크 후보 매칭을 추출한 후, 신뢰성이 낮은 후보들은 사용하지 않는 방식을 사용하였다.

신뢰성이 낮은 랜드마크를 찾기 위해서 두 지점간의 랜드마크의 위치의 차이가 매우 심하거나 90°이상), 특징점 값의 차이가 임계값보다 큰 매칭 후보들은 우선적으로 제거하는 방식을 사용하였다. 이는 외곽에 존재하는 랜드마크는 촬영위치가 90도 이상 변화할 수 없다는 사실을 근거로 하고 있다. 매칭선정이 완료되면 이들을 대상으로 ALV 벡터를 계산하게 되며 정확한 ALV 벡터를 계산할수 있을 것으로 보인다 (그림 5).

그림. 5. 코너 특징점 랜드마크 방식

Fig. 5. Landmark using corner method

이러한 매칭 선정방식은 수직엣지를 활용한 방식(방법 1)에서도 활용이 가능하며 다른 특징점 추출 알고리즘에서도 적용이 가능하다.

2.1.5 밝기(Brightness) 사용 방식 (방법 3)

HaarLikeFeature는 물체인식에 많이 사용되는 영상처리 알고리즘이다 ^[24]. 다양한 형태의 Haar-like 마스크를 통해 대상을 인식하는 방식을 이용하며, 적은 계산량으로 좋은 성능을 보여주기 때문에 국지 내비게이션 분야에서도 다양한 방식으로 활용되고 있다.

이와 같은 방법을 통해 연구된 HFLV (HaarlikeFeature Landmark Vector)는 두 개의 파노라마 이미지의 같은 위치에 Haarlike Feature Mask를 배치시키고 두 이미지의 유사도를 측정하고 신호의 차이만큼 방향벡터를 생성하여 현재위치에서 목표지점의 방향을 추측하는 방식이다 ^[28].

이번 연구에서는 이전의 다양한 종류의 마스크를 활용하여 ALV 벡터를 계산하는 방식과 달리 오직 해당 구역의 밝기만을 사용하여 랜드마크의 특징값 변화량을 확인한다. 이를 위해 가장 단순한 마스크 (마스크 내의 해당 픽셀값의 합)를 사용하며, 균등한 분포로 마스크를 적용하여, 현재 위치와 홈 (목적) 위치의 두 위치에서의 스냅샷에 대하여 같은 마스크 (랜드마크 대상)를 사용하고, 각 마스크 값의 차이를 식 (2)와 같은 스코어로 정의하였다.

(2)

$$Score_{ALV_{i}}=Score_{cur_{i}}-Score_{tar_{i}}$$

이렇게 계산된 각각의 스코어를 이용하여 홈 벡터를 식 (3), (4)를 통해 계산한다.

(3)

$$\overline{ALV_{x}}=\sum_{i=1}^{n}Score_{ALV_{i}}\times\cos\theta$$

(4)

$$\overline{ALV_{y}}=\sum_{i=1}^{n}Score_{ALV_{i}}\times\sin\theta$$

이 방식은 별도의 매칭작업 없이 바로 계산이 가능하고, 단일한 마스크를 균일한 공간에 적용하기 때문에 상대적으로 적은 연산으로 홈 벡터를 생성해 낼 수 있는 장점이 있다. 반면 스냅샷 이미지의 밝기차이를 사용하기 때문에 전체적으로 어두운 환경에서는 상대적으로 성능이 저하될 가능성이 있다.

2.2 학습을 통한 방식조합

각각의 방법은 공통적으로 스냅샷을 사용하여 홈벡터를 추정하지만 각기 다른 방식의 특징점을 랜드마크로 사용하므로, 환경에 따라서 상대적으로 좋은 성능을 보이는 방식에 높은 가중치를 부여하여 사용하는 방식이 가능하다. 이 방식을 적용하기 위해서는 해당 장소 내 여러 위치에서 촬영한 이미지와 그 위치에서 에러를 계산하기 위한 정답지가 필요하다. 정답지는 카메라 이외의 센서를 이용하여 계산한 값을 이용할 수 있으나, 본 연구에서는 실제 위치로부터 추출한 정확한 정답지를 갖고 있음을 가정하고 연구를 진행하였다. 실제 로봇에서는 경로 누적 계산 방식으로 추정할 수 있다.

이번 연구에서는 먼저 3가지 방법을 이용하여 ALV 벡터를 구한다. 이렇게 구한 3가지 ALV 벡터를 이용하여 테스트 전체 구역의 평균 에러값이 가장 낮은 값이 되도록 각 방법별 ALV Vector 값에 가중치를 부여한다. 최적의 가중치를 계산하기 위해 경사하강법 (Gradient Descent)를 사용하였다. 경사하강법은 Cost Function의 기울기가 낮은 쪽으로 이동시켜서 극값에 이를 때까지 이를 반복시키는 최적화 알고리즘이다. 해당 알고리즘은 신경망 회로 학습에 많이 활용된다 ^[29]. Cost Function은 Desired Value 에서 계산된 값과의 차이의 제곱으로 정의하며 식 (5)와 같이 나타낼 수 있다.

(5)

$$E(W)=\dfrac{1}{2}(\sum_{i=1}^{m}W_{i}x_{i}- d_{i})^{2}$$

식 (5)는 식 (6)으로 간단하게 나타낼 수 있으며 이를 이용하여 지속적으로 본 함수의 결과 값이 목표 값에 수렴하도록 가중치를 업데이트할 수 있다 - 식 (7) 참조.

(6)

$$\dfrac{\partial E}{\partial w}=\sum_{i=1}^{m}W_{i}- d_{i}$$

(7)

$$W_{i+1}\approx W_{i}-\eta\dfrac{\partial E}{\partial w}$$

본 연구에서 각각의 결과를 바탕으로 경사하강법을 적용하여 구하고자 하는 것은 3가지 방법 (HaarLikeFeature, HOG, SURF)으로 구한 벡터에 대한 가중치값$(W)$이다. 169개 지점에서 각 방법으로 구한 값에 대한 오차값을 구하며, 모든 지점의 값을 구한 뒤에는 평균 오차값을 최소화하는 방향으로 가중치$W$ 를 갱신한다. 각 위치에서 정답이 있지만 각 가중치를 변화시키면 보든 지점 에서 영향을 미치기 때문에 W는 전체 (160개) 지점에서의 평균 오차를 줄이는 방향으로 갱신하게 된다. 이를 수식으로 나타내면 식 (8)과 같다.

(8)

$$E(W)=\dfrac{1}{2}\sum_{k=1}^{169}(\sum_{i=1}^{3}W_{i}^{k}x_{i}^{k}- d^{k})^{2}$$

이때 가중치$(W)$는 $x$, $y$축으로 구분하여 가중치를 다르게 할 수도 있지만 이와 관련 없이 공통의 가중치를 사용할 수 있다. 구분하여 가중치를 학습하는 방식이 보다 더 학습이 쉽게 될 수 있기 때문에 본 연구에서는 각 방향에서 별도로 가중치를 계산하여 적용하는 방식을 사용하였다.

본 학습방식은 홈 벡터를 계산하는데 있어서 기존의 학습을 통한 방식 ^[21]과 차이가 있다. 기존 방식 (HFLVGD)의 경우에는 영상에 적용하는 마스크의 종류와 위치를 학습을 통해 결정하는 방식이며, 본 연구에서 활용하는 방식은 랜드마크 형태(Vertical Edge, Corner 등)를 결정하기 위해 학습을 수행하는 방식이다. 이러한 학습을 통한 방식은 최종적인 홈 벡터를 생성하는데 있어서 3가지 방식을 모두 사용하기 때문에 계산속도 측면에서는 불리하다고 볼 수 있는 반면에 기존의 한 가지 방식에 의존하는 방법보다 더 다양한 환경에서 향상된 결과를 얻을 수 있다.

2.3 실험 및 결과

2.3.1 실험 환경

위 방법으로 구한 홈벡터의 성능확인을 위해 두 가지 Vardy 데이터 셋 (그림 6)을 활용하였다. 해당 데이터 셋은 시각 내비게이션을 위해 구성되어 다양한 분야에서 활용중이다.

그림. 6. Vardy 데이터셋 : Original(상), Hall(하)

Fig. 6. Vardy dataset and vertical edges : Original (upper), Hall (lower)

사용할 실험 데이터셋 중에서 위쪽 이미지는 170개 (17×10) 위치에서 752×564 크기의 전 방향 옴니이미지를 720×120 파노라마 이미지로, 아래는 200개 (20×10) 위치에서 720×125 파노라마 이미지로 변환한 데이터셋이다.

모든 위치에서 목표지점과의 스냅샷을 비교하여 홈벡터를 계산하고 전 지점에서의 오차를 평균하여 평균오차각 (AAE: Average Angular Error)을 계산하였다. 이렇게 구한 평균 오차각은 다양한 방식을 통해 구한 홈벡터의 정확도를 평가하는 지표가 된다.

2.3.2 실험 결과

2.3.2.1 각 방법별 결과 및 분석

표 1. 각 방법별 평균오차각(AAE)

Table 1. Average angular errors (AAE) for each method

Method	Original	Hall
Using Corner Landmarks	9.76°	18.44°
Using Vertical Edge Landmarks	12.04°	11.90°
Using Brightness of Mask	12.30°	71.65°

첫번째 이미지셋(Original)에서 앞서 언급한 세가지 방법을 통해 홈벡터를 계산한 결과는 표 1과 같다. 언급한 세 가지 방식 모두 양호한 성능을 보이고 있음을 확인할 수 있다. 그러나 모두 적당한 양의 밝기가 유지되는 환경(Original)에서는 양호한 성능을 보이고 있지만 상대적으로 어두운 환경에서는 정확한 홈벡터 계산이 어려울 수 있다. 방법 중 특히 밝기를 사용하는 경우 평균오차는 크게 증가하였으며 이는 랜드마크로 인식할만한 밝기정보가 충분치 않기 때문에서 오는 결과로 보인다. 또한 코너를 특징점으로 사용하는 경우에는 일반적인 환경에서는 매우 우수한 성능을 보였으나, 어두운 환경에서는 성능이 저하되었고 수직 엣지를 이용하는 방식은 두 가지 환경 (데이터셋) 모두에서 상대적으로 안정적인 성능을 보였다. 벡터 계산 속도는 중요한 성능지표 중 하나이다. 3가지 방식은 상호 다른 랜드마크 수와 종류를 사용하고 있기 때문에, 각기 요구되는 시간이 상이하다. 연산환경 (i7-6700K 4.0GHz CPU)에서 소요된 시간은 표 2와 같다. 각 방법별 연산시간은 밝기(방법3), 특징점 랜드마크(방법2),수직선 랜드마크(방법1) 방식 순으로 빠른 속도를 보이고 있다.

표 2. 각 방법별 연산시간

Table 2. Computing time for each method

Method	1 Point	Entire Point
Using Corner Landmark	0.0824(s)	7.8766(s)
Using Vertical Edge Landmarks	0.1812(s)	20.89(s)
Using Brightness of Mask	0.0183(s)	1.21(s)

2.3.2.2 학습을 통한 방식조합

앞에서 수행한 3가지 방식으로 구한 홈벡터를 Home에서 인접한 24개 위치와 임의로 선정한 24개 위치에서 각각 학습한 결과를 통해 구한 가중치를 전체위치에서 적용하였다. 그림 8은 두 가지 학습위치를 나타낸다.

그림. 7. 학습 위치 : 홈 인접 위치(좌), 임의 위치(우)

Fig. 7. Training positions: Near home position (left), random Positions (right)

그림. 8. 가까운 위치(좌), 임의의 위치(우)에서의 학습 성능

Fig. 8. Training performances at close (left) / random (right) locations

그림 7의 각 위치에서 계산한 3가지 방식의 결과를 앞서 언급한 경사하강법을 이용하여 오차를 최소로 하기 위한 가중치를 계산하였다. 그림 8은 앞서 언급한 두 가지 위치에서구한 결과를 학습하는 과정에서의 오차의 변화를 나타낸다. 학습을 거듭할수록 최종적으로 에러가 감소하다가 수렴함을 알 수 있다. 그러나 가장 낮은 에러까지 수렴한 경우는 인접한 위치에서 학습한 경우이며, 이는 가까운 위치에서는 거리가 먼 위치보다 에러가 적게 발생하기 때문이며, 학습에 필요한 계산 (Iteration)도 매우 적게 발생하였다. 만약 인접한 각도에서 학습한 데이터가 충분히 신뢰도가 있다면 가능한 인접한 위치에서 하는 방식이 가장 효율적일 것이다. 그림 9와 표 3은 각각의 방식에서 학습한 가중치를 데이터셋의 전체 위치에서 적용한 결과이다.

표 3. 각 방법별 연산시간

Table 3. Computing time for each method

Method	AAE (Average Angular Error)
	Test	Training
Close Positions	Min : 9.76° Aver : 11.37°	6.27°
Random Positions		6.68°

그림. 9. 학습한 가중치를 이용하여 전체 위치에 적용한 결과; 인접 위치 (좌), 랜덤 위치 (우)에서 각각 학습

Fig. 9. Vector map using weight learning (training at close (left) and random (right) locations)

3가지 위치에서 학습한 가중치를 적용결과 학습하지 않는 경우에서 발생한 각 방식들의 오차 (AAE) 최소값보다 성능이 향상되었음을 확인할 수 있었다. 또한 일부위치에서 학습 한 결과도 충분히 전체위치에서 동일한 과정을 수행한 방식과 큰 성능차이를 보이지 않음을 알 수 있었다.

3. 결 론

본 연구를 통해 먼저 스냅샷의 랜드마크의 위치를 이용하여 두 지점간의 상대위치를 계산하였다. 랜드마크를 사용하는 방식은 크게 3가지로 허프변환을 이용하여 수직선을 검출한 후 HOG를 통해 특징점 매칭을 하는 방식 (방법 1)과 SURF 등을 이용하여 특징점을 랜드마크로 사용하는 방식 (방법2), 그리고 HaarLike Features를 활용하여 홈벡터를 추정하는 방식 (방법3)을 사용하여 그 결과를 확인하였다. 실험결과 일반적인 환경에서는 대부분 위치에서 좋은 성능을 보임을 확인할 수 있었다. 그러나 빛이 부족한 환경에서는 밝기보다는 랜드마크 형태를 이용한 방식이, 수직선을 찾는 방식보다 모서리와 같은 특징점을 찾는 방식이 좋은 성능을 보임을 확인할 수 있었다. 따라서 각각의 방식으로 사용한 결과를 계산한 후 학습을 통해 실험환경에서 최적의 가중치를 구하는 방법을 사용하였다.

학습을 위해서 일부위치에서 계산한 각 방식의 ALV 벡터와 정답지를 활용하여 해당위치에서의 에러를 계산한 후 전체 에러가 최소가 되는 가중치를 계산하기 위해 경사하강법을 사용하였다. 계산된 각 방식의 가중치를 부여하여 전체지점에서 최종적인 홈벡터를 계산하였다. 실험결과 각각의 위치에서 계산된 가중치를 사용한 방식이 그렇지 않는 경우보다 좋은 성능을 보임을 확인할 수 있었다. 이러한 방식은 결과적으로 환경에 따라 더 적합한 방법에 대해 높은 가중치를 사용함으로써 정확도 측면에서 더 나은 결과를 보여준다.

각 방식을 조합하는 방식은 향상된 성능에도 불구하고 기본적으로 3가지 방식의 ALV 벡터를 모두 계산하기 때문에 높은 computing time을 필요로 한다는 단점이 있다. 또한 기본적으로 실제 복귀를 위한 내비게이션 시스템을 동작하기 이전에 일정수 이상의 이동을 통해 환경에 대한 평가가 요구된다는 점도 본 시스템의 단점이라 할 수 있다. 그러나 현재 환경에 대한 평가 및 가중치 적용을 통한 성능개선은 언급한 방식 외에도 다른 많은 방식을 적용할 수 있고, 실제로 얻은 성능향상이 작지 않다는 점에서 그 의의가 있다고 할 수 있다.

본 연구에서는 나침반이 있는 시스템을 가정하여 문제 접근이 이루어지고 있다. 방향 정보를 위해서는 곤충의 편광 방식을 모델로 하는 시스템을 이용할 수 있다 ^[8,^30]. 경로 누적을 통한 주행 정보, 나침반 정보, 통신 정보, 거리 정보, 비젼 정보의 결합을 통해 더 효율적인 내비게이션 시스템을 구현할 수 있고 ^[6-^8,^31,^32], 이에 대한 추후 연구를 진행할 예정이다.

Acknowledgements

This work was supported by the National Research Foundation of Korea (NRF) grant funded by the Korea Government (MSIT) (No. 2017R1A2B4011455).

References

T. S. Collett, 1996, Insect navigation en route to the goal: multiple strategies for the use of landmarks, Journal of Experimental Biology, pp. 227-235

T. S. Collett, 1992, Landmark learning and guidance in insects, Philosophical Transactions of the Royal Society of London. Series B: Biological Sciences, pp. 295-303

F. Papi, 1990, Olfactory navigation in birds, Experientia, Vol. 46, pp. 352-363

J. Rossier, C. Haeberli, F. Schenk, 2000, Auditory cues support place navigation in rats when associated with a visual cue, Behavioural brain research, Vol. 117, No. 1-2, pp. 209-214

M. Müller, R. Wehner, 1988, Path integration in desert ants, Cataglyphis fortis, Proceedings of the National Academy of Sciences, Vol. 85, No. 14, pp. 5287-5290

T. S. Collett, M. Collett, 2000, Path integration in insects, Current opinion in neurobiology, Vol. 10, No. 6, pp. 757-762

D. Kim, J. Lee, 2011, Path integration mechanism with coarse coding of neurons, Neural Processing Letters, Vol. 34, No. 3, pp. 277-291

S. Rossel, R. Wehner, 1984, How bees analyse the polarization patterns in the sky, Journal of Comparative Physiology A, Vol. 154, No. 5, pp. 607-615

T. Kimchi, A. S. Etienne, J. Terkel, 2004, A subterranean mammal uses the magnetic compass for path integration, Proceedings of the National Academy of Sciences, Vol. 101, No. 4, pp. 1105-1109

S. Judd, T. S. Collett, 1998, Multiple stored views and landmark guidance in ants, Nature, Vol. 392, pp. 710

S. Åkesson, R. Wehner, 2002, Visual navigation in desert ants Cataglyphis fortis: are snapshots coupled to a celestial system of reference?, Journal of Experimental Biology, Vol. 205, No. 14, pp. 1971-1978

B. A. Cartwright, T. S. Collett, 1987, Landmark maps for honeybees, Biological cybernetics, Vol. 57, No. 1-2, pp. 85-93

D. Kim, 2006, Neural network mechanism for the orientation behavior of sand scorpions towards prey, IEEE Transactions on Neural Networks, Vol. 17, No. 4, pp. 1070-1076

D. Kim, 2004, A spiking neuron model for synchronous flashing of fireflies, BioSystems, Vol. 76, No. 1-3, pp. 7-20

D. Lambrinos, R. Möller, T. Labhart, R. Pfeifer, R. Wehner, 2000, A mobile robot employing insect strategies for navigation, Robotics and Autonomous Systems, Vol. 30, pp. 39-64

C. Lee, S. Yu, D. Kim, 2017, Landmark-based homing navigation using omnidirectional depth information, Sensors, Vol. 17, No. 8, pp. 1928

V. V. Hafner, 2001, Adaptive homing - robotic exploration tours, Adaptive Behavior, Vol. 9, No. 3-4, pp. 131-141

K. Weber, S. Venkatesh, M. Srinivasan, 1999, Insect-inspired robotic homing, Adaptive Behavior, Vol. 7, pp. 65-97

S. Yu, D. Kim, 2011, Landmark vectors with quantized distance information for homing navigation, Adaptive Behavior, Vol. 19, No. 2, pp. 121-141

C. Lee, D. Kim, 2017, Local homing navigation based on the moment model for landmark distribution and features, Sensors, Vol. 17, No. 11, pp. 2658

M. Kim, D. Kim, 2019, Local Visual Homing Navigation Using Gradient-Descent Learning of Haar-like Features, Transactions of the Korean Institute of Electrical Engineers, Vol. 68, pp. 1244-1251

S. Baek, 2015, Local visual navigation using features in images, Master dissertation, Yonsei University, Seoul, Korea

H. Bay, T. Tuytelaars, L. van Gool, 2006, SURF: Speeded up robust features, in Proc. of European Conference on Computer Vision, pp. 404-417

P. Viola, M. Jones, 2001, Rapid object detection using a boosted cascade of simple features, in Proc. of Int. Conf. on Computer Vision & Pattern Recognition, Vol. 1, pp. 511-518

S. Baek, D. Kim, 2014, Snapshot homing navigation based on edge features, Proc. of Int. Conf. on Simulation of Adaptive Behavior, pp. 98-107

N. Dalal, B. Triggs, 2005, Histograms of oriented gradients for human detection, in Proc. of Int. Conf. on Computer Vision & Pattern Recognition, IEEE Computer Society, pp. 886-893

D. G. Lowe, 2004, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110

C. Lee, D. Kim, 2018, Visual Homing Navigation with Haar- Like Features in the Snapshot, IEEE Access, Vol. 6, pp. 33666-33681

D. Kim, J. Lee, 2000, Handling continuous-valued attributes in decision tree with neural network modeling, in Proc. of European Conf. on Machine Learning, pp. 211-219

E. Baek, D. Kim, 2020, Estimating Linear Polarization with Multi-Point Optic Sensing, Transactions of the Korean Institute of Electrical Engineers, Vol. 69, No. 1, pp. 99-106

C. Lee, D. Kim, 2018, High-Order Moment Models of Landmark Distribution for Local Homing Navigation, IEEE Access, Vol. 6, pp. 72137-72152

S. L. Kim, W. Burgard, D. Kim, 2009, Wireless Communications in Networked Robotics: Editorial, IEEE Wireless Communications, Vol. 16, No. 1, pp. 4-5

저자소개

최종하 (Jong-Ha Choi)

Jong-Ha Choi received M.S. in the department of Electrical and Electronic Engineering, Yonsei University in 2020.

His research interests are biorobotics, robot navigation, and artificial intelligence.

김대은 (DaeEun Kim)

DaeEun Kim received his B.E. and M.S. in Seoul National University and the University of Michigan at Ann Arbor, respectively.

He received his Ph.D. degree from the University of Edinburgh in 2002.

Currently he is a professor at Yonsei University in South Korea.

His research interests are in the area of biorobotics, autonomous robots, artificial life, neural networks and neuroethology.

KIEEThe Transactions of
the Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Journal Search

Journal XML

Journal Information

이미지 특징점 가중치 학습을 통한 내비게이션

Abstract

Key words

1. 서 론

2. 본 론

2.1 스냅샷 모델(Snapshot Model)

(1)

(2)

(3)

(4)

2.2 학습을 통한 방식조합

(5)

(6)

(7)

(8)

2.3 실험 및 결과

3. 결 론

Acknowledgements

References

저자소개

최종하 (Jong-Ha Choi)

김대은 (DaeEun Kim)

Article Information (continued)

Key words

KIEEThe Transactions ofthe Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Journal Search

Journal XML

Journal Information

이미지 특징점 가중치 학습을 통한 내비게이션

Abstract

Key words

1. 서 론

2. 본 론

2.1 스냅샷 모델(Snapshot Model)

(1)

(2)

(3)

(4)

2.2 학습을 통한 방식조합

(5)

(6)

(7)

(8)

2.3 실험 및 결과

3. 결 론

Acknowledgements

References

저자소개

최종하 (Jong-Ha Choi)

김대은 (DaeEun Kim)

Article Information (continued)

Key words

KIEEThe Transactions of
the Korean Institute of Electrical Engineers