Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Main Menu

Journal Search

[

Research article

]

The Transactions of the Korean Institute of Electrical Engineers

KIEE Vol. 69, No. 2, p.356-361

ISSN (print) :

1975-8359

ISSN (online) :

2287-4364

Received : 25 September 2019Accepted : 19 December 2019

DOI :

http://doi.org/10.5370/KIEE.2020.69.2.356

Driving Environment Perception and Grid Map Generation System Using Deep Learning Based Mono Vision

딥 러닝 기반 Mono vision을 이용한 주행 환경 인지 및 격자 지도 생성 시스템

조은기 (Eungi Cho) ¹iD 김현석 (Hyeonseok Kim) ¹iD 박성근 (Seongkeun Park) ^†iD

(Dept. of Future Convergence Technology, Soonchunhyang University, Korea.)

^†Corresponding Author : Dept. of Smart Automobile, Soonchunhyang University, Korea.

E-mail : keiny@sch.ac.kr

License :

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.(www.kiee.or.kr).

Abstract

In this paper, we propose a driving environment recognition and grid map generation system based on deep learning network using only data acquired with Mono vision. YOLO(You Only Look Once)v3 and FCN are used to recognize the driving environment, and object detection and driving area detection are performed respectively. In addition, the occupancy grid map is generated using the respective network results and vehicle movement information. The data used in this study is based on the KITTI dataset. According to the results, the proposed method uses mono vision, but can obtain distance information and has higher performance than the result of generating a grid map using a single sensor.

Key words

Deep learning, Distance estimation, Occupancy grid map, Driving environment, Autonomous vehicle

1. 서 론

자율 주행 자동차(Autonomous vehicle)란 주행하는 환경을 인식하여 운전을 보조하거나 스스로 주행할 수 있는 시스템^[1]으로 구조를 크게 인지, 판단, 제어의 세 가지 범주로 분류할 수 있다^[2]. 특히, 자율 주행 자동차의 정확한 주행 환경 및 위치 인식을 위해 Camera, LiDAR, IMU, GPS 등의 센서 융합 기술에 관한 많은 연구가 진행되었다^[3]. 센서 융합 기술은 각 센서의 단점을 상호 보완하여 단일 센서를 사용하였을 때보다 좋은 성능을 가질 수 있지만, 센서 동기 및 상대적 위치에 대한 변화에 민감하여 오차 보정을 수차례 진행해야 한다^[4]. 또한, 자율 주행 자동차의 상용화에 있어 고가의 센서를 다수 사용하는 것은 어려움이 있다^[5].

이에, 최근 몇 년간 센서의 성능을 향상할 수 있도록 딥 러닝 기반의 센서 데이터 처리에 관한 연구^[6,^7]가 활발히 진행되고 있다. 딥 러닝 기반의 영상 인식 기술은 사람의 인식률보다 더 높은 성능을 보이며, 자율 주행 자동차의 인지 기술에서 딥 러닝은 더욱 중요도가 증가하고 있다^[8].

본 논문에서는 Mono vision을 사용하여 딥 러닝 기반의 주행 환경(객체, 주행 가능 영역) 인지를 수행하고 딥 러닝의 결과를 사용하여 격자 지도를 생성하는 시스템을 제안한다. 딥 러닝 알고리즘으로 객체 검출은 YOLO(You Only Look Once)v3^[9]를, 주행 가능 영역 검출은 Fully Convolutional Networks(FCN)^[10]를 사용하며, 거리 추정은 YOLOv3와 FCN 각각 알고리즘의 뒤에 Fully Connected Layer를 추가한다. 격자 지도 생성은 딥 러닝 알고리즘의 결과를 사용한다. 이때, 객체에 해당하는 정보와 주행 가능 영역에 해당하는 정보를 융합하여 성능을 높인다.

본 논문의 구성은 다음과 같다. 2장에서는 제안된 시스템의 구성 및 구현에 대한 설명, 3장에서는 제안된 알고리즘들을 실험에 적용하여 얻어진 결과를 정리한다. 4장에서는 결론 및 향후 연구 과제에 대해 논의한다.

2. 시스템 구성

본 논문에서는 Mono vision의 image 데이터를 사용하여 객체와 주행 가능 영역을 검출함과 동시에 거리 추정을 한다. 각각의 검출 결과와 거릿값은 지도 생성기의 입력으로 사용되며, 최종적으로 점유 격자 지도(Occupancy grid map)를 생성한다. 이때, 이전 시점의 지도를 차량 이동에 따라 변형(Transformation)하기 위해 차량의 이동 정보(speed, heading) 또한 지도 생성기의 입력으로 사용된다. 본 논문에서 제안하는 시스템의 전체적인 흐름은 그림 1과 같다.

그림. 1. 제안된 시스템의 흐름

Fig. 1. Flow of proposed systems.

2.1 객체 검출 및 거리 추정 네트워크

단안 영상카메라 센서 기반의 객체 검출 및 거리 추정을 위해 본 논문에서는 YOLO(You Only Look Once)v3를 사용한다. YOLOv3는 다른 Object Detection 네트워크와는 다르게 Region proposal 단계 없이, 네트워크 내에서 학습을 통해 객체와 객체의 위치를 검출한다. 이는 Region proposal을 활용하는 다른 알고리즘에 비해 빠른 실행속도와 정확한 객체 검출이 가능하다는 장점이 있다.

그림 2는 본 논문에서 제안하는 객체 검출 및 거리 추정 네트워크의 구조이다. 먼저 mono vision의 영상 프레임을 입력으로 하는 YOLOv3를 통해 영상 내 객체를 검출하게 된다. 객체 검출 결과는 객체 종류, Bounding box 좌표와 크기인 x, y, w, h의 총 5개의 값으로 이루어져 있다. 이후 해당 정보는 Fully Connected Layer(FC Layer)의 입력으로 사용되며 거리를 regression 한다^[11]. 이때 추정된 거리 결과는 해당 객체의 픽셀 좌표에 매칭되는 LiDAR 센서의 좌표 x, y, z에 대해 예측을 수행한다.

그림. 2. 객체 검출 및 거리 추정 네트워크 구조

Fig. 2. Object detection and distance estimation network structure.

2.2 주행 가능 영역 검출 및 거리 추정 네트워크

주행 가능 영역은 차량의 주행 상황 시 다른 차량 및 주행 환경상 객체에 피해를 주지 않으며 주행할 수 있는 영역이다^[12]. 본 논문에서는 다양한 환경에서 주행 가능 영역이 검출할 수 있도록 Semantic Segmentation 네트워크인 Fully Convolutional Networks(FCN)을 사용한다. FCN은 딥 러닝 네트워크 중 객체의 윤곽선을 경계로 잡아 객체를 픽셀 단위로 검출하는 것으로 한 프레임의 전체 픽셀에서 도로와 같은 주행 가능 영역에 해당하는 픽셀만 검출한다. 본 논문에서 사용한 FCN은 Mono vision의 image 데이터를 입력으로 하고 결과로 객체를 구분하는 class 정보와 image 상의 픽셀 좌표(x, y)를 가진다.

본 논문에서는 차량 전방의 주행 가능 영역에 포함되는 픽셀을 검출하는 것뿐만 아니라 해당 픽셀의 실제 거리를 추정한다^[13]. 주행 가능 영역의 관점에서 검출되어야 하는 Class를 위주로 FCN의 네트워크 구조를 수정하고 FCN 네트워크의 뒤에 거리 정보를 추정하는 Fully Connected Layer(FC Layer)를 추가한다. FC Layer는 FCN의 결과인 class 정보와 픽셀 좌표(x, y)를 입력으로 하고 결과로 주행 가능 영역의 이미지 좌표에 해당하는 거리 정보를 가진다. 이때 추정된 거리 정보는 검출된 주행 가능 영역 픽셀에 매칭되는 LiDAR 좌표 x, y를 의미한다. 본 논문에서 주행 가능 영역 검출에 사용하는 전체적인 네트워크 구조는 그림 3과 같다.

그림. 3. 주행 가능 영역 검출 및 거리 추정 네트워크 구조

Fig. 3. Drivable area detection and distance estimation network structure.

2.3 격자 지도 생성

본 논문에서는 딥러닝 기반의 객체 검출과 주행 가능 영역 검출 결과를 사용하여 점유 격자 지도를 생성한다. 각각의 검출 결과로 격자 지도를 생성할 수 있도록 그리드 셀 표현으로 변환한다. 이전 시점의 지도는 차량의 이동 반대 방향으로 변환하며, 현재 시점의 검출 결과 지도와 변환된 이전 시점 지도를 결합하여 점유 격자 지도를 생성한다. 점유 격자 지도 생성 알고리즘의 전체적인 흐름은 그림 4와 같다.

그림. 4. 점유 격자 지도 생성 알고리즘 구조

Fig. 4. Occupancy grid map generation algorithm structure.

2.3.1 검출 결과 변환

본 논문에서는 주행 환경에 대해 검출한 결과를 격자 지도로 만들기 위해 YOLOv3와 FCN을 사용한다. 각각의 네트워크 결과를 사용하여 지도를 생성하기 위해서는 검출 결과를 그리드(grid) 위의 각 셀(cell)에 표현해야 한다. 즉, 사전에 지정해둔 일정 공간에 대해 그리드 셀을 부여하여 셀별로 장애물이 존재하는지에 대한 확률을 계산해야 한다. 본 논문에서는 칸당 0.5m*0.5m 규격의 80*120 크기의 격자를 생성하고 2.1절의 결과는 식 (1), 2.2절의 결과는 식 (2)에 따라 각 셀에 값을 부여한다.

(1)

$$Object \enspace detection =\begin{cases} Object \enspace probabil y&\begin{aligned} if \enspace class=& 'car',\:'truck',\:\\ &'person'\end{aligned}\\ 0& otherwise \end{cases}$$

(2)

$$Drivable \enspace area \enspace detection =\begin{cases} 1&if \enspace class='drivable \enspace area'\\ 0& otherwise \end{cases}$$

2.3.2 정적 지도와 동적 지도 결합

본 논문에서는 동적 대상인 객체와 정적 대상인 주행 가능 영역을 검출한 결과로 격자 지도를 생성한다. 두 가지 대상의 특징이 다르므로 각각 동적 지도, 정적 지도를 생성하고 특성에 맞게 업데이트 후 둘을 결합하는 방식을 사용한다. 동적 지도는 자동차 같은 동적 장애물을 표현한 지도이므로 최신 정보를 우선시하고 과거 정보를 점차 감소시킨다. 정적 지도는 도로 영역처럼 상태가 고정된 대상을 표현한 지도이므로 각 셀의 확률을 log odd로 표현하는 binary bayes filter 알고리즘^[14]에 의해 과거로부터의 정보를 누적한다. Binary bayes filter 알고리즘은 식 (3)과 같이 표현할 수 있다.

(3)

$$l_{t}=l_{t-1}+\log\dfrac{p(x|z_{t})}{1-p(x|z_{t})}-\log\dfrac{p(x)}{1-p(x)}$$

각각 업데이트된 지도는 그림 5와 같이 안전에 비교적 치명적인 동적 지도를 정적 지도 위에 덮어쓰는 방식으로 결합한다. 이 방법은 동적 지도를 확실하게 표시하면서 나머지 영역에 정적 지도를 표시하는 특징이 있다.

그림. 5. 정적 지도와 동적 지도의 결합

Fig. 5. Integration of static and dynamic maps.

2.3.3 이전 시점 지도 좌표계 변환

지도를 생성할 때 실시간으로 움직이는 지도의 좌표계를 지도에 반영해야 한다. 따라서 차량 중심의 이동량과 방향을 계산하기 위해 차량의 이동 정보(speed, heading)를 사용하며, 이전 시점의 지도는 그림 6과 같이 차량 이동의 반대 방향으로 변환(transformation)해준다.

그림. 6. 격자 지도 변환

Fig. 6. Grid map transformation.

지도의 변형 때문에 셀의 좌표가 정수가 아닌 실수가 나오게 되는데, 셀은 실수 형태의 데이터를 표현할 수 없다. 따라서 셀의 값을 해당 좌표의 가중 평균으로 계산하는 방법인 양선형 보간법(Bilinear Interpolation)^[15]을 사용하여 셀에 들어갈 값이 정수로 표현될 수 있도록 한다. 양선형 보간법은 식 (4)와 같이 표현할 수 있다.

(4)

$\begin{align*} \widetilde L_{ij}(x,\:y)=\dfrac{1}{(H+1)(W+1)}& [(H+1-x)(W+1-y)\hat m(i,\:j)\\ & +(H+1-x)y\hat m(i,\:j+1)\\ & +x(W+1-y)\hat m(i,\:j+1)\\ & +xy\hat m(i+1,\:j+1)] \end{align*}$

3. 실험 및 결과

3.1 객체 검출 및 거리 추정 네트워크

본 논문의 네트워크 학습 및 실험의 Hardware 환경은 표 1과 같다. Software 환경은 Ubuntu 16.04 LTS에서 Python을 사용하여 진행한다. YOLOv3 네트워크 생성을 위해 Darknet를 사용하며, FCN 네트워크 생성을 위해 Tensorflow를 사용한다. Darknet은 C와 CUDA로 만들어진 신경 네트워크(Neural network)를 위한 오픈소스 프레임워크이다^[16]. Tensorflow는 구글(Google)에서 C++로 만든, 딥러닝 프로그램을 쉽게 구현할 수 있도록 다양한 기능을 제공해주는 오픈소스 라이브러리이며 Python, Java, Go 등 다양한 언어를 지원한다^[17].

표 1. 하드웨어 스펙

Table 1. Hardware Spec

Parts	Products
CPU	Intel Xeon Processor
GPU	GTX-1080 Ti
RAM	64 GB
SSD	512 GB

3.2 실험 데이터셋

실험에 이용한 데이터는 KITTI 데이터셋을 사용한다. KITTI 데이터셋은 차량의 주행 시 측정된 Camera, LiDAR, 고정밀 GPS, IMU 등의 센서 데이터를 정리하고 연구를 위해 공개한 데이터셋이다^[18]. 본 논문에서는 Camera, LiDAR와 IMU의 센서 데이터를 사용한다. Camera 데이터는 각 딥러닝 네트워크(YOLOv3, FCN)의 입력으로 사용되며, LiDAR 데이터는 거리 추정 네트워크 학습 시 참조(reference) 데이터로 사용한다. IMU 데이터는 격자 지도 생성 과정 중 이전 시점의 지도를 차량 이동의 반대 방향으로 변환할 때 사용한다.

3.3 실험 결과

3.3.1 객체 검출 및 거리 추정 네트워크 결과

객체 검출률 테스트는 사전에 ImageNet 1000 Class 데이터로 학습된 Pre-trained model에 KITTI 데이터셋으로 전이학습을 진행한 모델로 검증하였다. 영상 내에서 차량이 검출된 결과를 시각화한 이미지는 그림 7-(a)와 같다. 객체 검출에서 검출률은 이미지 내에서 객체가 맞게 검출된 비율을 의미하며, 본 실험에서는 85.89%의 성능을 확인하였다.

거리 추정 정확도 테스트는 LiDAR 데이터를 참조(reference) 데이터로 학습을 진행한 모델로 검증하였다. 거리 추정 결과를 시각화한 이미지는 그림 7-(b)와 같다. 거리 추정에서 정확도는 평균 제곱오차(Mean Square Error, MSE)를 사용하여 확인하며, MSE는 식 (5)와 같이 표현할 수 있다.

(5)

$$Mean \enspace Square \enspace Error=\dfrac{1}{n}\sum_{i=1}^{n}(p_{i}-y_{i})^{2}$$

본 실험에서는 MSE를 사용하여 x축에 대한 오차 0.9m, y축에 대한 오차 2.68m, z축에 대한 오차 0.25m를 확인하였으며, 전체적인 거리에 대한 오차는 2.77m로 확인되었다.

그림. 7. 객체 검출 및 거리 추정 결과 (시각화)

Fig. 7. Result of object detection and distance estimation (visualization)

3.3.2 주행 가능 영역 검출 및 거리 추정 네트워크 결과

주행 가능 영역 검출률 테스트는 사전에 PASCAL VOC 데이터셋으로 학습된 Pre-trained model에 KITTI 데이터셋으로 전이학습을 진행한 모델로 검증하였다. 영상 내에서 주행 가능 영역이 검출된 결과를 시각화한 이미지는 그림 8-(a)와 같다. 주행 가능 영역 검출에서 검출률은 이미지 내에서 주행가능 영역이 맞게 검출된 비율을 의미하며, 본 실험에서는 90.27%의 성능을 확인하였다.

표 2. 객체 검출 및 거리 추정 결과 (정확도 및 오차)

Table 2. Result of object detection and distance estimation (Accuracy and Error)

Object detection	Distance estimation
Object detection	x	y	z	Distance
85.89 %	0.9 m	2.68 m	0.25 m	2.77 m

거리 추정 정확도 테스트는 LiDAR 데이터를 참조(reference) 데이터로 학습을 진행한 모델로 검증하였다. 거리 추정 결과를 시각화한 이미지는 그림 8-(b)와 같으며, 노란색은 참조 데이터로 사용된 LiDAR의 데이터를, 빨간색은 예측한 LiDAR의 x, y 좌표를 의미한다. 거리 추정에서 x, y 좌표에 대한 정확도는 식 (6)을 사용하여 확인한다.

(6)

$$Accuracy=\dfrac{\sum_{i=0}^{k}\sum_{j=0}^{k}(p_{ij}+- 3cm)=y_{ij}}{\sum_{i=0}^{k}\sum_{j=0}^{k}y_{ij}}$$

각 좌표에 대한 정확도는 x축에 대해 85.80%, y축에 대해 89.37%를 확인하였다. 전체적인 거리에 대한 정확도는 식 (3)을 사용하여 확인한다. 전체적인 거리에 대한 오차는 1.253m로 확인되었다.

그림. 8. 주행 가능 영역 검출 및 거리 추정 결과 (시각화)

Fig. 8. Result of driving areas detection and distance estimation (Visualization)

표 3. 주행 가능 영역 검출 및 거리 추정 결과 (정확도 및 오차)

Table 3. Result of driving areas detection and distance estimation (Accuracy and Error)

Driving areas detection	Distance estimation
Driving areas detection	x	y	Distance
90.27 %	85.80 %	89.37 %	1.253 m

3.3.3 격자 지도 생성 결과

격자 지도 생성 과정 및 결과는 그림 9와 같다. 상단의 이미지는 KITTI 데이터셋의 Camera 데이터를 의미한다. 하단의 이미지는 왼쪽부터 차례대로 객체 검출 결과, 객체 검출 결과를 확대한 것, 주행 가능 영역 검출 결과, 현재 시점의 동적 지도, 과거 시점의 동적 지도, 현재 시점의 정적 지도, 과거 시점의 정적 지도, 정적 지도와 동적 지도 결합 결과, 최종적인 점유 격자 지도를 의미한다.

그림. 9. 격자 지도 생성 결과

Fig. 9. Result of grid map generation

4. 결 론

본 논문에서는 자율주행 자동차의 환경 인지 센서 중 Mono vision만을 사용하여 딥러닝 네트워크 기반의 주행 환경 인지 및 격자 지도를 생성하였다. 주행 환경 인지 방법으로는 YOLO(You Only Look Once)v3를 사용한 객체 검출, FCN(Fully Convolutional Networks)를 사용한 주행 가능 영역 검출을 수행하였으며, 객체 검출은 85.89%, 주행 가능 영역 검출은 90.27%의 탐지율(Accuracy)을 확인할 수 있었다. 또한, 각 네트워크의 뒤에 Fully Connected Layer(FC Layer)를 추가하여 검출 결과에 대한 거리 정보를 추정하였다. 이를 통해 Mono vision만을 사용하더라도 거리 정보를 얻을 수 있었다. 객체 검출에서의 거리 추정은 평균 제곱오차(Mean Square Error, MSE)를 사용하여 x축에 대한 오차 0.9m, y축에 대한 오차 2.68m, z축에 대한 오차 0.25m를 확인하였으며, 전체적인 거리에 대한 오차는 2.77m로 확인되었다. 주행 가능 영역 검출에서의 거리 추정은 탐지율(Accuracy)을 사용하여 x축에 대해 85.80%, y축에 대해 89.37%의 성능을 확인하였으며, 전체적인 거리에 대한 오차는 MSE를 사용하여 1.253m를 확인하였다.

딥러닝 네트워크로 검출된 주행 환경 인지 결과는 IMU 데이터와 함께 격자 지도 생성 시스템의 입력으로 사용되어 점유 격자 지도를 생성하였다. 동적 대상인 객체와 정적 대상인 주행 가능 영역의 특성을 고려하여 각각 동적 지도, 정적 지도를 생성 후 결합하였으며, 실시간으로 움직이는 지도의 좌표계를 지도에 반영하기 위해 차량 이동의 반대 방향으로 변환(transformation)하였다. 현재 시점의 지도와 축 변환된 이전 시점의 지도를 결합하여 최종적으로 점유 격자 지도를 생성할 수 있었다. 이는 이후 판단 부분에서 격자에 최단 경로를 생성하는 알고리즘을 사용할 때 편리하게 사용될 수 있다.

본 논문에서 제안한 딥러닝 기반의 주행 환경 인지 알고리즘의 거리 추정은 거리가 멀어질수록 오차가 크게 발생한다. 오차가 발생하는 원인으로 객체 검출 네트워크에서는 차량의 종류별로 다른 Bounding Box의 비율이라고 예상하였다. RV, 승용, 버스, 트럭 등의 차량은 각각 다른 비율의 Bounding Box를 가지고 있다. 하지만 본 논문에서는 객체 검출 시 차종의 분류 없이 모든 차종을 하나의 class로 구분하여 실험을 진행하였다. 이에 Bounding Box의 비율에 따라 값이 달라지는 거리 추정 특성상 성능이 떨어지는 것이라 예상하였다. 주행 가능 영역 검출 네트워크에서의 원인은 거리가 멀수록 해상도(resolution)가 떨어지는 것이라고 예상하였다. LiDAR 데이터는 거리가 멀수록 낮은 해상도를 가지는 특성이 있다. 이에 거리가 멀어질수록 학습에 사용할 수 있는 LiDAR의 참조(reference) 데이터가 적어지므로 성능이 떨어지는 것이라 예상하였다.

이에 향후 연구에서는 학습 DB 수를 늘리기 위한 DB 추가 구축을 할 예정이다. 또한, 객체 검출 네트워크는 차량 class를 차종에 따라 세분화하여 네트워크를 재학습 시킬 예정이다. 주행 가능 영역 검출 네트워크는 보간법(interpolation)과 같은 기법을 사용하여 멀리 있는 데이터도 근처 데이터와 비슷한 값을 가질 수 있도록 거리 추정의 참조(reference) 데이터를 추가로 생성하고 네트워크를 재학습 시켜 성능을 향상할 수 있는 연구를 진행할 것이다.

Acknowledgements

This work was supported by the National Research Foundation of Korea(NRF) grant funded by the Korea government(MSIP; Ministry of Science, ICT& Future Planning) (NRF-2017R1C 1B5018101)

References

Keonyup Chu, et al., 2011, Development of an Autonomous Vehicle: A1, Transactions of the Korean Society of Automotive Engineers, Vol. 19, No. 4, pp. 146-154

Scott Drew Pendleton, et al., February 2017, Perception, Planning, Control, and Coordination for Autonomous Vehicles, Machines, Vol. 5, No. 1

Minchae Lee, et al., February 2013, Information Fusion of Cameras and Laser Radars for Perception Systems of Autonomous Vehicles, Journal of Korean institute of intelligent systems, Vol. 23, No. 1, pp. 35-45

Si-Jong Kim, et al., June 2011, The Development of Sensor System and 3D World Modeling for Autonomous Vehicle., Journal of Institute of Control, Robotics and Systems, Vol. 17, No. 6, pp. 531-538

Bora Jin, August 2014, Preference analysis of autonomous vehicle in Korea : using mixed Logit model, Seoul University

Yeongbae Hwang, Myeonghyeon Yoon, March 2018, Multi-sensor -based artificial intelligence technology for autonomous driving, OSIA Standards & Technology Review, Vol. 30, No. 1, pp. 23-29

Yeongguk Ha, July 2018, Deep Learning Technology for Autonomous driving Vehicle, Journal of Korea Robotics Society, Vol. 15, No. 3, pp. 36-46

Hyun Kim, Hyuk-Jae Lee, June 2018, A Trend in Development of AI Platforms for the Performance Improvement of Autonomous Vehicles, Journal of the Korean Society of Automotive Engineers, Vol. 40, No. 6, pp. 37-42

Joseph Redmon, and Ali Farhadi, April 2018, Yolov3: An incremental improvement, CoRR, Vol. abs/1804.02767

Jonathan Long, Evan Shelhamer, Trevor Darrell, 2015, Fully Convolutional Networks for Semantic Segmentation, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3431-3440

Mingyu Park, et al., April 2019, A Study on Vehicle Detection and Distance Classification Using Mono Camera Based on Deep Learning, Journal of Korean institute of intelligent systems, Vol. 29, No. 2, pp. 83-89

Sung soo Hwang, Do Hyun Kim, June 2016, Traversable Region Detection Algorithm using Lane Information and Texture Analysis, Journal of Korea Multimedia Society, Vol. 19, No. 6, pp. 979-989

Eungi Cho, Yongbeom Lee, Seongkeun Park, April 2019, Creation of Grid Map using a Driving Areas Detection and Distance Estimation based on Deep Learning Network, in Proceedings of KIIS Spring Conference 2019

Hyukdoo Choi, Euntai Kim, Gwang-Woong Yang, September 2013, Scan likelihood evaluation in FastSLAM using binary Bayes filter, The 2013 IEEE Image, Video and Multidimensional Signal Processing (IVMSP), pp. 1-3

Ji-Hye Joung, Jeong-Tae Kim, November 2012, Fast Correction of Nonuniform Illumination on Bi-level Images using Block Based Intensity Normalization, The Transactions of the Korean Institute of Electrical Engineers, Vol. 61, No. 12, pp. 1926-1931

Joseph Redmon, 2013, Darknet: Open Source Neural Networks in C

Martín Abadi, et al., 2015, {TensorFlow}: Large-Scale Machine Learning on Heterogeneous Systems, Internet: http:// tensorflow.org/

Andreas Geiger, Philip Lenz, Raquel Urtasun, 2012, Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite, Conference on Computer Vision and Pattern Recognition (CVPR)

저자소개

조은기 (Eungi Cho)

2018년: 순천향대학교 전자정보공학과 공학사

2018년~현재: 순천향대학교 일반대학원 미래융합기술학과 석사과정

김현석 (Hyeonseok Kim)

2018년: 순천향대학교 전자정보공학과 공학사

2018년~현재: 순천향대학교 일반대학원 미래융합기술학과 석사과정

박성근 (Seongkeun Park)

2004년 : 연세대학교 전기전자공학부 공학사

2011년 : 연세대학교 전기전자공학부 공학박사

2016년~현재 : 순천향대학교 스마트자동차학과 조교수

KIEEThe Transactions of
the Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Journal Search

Journal XML

Journal Information

딥 러닝 기반 Mono vision을 이용한 주행 환경 인지 및 격자 지도 생성 시스템

Abstract

Key words

1. 서 론

2. 시스템 구성

2.1 객체 검출 및 거리 추정 네트워크

2.2 주행 가능 영역 검출 및 거리 추정 네트워크

2.3 격자 지도 생성

(1)

(2)

(3)

(4)

3. 실험 및 결과

3.1 객체 검출 및 거리 추정 네트워크

3.2 실험 데이터셋

3.3 실험 결과

(5)

(6)

4. 결 론

Acknowledgements

References

저자소개

조은기 (Eungi Cho)

김현석 (Hyeonseok Kim)

박성근 (Seongkeun Park)

Article Information (continued)

Key words

KIEEThe Transactions ofthe Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Journal Search

Journal XML

Journal Information

딥 러닝 기반 Mono vision을 이용한 주행 환경 인지 및 격자 지도 생성 시스템

Abstract

Key words

1. 서 론

2. 시스템 구성

2.1 객체 검출 및 거리 추정 네트워크

2.2 주행 가능 영역 검출 및 거리 추정 네트워크

2.3 격자 지도 생성

(1)

(2)

(3)

(4)

3. 실험 및 결과

3.1 객체 검출 및 거리 추정 네트워크

3.2 실험 데이터셋

3.3 실험 결과

(5)

(6)

4. 결 론

Acknowledgements

References

저자소개

조은기 (Eungi Cho)

김현석 (Hyeonseok Kim)

박성근 (Seongkeun Park)

Article Information (continued)

Key words

KIEEThe Transactions of
the Korean Institute of Electrical Engineers