2.1 데이터셋 및 전처리

본 논문에서는 이동 로봇에 32채널 LiDAR를 탑재하여 실제 과수원 환경에서 취득된 3D 로봇 주행 데이터를 활용하였다^[7]. 해당 데이터는 경로 식별 및 객체 탐지를 위한 데이터로 2D 바운딩 박스, 3D 바운딩 박스 형태의 cuboid, 세그멘테이션의세가지 유형으로 label이 구성되어 있다. 본 논문에서는 농업 환경에서 3D 객체 모델의 성능을 평가하기 위하여 cuboid로 구성된3D 데이터를 사용하였다.

사용한 3D 데이터는 총 138,504장의 프레임으로 구성되어 있으며, 포인트 클라우드 데이터와 각 객체에 대한 label 정보로이루어져 있다. 포인트 클라우드 데이터는 3차원 좌표계에서 객체의 위치를 나타내는 x, y, z 좌표값으로 구성되어 있고, 각 객체에 대한 label은 3D 바운딩 박스 형태의 cuboid로 표현된다. 이cuboid로 표현된 label은 각 객체의 3차원 공간 내 중심 좌표와객체의 크기, 회전 정보, 그리고 객체의 클래스 정보를 포함하고있다.

전체 138,504개의 프레임 중, 학습 모델을 훈련시키기 위해 104,494개의 프레임을 학습 데이터셋으로 사용하였으며, 모델의성능을 검증하기 위해 17,004개의 프레임을 검증 데이터셋으로, 나머지 17,006개의 프레임을 테스트 데이터셋으로 분할하여 활용하였다. 이러한 데이터 분할 방식은 학습된 모델의 일반화 성능을 평가하는 데 중요한 역할을 하였으며, 모델이 새로운 데이터에 대해 얼마나 잘 일반화할 수 있는지를 평가하는 데에 사용된다.

사용된 데이터셋은 다양한 객체들을 포함하고 있으며, 총7개의 클래스로 구성되어 있다. 이 클래스들은 사람, 손수레, 운반차, 트럭, 방제기, 사다리, 과수 박스와 같이 실제 농업 환경에서빈번히 발견되는 요소들로 이루어져 있다. 이러한 객체들은다양한 형태와 크기를 가지고 있으며, 각각의 객체가 포인트 클라우드 데이터로 표현되었을 때의 형태와 라벨링 방식도 차이가있다. 예를 들어, 사람은 다른 객체들에 비해 크기가 작고 특정한 형태를 가지며, 트럭이나 운반차와 같은 운송 수단은 더크고 복잡한 3차원 구조를 가진다. 그림 1은 각 7개 클래스에해당하는 이미지와 포인트 클라우드 데이터, 그리고 그에 대응하는 label 예시를 보여 준다. 그림은 (a)부터 (f)까지 차례대로사람과 과수 박스, 사람과 손수레, 운반차, 트럭, 사람과 사다리 방제기의 이미지와 포인트 클라우드 데이터, 그리고 cuboid 형태의 label 예시를 포함하고 있다.

그림 1. 사용된 데이터의 이미지와 포인트 클라우드 예시

Fig. 1. The used data examples of images and point clouds

또한, 실제 농업 환경에서의 3D 객체 검출 모델의 활용 가능성을 평가하기 위해, 총 7개의 클래스를 보다 단순화된 3개의 클래스로 묶어 사용하였다. 사람, 운송 수단, 장애물이라는 큰 범주로 나누어 학습 및 평가를 진행하였으며, 이 과정에서 운반차와 트럭은 운송 수단으로, 손수레, 방제기, 사다리, 과수 박스는 장애물로 구분되었다. 이를 통해 모델이 작업자, 운송 수단, 그리고 장애물 간의 차이를 인식하고 구분할 수 있는 능력을 평가하고자 하였다. 더불어, 포인트 클라우드 데이터에서 정확한 객체 검출을 방해할 수 있는 불필요한 영역의 포인트와 이상치를 보이는 outlier 포인트를 제거하는 전처리 과정을 거쳤다. 결론적으로, 본 연구에서는 농업 환경에서 3D 객체 검출을 위한 데이터를 체계적으로 분류하고, 각 클래스별로 포인트 클라우드 데이터를 분석함으로써 실용적인 AI 모델 개발을 목표로 하였다.

2.2 객체 검출 모델 학습 및 성능 평가

본 논문에서 목적으로 하는 전체적인 객체 검출 시스템 개요도는 그림 2와 같다.

그림 2. 농업 환경에서의 3D 객체 검출 시스템 개요도

Fig. 2. The architecture of a 3D object detection system in an agricultural environment

실제 농작업 환경에서 LiDAR를 통하여 실시간으로 포인트 클라우드 데이터를 취득하고, 이를 학습된 딥러닝 기반의 3D 객체 검출 모델을 사용하여 실시간으로 객체검출을 진행한다.

전처리한 포인트 클라우드 데이터를 이용하여 3D 객체 검출모델을 학습하고 성능 평가를 진행하였다. 본 논문에서는 3D 객체 검출 모델로 PointPillars^[8]를 사용하였다.

그림 3. PointPIllars 프레임워크 ^[8]

Fig. 3. PointPIllars framework ^[8]

PointPillars는 입력된 포인트 클라우드 데이터를 기둥(pillars) 텐서와 인덱스 텐서(pillar index)로 변형한다. 이 과정에서 포인트 클라우드는 x-y 평면에서 균일한 격자로 나뉘어 기둥 형태로 변환되며, 각 기둥에 대한 특징 정보와 위치 정보가 각각기둥 텐서와 인덱스 텐서에 저장된다. Pillar의 특징을 encoding하기 위해 기존 3D 객체 검출 모델인 PointNet^[9]을 간소화하여 적용한다. Encoding을 통해 입력 데이터는 2D convolutional layer로 입력될 수 있는 데이터 형식인 pseudo-image로 만든다. 이 pseudo-image는 인코딩된 특징들을 원래 기둥 위치로 다시 배치하여 생성된 2D 특징 맵이다. 출력된 데이터를 입력으로 2D convolution을 적용하여 고수준 특징을 추출하고, 최종적으로 SSD(Single Shot Detector)^[10] 스타일의 검출 헤드를 사용하여 3D 바운딩 박스를 예측하는 방식으로 객체 검출을 진행한다.

이러한 PointPillars 모델은 복잡한 3D 컨볼루션 연산을 피하면서도 중요한 공간 정보를 유지하여 메모리 사용량을 줄일 수 있어 대규모 데이터 처리에 적합하다. 또한 높은 처리 속도로 실시간 객체 검출에 이점을 보이기 때문에 본 실험에 활용하였다. 그림 3은 PointPillars의 전체적인 모델 구조를 나타낸다.

표 1은 취득된 데이터를 이용하여 PointPillars 모델로 3D 객체검출을 진행한 결과를 나타낸다. IoU(Intersection over Union)는 예측된 cuboid와 실제 label cuboid 간의 겹침 정도를 나타내는 지표로, 두 cuboid의 교집합 영역을 두 cuboid의 합집합 영역으로 나눈 값으로 계산된다. 값이 1에 가까울수록 예측이 정확하게 이루어졌음을 의미한다. 보통 IoU threshold(임계값)를 설정하여, 해당 임계값 이상일 경우에만 객체가 정확히 검출되었다고 판단한다.

IoU threshold를 0.5로 설정하여 label cuboid와 prediction cuboid의 AP(Average Precision)를 계산하였다. AP는 Precision-Recall 곡선의 면적을 의미하며, 모델의 전반적인 검출 성능을 평가하는 데 사용된다. Precision은 모델이 얼마나 정확하게 객체를 검출했는지를, Recall은 모델이 실제 객체를 얼마나 많이 찾아냈는지를 나타낸다. AP는 이 두 지표를 종합하여, 다양한 임계값에서의 성능을 하나의 숫자로 요약한 값이다. AP_R40은 Recall을 40개의 구간으로 나누어 더 세분화된 평균 Precision을 계산한 결과를 나타낸다.

사람 객체의 경우 AP에서 54.0876, AP_R40에서는 52.8805의 결과를 보이고, 운송 수단 객체의 경우 AP에서 79.7098, AP_R40에서는 82.1503의 결과를 보이며, 장애물 객체는 AP에서 55.9191, AP_R40에서는 56.5728의 결과를 보인다.

그림 4. 객체 검출 예시 시각화

Fig. 4. Visualization of 3D object detection

그림 4는 포인트 클라우드에 대한 label과 모델이 예측한 cuboid를 겹쳐 객체 검출의 예시를 시각화한 것이다. 예시의 (a)에서 초록색 cuboid는 운송 수단에 대한 모델의 예측을, 보라색 cuboid는 운송 수단에 대한 실제 정답을 의미하는 label을 나타낸다. 예시 (b)에서 노란색 cuboid는 사람에 대한 모델의 예측을 의미하고, 하늘색 cuboid는 장애물에 대한 모델의 예측을 의미한다. 파란색과 빨간색 cuboid는 각각 사람과 장애물 class에 대한 label을 의미한다.

모델이 예측한 class와 label의 class가 동일하고, 예측 cuboid와 label의 cuboid가 많이 겹쳐 있을수록 모델의 객체 검출 능력 정확도가 높다고 해석할 수 있다.

그림 5. 객체 오검출 예시 시각화

Fig. 5. Visualization of an example of object misdetection

그림 5는 객체 오검출 예시를 시각화한 것이다. 예시의 (a)는 모델이 class를 오판단했을 때의 예시로, 하늘색 cuboid는 모델이 장애물이라고 예측한 cuboid다. 빨간색과 파란색 cuboid는각각 장애물과 사람 class에 대한 label을 의미한다. 예시의 (b)는 모델이 객체를 검출하지 못했을 때의 예시로, 노란색 cuboid는모델이 사람이라고 예측한 3D 바운딩 박스를 의미한다. 모델이사람 객체는 잘 검출하였지만, 장애물 객체는 검출해 내지 못하는 경우의 예시를 보여준다.