2.1 전체 시스템 블록도

본 논문에서 제안하는 DTW 알고리즘을 이용한 다중 객체 추적 방법의 시스템 블록도는 그림. 1과 같다.

제안하는 방법은 입력 영상을 받아와 이동 객체 추출을 위해 GMM 방법으로 배경을 모델링한다^[15]. 다음, 조도의 변화에 따른 잡음을 제거하기 위해 Morphology 방법을 이용하며 최종적으로 추출 된 이동 객체 영역을 Labeling을 한다. 이동 객체를 Labeling 했을 경우 하나의 이동 객체가 여러 객체로 Labeling 이 되는 문제점을 제안한 방법으로 나뉜 이동 객체의 Labeling 을 병합하여 인식한다^[16]. 인식된 이동 객체를 제안한 방법으로 각각 HSV과 RGB의 값을 추출하고 추출 된 데이터를 DTW DB에 순차적으로 저장하고 저장된 DTW DB와 이동 객체를 유사도 판단한다. 유사도 판단 결과 첫 번째 DTW DB와 유사도가 높은 객체를 첫 번째 이동 객체라 판단하고 첫 번째 이동 객체라 분류한다. 그 후 제안한 방법을 반복하여 DTW DB순서에 따라 이동 객체를 분류하고 분류된 이동 객체를 실시간으로 유사도 비교하여 추적 및 겹침 판단한다.

2.2 입력 영상에서의 이동 객체 추출 및 인식

본 논문에서는 입력되는 영상에서 배경으로부터 전경을 추출하기 위해 GMM 방법을 이용한다. 모델링 된 결과 배경에서 분류된 전경은 이동 객체를 나타내며 이동 객체의 그림자 및 미세한 흔들림으로 인해 발생하는 잡음을 제거하기 위해 Morphology 방법인 침식 (erosion)과 팽창(dilation) 연산을 수행하여 이동 객체를 추출한다. 다음 GMM 결과와 Morphology 를 이용하여 이동 객체 추출한 결과는 그림. 2와 같다. 그림. 2(a)는 실험 환경의 배경이며, 그림. 2(b)는 카메라로부터 입력된 영상이다. 그림. 2(c)는 GMM을 이용하여 다수의 이동 객체 추출한 결과를 나타내며, 그림. 2(d)는 이동 객체의 그림자 및 미세한 흔들림으로 인해 발생하는 잡음을 제거하기 위해 Morphology 방법인 침식과 팽창 연산을 수행한 결과를 나타낸다.

다음, 추출된 이동 객체에 대해 Labeling 방법을 이용하여 다수의 객체를 인식하고 불필요한 영역 제거를 위해 일정한 크기 이하의 라벨은 잡음으로 판단해 제거한다. 하지만 이동 객체를 Labeling 할 때 하나의 이동 객체가 다수의 객체로 분류될 경우가 존재한다. 해당 문제를 해결하기 위해 (1)번 조건식에 해당하는 라벨들을 하나의 객체로 판단하여 정합한다.

$Label\min_{n}$은 $n$번째 라벨의 좌측 상단 좌표를 의미하며,$Label\min_{a}$은 $a$($a\ne n$)번째 라벨 좌측 상단 좌표를 의미하고, $m$은 임의로 지정한 거리의 임계치이다.

제안한 방법을 이용하여 Labeling 하는 방법은 그림. 3과 같다. 그림. 3(a)는 추출된 이동 객체의 결과이며 그림. 3(b)는 추출된 이동 객체를 인식하기 위하여 Labeling 한 결과를 나타낸다. 그러나 객체가 잡음이나 조명 등에 인하여 소실되는 문제 때문에 하나의 객체가 다수의 Labeling이 되는 결과를 나타내며 그림. 3(c)는 제안한 방법을 이용해 이동 객체를 Label_Merge하여 인식한 결과를 나타낸다^[17].

다음, 인식된 이동 객체를 강인하게 인식하기 위하여 이동 객체의 색상 정보를 추출한다. 이동 객체의 데이터를 추출하는 방법은 다음과 같다. 먼저, 영상 내 이동 객체가 검출되는 시작 부분 근처에 ROI(Region Of Interest)를 지정하고, ROI 영역에 이동 객체가 들어와 ROI의 지면 좌표와 분리될 경우 이동 객체의 HSV(Hue-Saturation-Value)와 RGB의 색상 정보의 데이터를 추출하여 DTW DB에 저장한다^[18].

추출한 HSV를 이용하여 ROI영역의 히스토그램을 추출하며 추출하는 식은 다음과 같다.

식 (3)은 히스토그램을 추출하는 식이며 v는 각 색상 영역의 값이며 $PD(x,\:y)$는 Pixel Data의 값이다.

그림. 4(a)는 영상 내 이동 객체가 검출되는 곳에 빨간색 네모 ROI가 있다 가정하며 그림. 4(b)와 같이 이동 객체가 영상 내 검출되어 인식되어 있지만 ROI의 지면의 좌표와 완전히 이동 객체가 분리가 되어 있지 않아 색상 정보가 추출되고 있지 않음을 나타낸다. 그림. 4(c)는 이동 객체가 지정한 ROI의 지면과 라벨이 분리되면 객체 당 초기에 1회 식 (3)와 같이 이동 객체의 HSV 색상 데이터를 들어온 순서대로 ID와 Histogram정보를 DB에 저장한다. 그 이후 식 (4)와 같이 객체의 오브젝트를 저장한다.

상기 식에서 $Ch$는 HSV의 각 채널이다. 이후 오브젝트 개수와 저장된 DB의 수를 비교하여 오브젝트 개수가 DB의 개수보다 많으면 상기의 과정을 통해 다음 오브젝트의 DB를 저장한다.

2.3 DTW 알고리즘을 이용한 이동 객체 분류

기존의 DTW 알고리즘을 이용한 본 문의 유사도 비교 방법은 다음 식 (6)과 같다.

식 (6)의$D_{(I,\:j)}[Ch]$는 상관표 $d(OB_{v,\:I}[Ch],\: DB_{v,\:j}[Ch])$은 두 패턴 사이의 거리를 나타내며, $OB_{v,\:I}[Ch]$는 이동 객체의 히스토그램의 데이터, $Db_{v,\:j}[Ch]$는 DTW DB에 저장된 이동 객체의 히스토그램이다. $OB_{v,\:I}[Ch]$와 $Db_{v,\:j}[Ch]$ 비교하여 왼쪽 상단 $D_{(1,\:1)}$부터 $D_{(I,\:j)}$까지 식 (6) 방식으로 누적 거리를 정의 후 누적 거리 중에서 최솟값을 더하여 할당한다. 그 후 $D_{(I,\:j)}$부터 $D_{(1,\:1)}$까지 역추적을 통해 유사도를 비교하고, 다중 이동 객체의 분류 방법을 제안한다. 제안한 유사도 비교의 방법은 다음 식과 같다.

식 (7)은 $OB_{v,\:I}[Ch]$의 $I$와 $Db_{v,\:j}[Ch]$의 $j$ 색상 채널별 DTW 유사도를 더하는 식이며 $Ch N m$은 사용한 색상 채널의 수이다. 식 (7)을 이용하여 각 채널별 유사도가 더해진 값 $SD_{(I,\:j)}$을 추출한 뒤 가장 유사도가 높은 값을 다음 식 (8)을 통해 선별한다.

식 (8)은 더해진 오브젝트 $OB_{v,\:I}[Ch]$의 $I$와 $Db_{v,\:j}[Ch]$의 $j$ 유사도 중 가장 작은 값(매칭률이 가장 높은 값)을 찾는 식이며 본 논문에서는 실험 환경에 3명의 다중 이동 객체를 위의 식의 순서대로 분류하였고, 분류 된 이동 객체는 Labeling의 색으로 구분한다. 분류된 이동 객체는 다음 그림 5와 같다.

그림. 5(a)는 저장된 DTW DB와 동일 객체를 식 (6)과 같이 유사도 비교할 때를 나타낸다. 그림. 5(b)는 DTW DB와 다른 객체의 유사도 비교할 때를 나타낸다. 그림. 5(c)는 식 (8)을 이용하여 객체를 유사도에 따라 RED 색의 Labeling을 하여 첫 번째 객체라고 인식 분류한다. 위의 방식대로 2번째 DB와 각각 이동 객체를 수시로 비교하여 낮은 객체는 GREEN, BLUE 순서대로 분류한다.

2.4 이동 객체의 겹쳐짐, 분리 상태 판단 및 추적방법

다중 이동 객체 추적 시 이동 객체끼리 겹쳤을 경우 추적에 제한이 생겨 겹쳐짐 상태와 겹쳐짐 이후 분리 상태를 판단해야 하고 다시 추적이 가능해야 한다^[19]. 앞서 제안한 인식 및 분류 방법은 각 각의 이동 객체가 분류가 되어 있어 인식이 가능한 장점을 갖고 있지만 이동 객체끼리 겹쳐졌을 땐 이동 객체를 인식하고 분류할 수 없는 문제점이 생긴다. 본 연구에서는 이를 보완하기 위해 겹쳐짐 상태와 분리 상태의 판단 방법을 제안한다. 먼저 이동 객체는 동시에 두 개의 객체만 겹친다고 가정하며 겹쳐짐 상태 판단은 다음 식 (9)를 통해 판단한다.

식 (9)에서 $OJd$는 겹침 판단의 첫 번째 조건,$Ovlb$은 객체 겹침 상태를 나타내며, $Obj_{nc},\: Obj_{ac}$ 는 이동 객체의 중심점의 좌표이다. $OB_{cnt}$는 이동 객체의 수, $DB_{cnt}$ 는 DTW DB의 수를 나타내며 $Obj_{nc},\: Obj_{ac}$ 의 중심점 거리가 미리 설정한 $Ob_{c}Dis$ 보다 가까워지면 첫 번째 조건을 만족하여 $OJd$ 상태이며, 두 번째 조건인 $DB_{cnt}$ 와 $OB_{cnt}$를 비교하여 $DB_{cnt}$보다 $OB_{cnt}$ 의 개수가 적을 경우 두 가지 조건을 모두 만족해 겹침이라 판단한다. 그림. 6은 이동 객체의 겹쳐짐 판단에 대한 그림이다.

그림. 6(a)는 다중 이동 객체 추적 중 첫 번째 이동 객체인 A와 두 번째 이동 객체인 B의 중심점이 설정한 거리 임계치보다 작아 겹침 판단의 첫 번째 조건에 해당해 두 객체를 Labeling 한다. 그림. 6(b)는 첫 번째 조건이 충족된 상태에서 저장된 DTW DB보다 이동 객체의 숫자가 적다는 두 번째 조건이 성립하여 A, B 객체는 겹침 상태라 판단한다. 그림. 6(c)는 그림. 6(b)와 같이 두 조건이 만족해 A, C 객체가 겹쳐짐 상태로 판단되는 그림이며, 그림. 6(d)는 두 조건이 만족하지 않아 분리 판단 중인 상태이다.

다음 그림. 7은 이동 객체가 겹침 이후 분리 시 추적에 대한 그림이다. 그림. 7(a)는 본 논문에서 제안한 겹침 판단의 두 조건이 해당하여 이동 객체가 겹쳐진 상태를 나타내며 그림. 7(b)는 겹침 판단의 두 조건이 해당하지 않아 이동 객체 분리를 판단하는 과정을 나타낸다. 그림. 7(c)는 분리 판단하는 과정에서 DTW 유사도 매칭을 통하여 이동 객체를 유사도 비교하여 다시 매칭해 이동 객체를 분류하는 과정을 나타내며 그림. 7(d)는 완전히 겹침 판단의 두 조건에 해당하지 않아 이동 객체를 분리하고 DTW DB와 이동 객체를 실시간으로 매칭하고 추적에 대하여 보완하고자 식 (10)을 이용하여 추적에 성능을 높인다.

식 (10)은 $i$번 객체의 이전 위치 $PP_{i}$와 현재 위치 $CP_{i}$의 유클리디언 거리가 미리 설정한 거리 임계치 $Track Dis$보다 적은지 판단하는 식이다. 여기서, 임계치보다 같거나 클 경우 분류에 오차가 있다 판단하여 가장 근처의 이미지를 오브젝트의 중심 값이 가장 가까운 오브젝트를 $PP_{i}$와 같은 객체로 판단한다.