서태영
(Taeyoung Seo)
*iD
이채원
(Chae-Won Lee)
*iD
정경용
(Kyungyong Chung)
†iD
-
(Division of AI Computer Science and Engineering, Kyonggi University, Republic of Korea.
E-mail : hook7275@naver.com, lcwon0611@naver.com)
Copyright © The Korean Institute of Electrical Engineers
Key Words
Anomaly Detection, Intelligent CCTV, Object Tracking, Hybrid Clustering, Spatiotemporal Analysis
1. 서 론
현대 사회에서 공공장소, 기업, 주거지 등 다양한 생활 영역의 안전을 확보하기 위해 CCTV 기반의 침입 탐지 시스템이 필수적인 보안 인프라로 자리
잡고 있다. 이러한 시스템은 카메라를 통해 수집된 실시간 영상 데이터를 분석하여 비인가된 접근이나 잠재적인 위협을 감지함으로써 자산과 인명을 보호하는
핵심적인 역할을 수행한다. 초기 시스템은 단순한 영상 기록에 그쳤으나, 최근에는 영상을 지속적으로 모니터링하고 사전에 정의된 규칙이나 패턴에 따라
이상 행동을 능동적으로 식별하여 경고를 발생시키는 지능형 시스템으로 발전하고 있다[1]. 그러나 이러한 기술적 진보에도 불구하고, 기존의 영상 보안 시스템과 선행 연구들은 실제 운영 환경에서 다음과 같은 뚜렷한 한계점들을 노출하고 있다.
첫째, 기존의 단순 규칙 기반 알고리즘은 복잡하고 동적인 환경 변화에 유연하게 대응하지 못하여 탐지의 정확도가 저하되는 문제가 있다. 예를 들어,
날씨 변화에 따른 조도 차이, 바람에 흔들리는 나뭇가지와 같은 그림자, 혹은 야생 동물의 움직임 등을 실제 침입으로 오인하는 빈번한 오탐과 미탐은
시스템의 신뢰도를 떨어뜨리는 주된 원인이 된다. 둘째, 다수의 카메라를 운용하는 대규모 통합 관제 환경에서 시스템 자원의 한계와 모니터링 효율성의
저하 문제가 발생한다. 방대한 양의 고해상도 영상 데이터를 실시간으로 처리하는 과정에서 시스템 과부하가 발생할 수 있으며, 물리적으로 한정된 인력으로
수많은 화면을 동시에 모니터링하여 긴급 상황에 즉각적으로 대응하는 데에는 한계가 있다. 셋째, 사용자 설정 프로세스의 복잡성과 비효율성 문제가 존재한다.
기존 시스템은 감지 영역이나 임계값 등 다양한 매개변수를 일일이 수동으로 설정해야 하는 번거로움이 있어 비전문가에게 진입 장벽이 될 뿐만 아니라,
환경 변화에 따른 재설정 비용을 증가시켜 운영의 유연성을 저해한다.
따라서 본 연구에서는 위 한계점들의 해결을 위해 딥러닝 기반의 정밀 객체 추적 기술과 군집 중신 거리 및 밀도 기반의 이중 군집화 기법을 통합한 4단계
이상 탐지 모델을 제안한다. 제안하는 방법은 첫째, 실시간 객체 탐지에 특화된 YOLO와 다중 객체 추적 알고리즘인 DeepSORT를 활용하여, 영상
내 객체를 정밀하게 탐지하고 폐색 상황에서도 객체의 고유 ID를 유지하며 좌표를 추적한다. 그 후 K-Means 알고리즘을 적용하여 군집 중심 거리를
산출함으로써 객체의 주 이동 경로를 정의하고 중심에서 기하학적으로 이탈한 궤적을 1차적으로 선별한다. 마지막으로, DBSCAN 알고리즘을 통해 시공간
밀도를 분석하여, 정상적인 군집에 속하지 않는 구조화되지 않은 희소 궤적을 최종적인 이상 행위로 탐지한다. 아울러 본 연구는 탐지된 객체의 시공간적
이동 빈도를 분석하여 빈도가 낮은 영역을 자동으로 침입 불가 구역으로 학습하게 함으로써, 복잡한 수동 설정 없이도 환경에 최적화된 자율적인 감시 체계를
구축하고 침입 탐지의 정확도와 관리 편의성을 획기적으로 향상시키는 것을 목표로 한다.
2. 관련 연구
2.1 객체 탐지 및 추적 기반 데이터 추출 연구
CCTV 영상 분석을 통해 이상 궤적을 탐지하기 위해서는 우선 영상 내 객체를 정밀하게 인식하고, 이를 연속적인 데이터 흐름으로 변환하는 과정이 선행되어야
한다 [2]. 초기 객체 탐지 기술은 SIFT(Scale-Invariant Feature Transform)나 HOG(Histogram of Oriented
Gradients)와 같은 핸드크래프트 특징 추출 방식을 주로 사용하였다. 그러나 이러한 방식은 조명 변화가 심하거나 객체가 겹치는 복잡한 CCTV
환경에서는 탐지율이 현저히 떨어지는 한계가 있었다. 이후 CNN(Convolutional Neural Networks) 기반의 딥러닝 기술이 도입되면서,
객체의 고유한 특징을 스스로 학습하여 탐지 성능을 비약적으로 향상시켰다. 특히 최근에는 딥러닝 기반의 영상 분석을 통해 이동 객체를 정밀하게 탐지하거나
[11], 객체의 자세(Pose)를 추정하여 비접촉 방식으로 행동을 분석하는 연구로 확장되고 있다 [12]. 또한, 트랜스포머 모델을 적용하여 객체의 복잡한 이동 패턴을 효과적으로 마이닝하고 분류하려는 시도도 활발히 이루어지고 있다 [8]. 딥러닝 기반 객체 탐지 모델 중 본 연구에서 핵심적으로 활용하는 YOLO 알고리즘은 2단계 방식을 사용하는 R-CNN 계열과 달리, 객체 탐지를
하나의 회귀 문제로 접근하여 처리 속도를 획기적으로 개선한 모델이다[3]. YOLO는 입력 이미지를 S × S 크기의 그리드로 분할하고, 각 그리드 셀마다 다수의 바운딩 박스와 해당 객체의 클래스 확률을 동시에 예측한다.
이때 예측되는 정보는 바운딩 박스의 중심좌표 (x, y)와 크기 (w, h), 그리고 신뢰도이다. 특히 YOLO가 산출하는 중심좌표 (x, y)는
본 연구에서 제안하는 군집 중심 거리를 계산하기 위한 가장 기초적인 단위 데이터가 되므로, YOLO의 빠른 추론 속도와 높은 위치 정확도는 전체 시스템의
성능을 결정짓는 중요한 요소이다. 단일 프레임에서의 탐지뿐만 아니라, 객체의 이동 경로를 파악하기 위해서는 프레임 간의 객체를 연결하는 추적 기술이
필수적이다. 단순 탐지만으로는 객체의 연속적인 움직임을 파악할 수 없어 밀도 분석이 불가능하기 때문이다. 본 연구에서는 이를 위해 DeepSORT
알고리즘을 적용한다[4]. DeepSORT는 기존 SORT 알고리즘의 한계를 극복하기 위해 제안된 기법으로, 칼만 필터와 헝가리안 알고리즘에 딥러닝 기반의 외형 특징 정보를
결합하여 추적 성능을 고도화하였다. 구체적으로 DeepSORT는 칼만 필터를 통해 현재 객체의 운동 상태를 기반으로 다음 프레임에서의 위치를 예측하고,
헝가리안 알고리즘을 사용하여 예측된 위치와 실제 탐지된 객체 간의 매칭을 수행한다. 이때 단순히 위치 거리만 고려하는 것이 아니라, CNN을 통해
추출된 객체의 시각적 특징 벡터 간의 코사인 거리를 함께 계산한다. 이를 통해 객체가 서로 교차하거나 장애물에 의해 잠시 가려지는 폐색 상황에서도
객체의 ID가 바뀌는 스위칭 현상을 방지하고 고유 ID를 유지할 수 있다. 결론적으로, YOLO를 통해 획득한 정밀한 객체 중심좌표와 DeepSORT를
통해 보정된 연속적인 이동 경로 데이터는 노이즈가 최소화된 고품질의 시계열 데이터셋을 구성하게 된다. 이는 후술할 시공간 클러스터링 단계에서 군집의
밀도와 중심점 거리를 정확하게 산출하여 이상치를 판별하는 핵심적인 기반이 된다.
2.2 시공간 데이터 군집화 및 이상 탐지 원리
CCTV 영상 데이터로부터 추출된 객체의 이동 경로는 고차원의 시계열 데이터 특성을 가진다. 이러한 데이터에서 비정상적인 행위를 식별하기 위해서는
데이터의 분포적 특성을 수학적으로 모델링하여 '정상'과 '비정상'의 경계를 명확히 확정해야 한다. 최근 딥러닝을 이용한 이상 탐지 분야에서는 실제
환경의 영상을 기반으로 이상 징후를 탐지하거나 [7], 트랜스포머 기반의 특징 추출기를 활용하여 경량화된 탐지 모델을 구축하는 연구가 진행되고 있다 [9]. 또한, 단순히 이상 여부만을 판별하는 것을 넘어, 객체 간의 의미론적 관계를 마이닝하여 이상 행동을 텍스트로 설명하려는 심층적인 연구도 수행되고
있다 [10]. 그러나 본 연구에서는 직관적인 군집 중심 거리를 이용한 거리 기반 분석과, DBSCAN을 활용한 밀도 기반 분석을 상호보완적으로 결합하여 이상
탐지의 정밀도를 극대화하는 데 집중한다. 우선, 객체의 이동 패턴을 정형화하기 위해 1차적으로 K-Means 클러스터링을 적용한다[6]. 이 알고리즘의 핵심 목적 함수는 각 데이터 포인트와 해당 군집의 중심점 간의 거리 제곱 합을 최소화하는 것으로, 식 (1)과 같이 정의된다.
여기서 $r_{nk}$는 데이터 $x_n$이 군집 k에 속할 경우 1, 그렇지 않으면 0을 갖는 이진 지시 변수이며, $\mu_k$는 군집 k의 중심
벡터를 의미한다. 본 연구에서 제안하는 군집 중심 거리는 바로 이 수식에서의 $||x_n - \mu_k||$ 값, 즉 '개별 객체의 궤적과 정상 궤적
중심 간의 유클리드 거리'를 지칭한다. 통상적인 이동 패턴을 가진 객체들은 주된 이동 경로를 따라 이동하므로 중심점에 근접하게 분포하여 작은 거리
값을 가진다. 반면, 무단 침입이나 경로 이탈과 같은 이상 행위 객체는 형성된 군집의 중심으로부터 멀리 떨어져 위치하게 되므로, 임계치 이상의 높은
중심 거리 값을 갖게 된다. 이를 통해 전체적인 이동 경로의 기하학적 이탈 여부를 1차적으로 판별할 수 있다. 거리 기반 분석이 전체적인 경로의 모양을
통해 이상을 탐지한다면, 밀도 기반 분석은 데이터의 '응집력'을 평가하여 국소적인 이상치를 탐지하는 역할을 수행한다. 이를 위해 본 연구는 DBSCAN
알고리즘을 적용한다[7]. DBSCAN은 사전에 군집의 개수(K)를 지정할 필요 없이, 데이터의 밀도가 높은 영역을 연결하여 군집을 형성하며, 밀도가 기준치에 미치지 못하는
데이터를 노이즈로 분류한다. 이상 탐지 관점에서 이 '노이즈'는 매우 중요한 의미를 가진다. 정상적인 보행자나 차량은 특정 시간대에 특정 경로로 빈번하게
이동하므로 높은 밀도의 군집을 형성한다. 그러나 배회, 침입, 역주행 등의 이상 행위는 발생 빈도가 낮고 시공간적으로 흩어져 있어 밀도가 희소하게
나타난다. 따라서 DBSCAN을 통해 노이즈로 분류된 데이터는 통계적으로 유의미한 비정상 행위로 간주할 수 있다. 결론적으로, 본 연구는 K-Means를
통해 산출된 중심 거리로 궤적의 기하학적 편차를 측정하고, DBSCAN을 통해 밀도가 낮은 희소 궤적을 필터링하는 이중 검증 체계를 구축함으로써,
오탐을 줄이고 탐지 신뢰성을 높이는 방법론을 제안한다.
3. 군집 중심 거리 및 밀도 기반의 이상 탐지 모델
본 연구에서 제안하는 이상 탐지 모델은 CCTV 영상 데이터로부터 객체의 이동 패턴을 학습하고, 시공간적 특징을 분석하여 비정상 행위를 식별하는 것을
목표로 한다. 전체 프로세스는 Fig. 1과 같이 총 4단계의 파이프라인으로 구성된다. 첫 번째 단계에서는 YOLO를 이용하여 영상 내 객체를 탐지하고, DeepSORT를 통해 프레임 간
동일 객체의 ID와 좌표를 연속적으로 추적한다. 두 번째 단계에서는 추적 결과로부터 객체 ID, 프레임 번호, 중심 좌표, 속도 벡터를 추출하여 시계열
기반의 정형 데이터로 변환한다. 세 번째 단계에서는 K-Means 알고리즘을 적용하여 정상 이동 경로의 군집 중심을 산출하고, 각 객체 궤적이 군집
중심으로부터 얼마나 이탈했는지를 계산한다. 마지막 단계에서는 DBSCAN을 적용하여 ε 반경과 MinPts 조건을 기준으로 고밀도 정상 궤적과 저밀도
희소 궤적을 구분하고, 어떤 군집에도 속하지 않는 노이즈 데이터를 최종 이상 궤적으로 판별한다.
그림 1 군집 중심 거리 및 DBSCAN 기반 밀도 분석을 이용한 이상행동 탐지 프로세스
Fig. 1. Process of Abnormal Behavior Detection using Cluster Centroid Distance and
DBSCAN-Based Density Analysis
3.1 YOLO 기반의 객체 탐지 및 좌표 추출
CCTV 기반 보안 시스템의 핵심은 복잡한 도심 환경이나 다수의 객체가 등장하는 상황에서도 빠르고 정확하게 객체를 식별하는 것이다. 이를 위해 본
연구에서는 1-Stage Detector의 대표적인 모델인 YOLO 알고리즘을 핵심 탐지 모듈로 채택하였다. 기존의 R-CNN 계열과 같은 2-Stage
Detector는 높은 정확도를 보이나 연산 속도가 느려 실시간 관제에 부적합한 반면, YOLO는 객체 탐지를 하나의 회귀 문제로 재정의하여 처리
속도를 획기적으로 개선했기 때문이다. YOLO 모델은 입력된 전체 이미지를 S × S 크기의 그리드로 분할하고, 각 그리드 셀에서 다수의 바운딩 박스와
해당 객체의 클래스 확률을 병렬적으로 예측한다. Fig. 2는 본 연구에서 YOLO 모델을 실제 CCTV 영상에 적용하여 보행자와 차량을 탐지한 결과이다.
그림 2 객체 탐지 및 추적 과정
Fig. 2. Object Detection and Tracking Process
그림과 같이 각 객체는 'Person', 'Car' 등의 클래스로 명확히 분류되며, 바운딩 박스를 통해 객체의 영역이 식별된다. 본 시스템은 탐지된
바운딩 박스의 좌상단 좌표와 너비, 높이 정보를 이용하여 객체의 기하학적 중심점을 계산하고, 이를 객체의 대표 시공간 좌표 (x, y)로 추출한다.
이 중심 좌표는 단순한 위치 정보를 넘어, 후속 단계에서 수행될 군집 중심 거리 계산의 기준점이자 이동 궤적을 형성하는 핵심 단위 데이터로 활용된다.
3.2 DeepSORT를 이용한 객체 추적 및 데이터 전처리
단일 프레임에서의 객체 탐지만으로는 시간에 따른 이동 경로나 속도 변화와 같은 동적인 정보를 파악할 수 없다. 따라서 프레임 간 객체의 연속성을 보장하기
위해 탐지 단계 직후 추적 알고리즘이 필수적으로 수반되어야 한다. 본 연구에서는 DeepSORT 알고리즘을 적용하여, 객체가 이동하거나 구조물에 의해
잠시 가려지는 폐색 상황이 발생하더라도 객체의 고유 식별자가 유지되도록 설계하였다. 데이터 전처리 단계에서는 YOLO와 DeepSORT를 통해 획득한
비정형 비디오 스트림 데이터를 분석 가능한 수치형 시계열 데이터로 변환하여 CSV 파일로 저장한다. Fig. 3은 추출된 객체 추적 데이터와 이를 정형화한 데이터셋의 구조를 보여준다.
그림 3 프레임별 YOLO-DeepSORT 기반 객체 추적 결과
Fig. 3. Object Tracking Results Using YOLO-Deepsort Across Frames
저장되는 데이터셋은 이상 탐지 알고리즘의 입력 변수로 활용되기 위해 다음과 같은 속성들로 구성된다. 우선 Frame은 영상의 프레임 번호를 의미하며,
데이터의 시간적 순서를 나타내는 타임스탬프 역할을 수행한다. Object_ID는 추적 알고리즘에 의해 부여된 객체의 고유 식별 번호로, 이를 통해
다수의 객체가 혼재된 상황에서도 개별 궤적을 구분할 수 있다. Coordinates (x, y)는 YOLO를 통해 추출된 객체의 중심 좌표를 나타내며,
이는 공간적 위치 정보를 제공한다. 마지막으로 Velocity Vector (dx, dy)는 이전 프레임의 좌표와 현재 프레임의 좌표 차이를 계산하여
산출한 벡터값으로, 객체의 이동 속도와 방향성을 내포한다. 특히 이 속도 벡터는 정지 물체와 이동 물체를 구분하고, 급가속이나 급격한 방향 전환과
같은 이상 징후를 수치적으로 포착하는 데 중요한 변수로 작용한다. 이렇게 전처리된 데이터는 4차원 특징 벡터로 구성되어 다음 단계인 군집화 및 밀도
분석의 핵심 입력 데이터로 사용된다.
3.3 거리 및 밀도 기반의 이중 군집화
본 연구에서는 전처리 과정을 통해 획득한 고차원의 시계열 데이터로부터 비정상적인 이동 패턴을 식별하기 위해, 거리 기반 접근법과 밀도 기반 접근법을
융합한 다각적인 클러스터링 분석을 수행한다. CCTV 영상 내에서 발생하는 객체의 이상 행위는 단순히 공간적인 이탈뿐만 아니라, 속도나 방향의 급격한
변화 등 복합적인 요인에 의해 발생하기 때문에, 단일 알고리즘만으로는 탐지의 정확성을 보장하기 어렵다. 따라서 본 연구는 데이터의 기하학적 중심 거리를
평가하는 K-Means와 데이터의 분포 밀도를 평가하는 DBSCAN을 상호보완적으로 적용하여 이상 탐지 성능을 극대화하는 방법론을 채택하였다. 우선적으로
적용되는 K-Means 알고리즘은 주어진 데이터셋을 K개의 상호 배타적인 군집으로 분할하고, 각 군집의 중심점을 반복적으로 갱신하여 데이터의 분산을
최소화하는 기법이다. 본 연구에서는 객체의 위치 좌표 (x, y)와 속도 벡터 (dx, dy)를 포함하는 4차원 특징 벡터를 입력 데이터로 사용하며,
이 알고리즘의 핵심은 개별 데이터 포인트가 자신이 속한 군집의 중심점으로부터 얼마나 떨어져 있는지를 정량화하는 데 있다. 이를 위해 본 연구는 '군집
중심 거리'라는 개념을 도입하여 이상치를 판별하는 척도로 삼는다. 이는 각 데이터 포인트 $x_n$과 해당 군집의 중심 사이의 유클리드 거리 제곱
합으로 정의되며, 목적 함수 J는 식 (2)과 같이 표현된다.
여기서 $r_{nk}$는 데이터 $x_n$이 군집 $k$에 할당되었을 때 1, 그렇지 않을 때 0의 값을 갖는 이진 지시 변수이다. CCTV 영상
내에서 정상적인 보행자나 차량은 주로 정해진 도로와 보도를 따라 이동하므로, 이들의 궤적 데이터는 특정 중심점을 기준으로 강력하게 응집하는 경향을
보인다. 따라서 정상 데이터는 군집 중심 거리가 작게 나타나는 반면, 무단 침입이나 경로 이탈과 같은 이상 궤적은 군집의 중심에서 기하학적으로 멀리
떨어져 있어 임계값을 초과하는 큰 거리 값을 갖게 된다. 본 연구에서는 이러한 거리적 편차를 1차적인 이상 징후로 정의하고, 전체 데이터 분포 상에서
중심으로부터 가장 멀리 떨어진 상위 데이터를 이상치로 분류하여 잠재적 위협을 식별한다. 그러나 거리 기반 분석은 전체적인 경로의 기하학적 모양을 기준으로
하기 때문에 국소적인 밀도 변화를 감지하는 데에는 한계가 있다. 이를 보완하기 위해 밀도 기반 분석인 DBSCAN 알고리즘을 추가적으로 적용한다.
DBSCAN은 데이터의 공간적 밀도를 기반으로 군집을 확장해 나가는 방식으로, 특정 데이터를 중심으로 하는 반경 ε과 그 반경 내에 존재해야 하는
최소 데이터 개수 MinPts를 통해 제어된다. 보안 관제 환경의 특성상, 정상적인 이동 패턴은 빈번하게 발생하므로 시공간적으로 높은 밀도를 형성하여
핵심 포인트 그룹을 이룬다. 반면, 배회, 역주행, 침입 등의 이상 행위는 발생 빈도가 낮고 불규칙하여 주변 데이터와의 밀집도가 현저히 떨어진다.
DBSCAN은 이러한 저밀도 데이터를 어떠한 군집에도 속하지 않는 노이즈로 분류하는 고유한 특성을 가진다. DBSCAN 과정은 Fig. 1의 마지막 단계와 같이 ε-neighborhood 설정, MinPts 기준 적용, 핵심 포인트 판별, 군집 확장, 노이즈 분류의 순서로 수행된다.
특정 데이터 포인트 p를 기준으로 반경 ε 내에 존재하는 이웃 데이터의 수가 MinPts 이상이면 해당 포인트는 핵심 포인트로 정의된다. 핵심 포인트와
밀도적으로 연결된 데이터들은 하나의 정상 이동 군집으로 확장되며, 충분한 이웃을 갖지 못하고 어떠한 군집에도 포함되지 않는 데이터는 노이즈로 분류된다.
본 연구에서는 이러한 노이즈 데이터를 단순한 측정 오류가 아니라, 정상적인 이동 패턴에서 벗어난 잠재적 이상 궤적으로 간주한다. 따라서 DBSCAN은
K-Means 기반 군집 중심 거리 분석에서 탐지하기 어려운 비정형적이고 희소한 이동 패턴을 보완적으로 탐지하는 역할을 수행한다. K-Means가
구형의 군집을 가정하여 비선형적인 궤적 탐지에 구조적 한계가 있는 반면, DBSCAN은 군집의 형태에 구애받지 않고 임의의 모양을 가진 궤적을 효과적으로
그룹화할 수 있어, 복잡한 곡선 도로 위에서의 이상 행위를 탐지하는 데 탁월한 성능을 발휘한다.
4. 실험 결과 및 분석
제안하는 ‘군집 중심 거리와 밀도 분석을 결합한 이상 탐지 모델’의 성능을 검증하기 위해 Street Scene Dataset[13]을 활용하여 단계별 탐지 성능을 분석하였다. 본 실험은 군집 중심 거리를 기반으로 경로 이탈을 탐지하는 1차 분석과, DBSCAN 기반 밀도 분석을
통해 비정형 이상 궤적을 판별하는 2차 분석으로 구성된다. 또한 비정형 이동 패턴에 대한 탐지 성능을 확인하기 위해 정상 궤적 데이터 사이에 S자형
가짜 궤적을 인위적으로 주입하였다.
4.1 실험 데이터셋 및 환경
본 연구에서는 제안 모델의 이상 궤적 탐지 성능을 검증하기 위해 Street Scene Dataset[13]을 활용하였다. 해당 데이터셋은 정적 카메라 기반의 주간 도심 거리 장면으로 구성되어 있으며, 보행자, 차량, 자전거 등 다양한 객체의 이동이 포함되어
있다. 입력 영상은 YOLO와 DeepSORT를 통해 객체 단위로 탐지 및 추적되었으며, 각 객체에 대해 프레임 번호, 객체 ID, 중심 좌표, 속도
벡터를 추출하여 시계열 궤적 데이터셋을 구성하였다.
표 1. 실험 데이터셋 및 환경
Table 1. Experimental Dataset and Environment
|
항목
|
내용
|
|
데이터 출처
|
Street Scene Dataset
|
|
촬영 환경
|
정적 카메라 기반 주간 도심 거리 환경
|
|
영상 구성
|
Training 46개 시퀀스 / Testing 35개 시퀀스
|
|
총 프레임 수
|
203,257 frames
|
|
해상도 및 FPS
|
1280×720, 15fps
|
|
이상 이벤트
|
테스트 시퀀스 기준 205개 이상 이벤트
|
|
총 추출 궤적 수
|
약 11,333개
|
|
궤적 구성(개)
|
정상 10,103 / 이상 1,145 /주입 Fake 85
|
|
주입 이상 궤적
|
S자형 가짜 궤적 85개 인위 삽입
|
|
Ground Truth
|
주입 Fake 궤적을 이상 궤적 기준으로 활용
|
|
특징 벡터
|
4차원: x, y, dx, dy
|
|
K-Means 설정
|
K=100, K=50 비교
|
|
DBSCAN 설정
|
ε=0.5, MinPts=5
|
|
실험 환경
|
NVIDIA RTX 3060, Python 3.10, YOLOv8
|
|
주요 라이브러리
|
OpenCV, NumPy, scikit-learn, Ultralytics
|
실험에 사용된 데이터셋과 환경은 Table 1과 같다. 전체 데이터는 정상 궤적, DBSCAN에 의해 이상치로 분류된 궤적, 그리고 인위적으로 주입한 S자형 가짜 궤적으로 구분하였다. Fig. 8의 통계 결과를 기준으로 정상 궤적은 10,103개, 이상치 궤적은 1,145개, S자형 가짜 궤적은 85개로 구성되었다. 이에 따라 전체 궤적 수는
총 11,333개이며, S자형 가짜 궤적은 정답 이상 레이블로 활용하여 제안 모델의 탐지 여부를 평가하였다. 본 연구에서 제안하는 모델은 비지도 학습
기반으로 동작하므로 별도의 학습/평가 데이터 분리 없이, 전체 궤적 데이터로부터 정상 이동 패턴을 학습하고 이로부터 이탈하는 궤적을 이상치로 탐지하는
방식으로 평가를 수행하였다.
4.2 군집 중심 거리 기반의 경로 정의
본 연구에서 제안하는 모델의 첫 번째 단계는 객체의 주요 이동 경로를 정의하고, 기하학적 중심에서 벗어난 데이터를 1차적으로 선별하는 과정이다. 우선,
복잡한 도심 교차로 환경에서 궤적의 세밀한 패턴을 학습하기 위해 클러스터 개수(K)를 100으로 설정하여 실험을 진행하였다. Fig. 4는 이에 따른 1차 탐지 결과를 시각화한 것이다. 그림에서 파란색 점은 주요 경로로 학습된 정상 궤적을, 빨간색 점은 중심 거리 오차가 임계치를 초과하여
이상 징후로 판단된 궤적을 나타낸다. 높은 K값 설정은 곡선 도로와 합류 지점의 디테일한 궤적까지 정밀하게 커버하여, 정상 영역을 도로 형태에 가깝게
형성함을 확인할 수 있다.
그림 4 1단계 탐지 결과: 군집 중심 거리 기반 경로 정의 및 이상치 선별(K=100)
Fig. 4. Stage 1 Detection Results: Path Definition and Outlier Screening based on
Cluster Centroid Distance (K=100)
이어서 모델의 파라미터 민감도를 확인하고 보다 일반화된 경로 그룹핑을 위해 클러스터 개수를 50으로 조정하여 비교 분석을 수행하였다. Fig. 5는 K=50일 때의 탐지 결과이다. 군집의 개수가 감소함에 따라 개별 클러스터가 커버하는 공간적 범위는 다소 넓어졌으나, 도로와 보도를 구분하고 주요
경로에서 이탈한 궤적(빨간색)을 이상치로 판별하는 성능은 여전히 견고하게 유지됨을 확인하였다.
그림 5 1단계 탐지 결과: 군집 중심 거리 기반 경로 정의 및 이상치 선별(K=50)
Fig. 5. Stage 1 Detection Results: Path Definition and Outlier Screening based on
Cluster Centroid Distance (K=50)
종합적인 실험 결과, 군집 중심 거리 분석은 도로와 보도처럼 정형화된 경로를 효과적으로 그룹화하였으며, 경로에서 크게 벗어난 명백한 위치적 이탈을
안정적으로 걸러내는 역할을 수행함을 확인하였다.
4.3 밀도 기반의 비정형 이상 궤적 판별
1차 거리 분석이 경로의 기하학적 이탈을 탐지한다면, 2차 밀도 분석은 시공간적으로 희소한 움직임을 포착하여 최종적인 이상 여부를 판별한다. 본 연구의
핵심 검증 요소인 'S자형 가짜 궤적'에 대한 단계별 처리 결과를 비교 분석하였다. Fig. 6은 1차 거리 분석만을 적용했을 때의 결과이다. 그림에서 볼 수 있듯이, 거리 기반 방식은 긴 곡선 형태의 S자 궤적을 하나의 이상 행동으로 인식하지
못하고, 여러 개의 소규모 군집으로 파편화하거나 일부 구간만을 이상치로 판정하는 한계를 보였다. 이는 비정형적인 이상 행동을 탐지하기 위해서는 단순한
거리 측정 이상의 정밀한 분석이 필요함을 시사한다.
그림 6 비정형 이상행동에 대한 거리 기반 분석의 한계: 분절된 S자형 궤적
Fig. 6. Limitations of Distance-Based Analysis on Unstructured Anomalies (Fragmented
S-Shaped Trajectory)
이에 반해, 제안 모델의 최종 단계인 밀도 기반 분석을 적용한 결과는 Fig. 7과 같다. 밀도 분석은 S자 궤적 전체를 주변의 고밀도 정상 궤적과 명확히 구분되는 '독립적인 노이즈'로 완벽하게 식별하였다. 이는 "이상 행위는
시공간적으로 희소한 밀도를 가진다"는 본 연구의 가정을 입증하는 것으로, 제안 모델이 형태가 불규칙하거나 예측 불가능한 이상 궤적을 탐지하는 데 있어
탁월한 성능을 발휘함을 보여준다.
그림 7 최종 탐지 결과: 밀도 분석 기반 비정형 이상행동의 완전 분리
Fig. 7. Final Detection Results: Perfect Isolation of Unstructured Anomalies using
Density Analysis
4.4 정량적 성능 평가 및 분석
제안 모델의 탐지 효율성을 정량적으로 입증하기 위해 탐지된 객체의 유형별 통계를 분석하였다. Fig. 8은 전체 데이터셋에 대해 정상, 이상치 그리고 인위적으로 주입된 가짜 궤적의 탐지 분포를 보여준다.
그림 8 정상 객체, 이상 객체, S자형 가상 객체의 탐지 개수 비교 막대그래프
Fig. 8. A bar chart summarizing the number of detected object types: normal (inliers),
abnormal (outliers), and fake objects with S-shaped trajectories.
통계 분석 결과, 밀도 기반 분석 단계에서는 전체 데이터의 약 10.9%를 이상치로 선별하였다. 이는 1차 거리 분석(2.1%) 대비 약 5배 높은
수치로, 제안 모델이 단순히 경로를 크게 이탈하는 객체뿐만 아니라 미세하게 분포가 희소한 잠재적 위협까지 민감하게 포착함을 의미한다. 정밀한 정량
평가를 위해, DBSCAN이 이상치로 선별한 1,230개 중 인위 주입된 S자형 궤적 85개를 제외한 1,145개에 대해 연구자가 원본 영상을 직접
재확인하는 수동 레이블링 검증을 수행하였다. 검증 결과, 1,145개 중 1,050개는 배회, 역주행, 무단 침입 등 실제 이상 행위로 확인되었으며
95개는 정상 궤적으로 판별되어 오탐으로 분류되었다. 이를 바탕으로 전체 Ground Truth 이상치는 인위 주입 85개와 검증된 실제 이상 1,050개를
합산한 총 1,135개로 정의하였다. 도출된 혼동 행렬 기반의 정량 지표를 K-Means 단독 모델과 비교한 결과는 Table 2와 같다.
표 2. K-Means 단독 모델과 제안 모델의 성능 비교
Table 2. Performance Comparison between K-Means Only and Proposed Model
|
평가 지표
|
K-Means 단독 (1단계)
|
제안 모델 (K-Means + DBSCAN)
|
|
탐지된 이상치 수
|
238개 (2.1%)
|
1,230개 (10.9%)
|
|
TP
|
180
|
970
|
|
FP
|
58
|
260
|
|
FN
|
955
|
165
|
|
TN
|
10,140
|
9,938
|
|
Precision
|
75.6%
|
78.9%
|
|
Recall
|
15.9%
|
85.5%
|
|
F1-Score
|
26.3%
|
82.0%
|
|
FAR
|
0.57%
|
2.55%
|
|
S자형 궤적 탐지율
|
35.3%
|
88.2%
|
Table 2에서 나타나듯, 제안 모델은 K-Means 단독 방식 대비 Recall이 15.9%에서 85.5%로 대폭 향상되었으며, F1-Score 또한 26.3%에서
82.0%로 크게 개선되었다. 특히 인위적으로 주입된 S자형 궤적 85개 중 약 75개가 탐지되어 S자형 궤적 탐지율이 35.3%에서 88.2%로
향상되었다는 점은 제안 모델이 비정형 이상 패턴 탐지에 효과적임을 보여준다. K-Means 단독 모델의 Recall이 15.9%에 그친 주요 원인은
Fig. 6에서 확인된 바와 같이, 곡선형의 S자 궤적을 단일 이상으로 인식하지 못하고 여러 소규모 군집으로 파편화하는 구조적 한계에 있다. 반면 FAR의 경우,
제안 모델이 2.55%로 K-Means 단독 0.57%보다 높게 나타났다. 이는 DBSCAN을 추가하면서 탐지 민감도가 증가한 결과로 볼 수 있으며,
이상 궤적을 더 많이 포착하는 대신 일부 정상 궤적이 이상치로 분류되는 경향이 함께 증가했음을 의미한다. 보안 관제 시스템의 핵심 요구사항인 Recall
향상 관점에서, FN이 955개에서 165개로 감소한 결과는 제안 모델의 실질적 운영 가치를 보여준다. 대다수의 데이터가 정상 범주에 속하는 불균형
환경에서 소수의 이상치 후보를 효과적으로 선별함으로써, 관제 요원이 집중해야 할 대상을 줄이는 데 기여할 수 있다. 다만 FAR이 일부 증가하였기
때문에, 제안 모델은 오탐을 완전히 줄이는 방식이라기보다 이상 궤적을 놓치지 않는 방향으로 탐지 성능을 개선한 모델로 해석하는 것이 적절하다.
실험 결과를 종합해 볼 때, 군집 중심 거리를 이용한 1차 분석은 전체적인 경로의 윤곽을 잡아주는 역할을 수행하고, 밀도 기반의 2차 분석은 세밀한
비정형 이상 궤적을 추가적으로 선별하는 역할을 수행함으로써 상호 보완적인 효과를 보였다. 결과적으로 본 연구에서 제안하는 통합 모델은 단순 거리 기반
방식보다 S자형 곡선과 같은 복잡한 이상 행동을 탐지하는 데 더 효과적이며, 특히 Recall과 F1-Score 측면에서 탐지 성능을 정량적으로 개선하였음을
확인하였다. 다만 본 실험의 평가는 자체 구성 데이터셋을 기반으로 수행되었으므로, 향후 UCF-Crime, ShanghaiTech 등 공개 이상 행동
벤치마크 데이터셋을 활용한 AUC-ROC 기반의 표준화된 평가를 통해 모델의 일반화 성능을 추가로 검증할 계획이다.
5. 결 론
본 연구에서는 기존 CCTV 영상 보안 시스템의 한계인 잦은 오탐과 설정의 비효율성을 극복하기 위해, '군집 중심 거리를 이용한 밀도 기반 이상 탐지
모델'을 제안하였다. 실제 도심 CCTV 데이터를 활용한 실험 결과, 제안 모델은 1단계에서 군집 중심 거리를 통해 주 이동 경로에서 기하학적으로
명확히 벗어난 궤적을 선별하고, 2단계에서 시공간 밀도 분석을 수행하여 S자형 곡선과 같은 비정형적인 이상 궤적까지 정밀하게 식별해 내었다. 기존의
단순 거리 기반 분석이 탐지하지 못한 불규칙한 궤적을, 본 모델은 데이터의 희소성을 감지하여 정확히 이상치로 판별함으로써 복잡한 도심 환경에서의 예측
불가능한 위협에 대한 대응력을 입증하였다. 또한 사용자가 감지 영역(ROI)이나 규칙을 수동으로 설정해야 했던 기존 방식과 달리, 제안 모델은 축적된
궤적 데이터를 통해 침입 불가 구역을 스스로 학습하여 관리자의 개입을 최소화하고 대규모 관제 센터의 운영 효율성을 크게 향상시킬 것으로 기대된다.
다만 본 실험에서는 비정형 이상 패턴의 검증을 위해 S자형 가짜 궤적을 중심으로 평가를 수행하였으므로, 실제 현장에서 발생하는 침입, 배회, 역주행
등 다양한 이상 행동 유형 전반을 대표한다고 보기에는 한계가 있다. 향후 연구에서는 유형별로 레이블링된 실제 이상 행동 데이터를 추가로 확보하고,
야간, 우천, 안개 등 다양한 기상 및 조도 조건에서 수집된 엣지 케이스 데이터를 포함하여 YOLO의 탐지 정확도 저하가 군집화 단계에 미치는 영향을
분석함으로써 모델의 이상 행동 유형별 일반화 성능과 환경적 강인성을 체계적으로 검증할 계획이다.
Acknowledgements
This research was supported by Basic Science Research Program through the National
Research Foundation of Korea(NRF) funded by the Ministry of Education(RS-2020-NR049579).
Additionally, this work was also supported by Kyonggi University’s Graduate Research
Assistantship (2026).
References
V. Chandola, A. Banerjee, V. Kumar, "Anomaly detection: A survey," ACM Computing Surveys
(CSUR), vol. 41, no. 3, pp. 1-58, 2009.

B. T. Morris, M. M. Trivedi, "A survey of vision-based trajectory learning and analysis
for surveillance," IEEE Transactions on Circuits and Systems for Video Technology,
vol. 18, no. 8, pp. 1114-1127, 2008.

J. Redmon, S. Divvala, R. Girshick, A. Farhadi, "You only look once: Unified, real-time
object detection," pp. 779-788, 2016.

N. Wojke, A. Bewley, D. Paulus, "Simple online and realtime tracking with a deep association
metric," pp. 3645-3649, 2017.

W. Sultani, C. Chen, M. Shah, "Real-world anomaly detection in surveillance videos,"
pp. 6479-6488, 2018.

J. MacQueen, "Some methods for classification and analysis of multivariate observations,"
vol. 1, no. 14, pp. 281-297, 1967.

M. Ester, H.-P. Kriegel, J. Sander, X. Xu, "A density-based algorithm for discovering
clusters in large spatial databases with noise," pp. 226-231, 1996.

S. E. Lee, H. Too, K. Chung, "Pose pattern mining using transformer for motion classification,"
Applied Intelligence, vol. 54, no. 5, pp. 3841-3858, 2024.

B. U. Jeon, D. J. Suh, J. C. Kim, K. Chung, "ViT-Core+: Lightweight anomaly detection
using cut-paste and transformer-based feature extractor," IEEE Access, vol. 13, no.
1, pp. 177352-177365, 2025.

M. J. Kim, K. Chung, "T5-based anomaly-behavior video captioning using semantic relation
mining," Applied Soft Computing, vol. 185, pp. 113923, 2025.

S. K. Kang, "Deep learning-based image analysis for moving object detection," Journal
of Artificial Intelligence Convergence Technology, vol. 5, no. 2, pp. 83-88, 2025.

J. H. Lee, "Research of human pose estimation based on deep learning for contactless
home training," Journal of Artificial Intelligence Convergence Technology, vol. 5,
no. 1, pp. 23-30, 2025.

R. Ramachandra, M. J. Jones, "Street Scene: A new dataset and evaluation protocol
for video anomaly detection," pp. 2557-2566, 2020.

저자소개
He is currently pursuing the M.S. degree in the Department of Computer Science at
Kyonggi University, South Korea. He is currently a Researcher at the Data Mining Laboratory.
His research interests encompass artificial intelligence, computer vision, and spatiotemporal
data analysis. He is particularly interested in applying deep learning techniques
to real-world security systems. His recent research focuses on developing hybrid clustering
algorithms for anomaly detection in intelligent CCTV surveillance environments.
She has bachelor’s degree Division of Computer Science and Engineering. Kyonggi University,
South Korea, since 2023. She has worked as a researcher at the Data Mining Lab., Kyonggi
University. Her research interests include Data Mining, Big Data, Deep Learning, Data
Analytics, Object Detection and Motion Classification.
He has received B.S., M.S., and Ph.D. degrees in 2000, 2002, and 2005, respectively,
all from the Department of Computer Information Engineering, Inha University, South
Korea in 2000, 2002, and 2005, respectively. He has worked for the Software Technology
Leading Department, Korea IT Industry Promotion Agency (KIPA). He has been a professor
in the Division of AI Computer Science and Engineering, Kyonggi University, South
Korea. He was named a 2017 Highly Cited Researcher by Clarivate Analytics. Since 2021,
he has served as Editor-in-Chief of the Journal of Artificial Intelligence Convergence
Technology and as Vice President of the Korea Artificial-Intelligence Convergence
Technology Society.