1. 서 론

일반적으로 얼굴, 홍채, 지문, 정맥, 음성, 서명 등 개인이 가지고 있는 생체 정보를 이용하여 사용자를 인식하는 시스템은 비교적 근거리에서 인식이 이루어지는 기술이다. 또한 대부분의 생체인식 시스템은 사용자의 협조가 없으면 인증이 힘든 단점을 가지고 있다. 이러한 단점을 극복하기 위하여 원거리에서 개인을 식별하는 기술들이 개발되고 있다. 사람이 걷는 방식은 이미 개인의 고유한 생체 정보라고 보고된 바 있고, 걸음걸이는 카메라로부터 멀리 떨어진 곳에서도 획득할 수 있는 비 강압적인 생체 정보로 걸음걸이를 이용한 사용자 인식 연구가 많이 진행되고 있다. 걸음걸이는 저해상도 카메라로도 생체 정보를 쉽게 취득할 수 있고, 야간에도 적외선 카메라로 인식이 가능하다는 장점이 있어 생체 인식 연구자에게 높은 관심을 받고 있다⁽¹⁾.

걸음걸이 기반의 사용자 인식에서 사용되는 생체 특징은 기본적으로 사람의 외형 기반의 정적인 정보와 움직임에 기반을 둔 동적인 정보로 구분할 수 있다. 정적인 정보는 키, 팔다리 길이, 보폭 등이 있으며, 동적인 정보는 발걸음의 주기, 관절들의 움직임 등이 있다. 이러한 정적인 정보, 동적 움직임의 정보를 이용하는 방법을 각각 외형 기반, 모델 기반 걸음걸이 인식 방법이라 한다. 모델 기반 인식 방법은 사람의 몸이나 동작을 모델링하고, 보폭의 동역학적인 특징이나 관절의 운동학적인 특징을 기반으로 모델을 추정하여 특징점을 획득한다. 모델 기반 인식의 경우 사람의 모델을 완벽하게 계산할 수 있으면 우수한 인식 능력을 보여주나, 동작 모델링을 위한 알고리즘 부분의 완벽한 구현이 매우 어렵고 연산적인 비용이 상대적으로 높다는 단점이 있다. 한편, 외형 기반 인식 방법은 기초적인 구조에 상관없이 간결한 표현 방식을 통해 사람 몸의 전체 동작 패턴을 특성화한다. 이러한 표현 방식들은 몸 형태의 정적인 특성과 동적인 성질을 동시에 획득한다. 외형 기반 인식 방법은 모델 기반 인식 방법에 비해 표현과 구현이 간단하고, 연산이 빠르다는 장점이 있다⁽²⁾. 대표적인 보행자 표현 방식들로써 gait energy image (GEI)⁽³⁾, motion silhouette image (MSI)⁽⁴⁾, active energy image (AEI)⁽⁵⁾, gait entropy image (GEnI)⁽⁶⁾등이 있다. 또한 이러한 보행자 표현 방법의 정교화를 위해 걸음걸이의 정확한 시퀀스를 얻으려는 연구⁽⁷⁾도 진행되고 있으며, MSI 또는 GEI에 새로운 분류기들을 적용하여 사용자 인식률을 향상시키는 연구^(8,9)도 진행되고 있다. 하지만 걸음걸이를 이용한 사용자 인식 시스템은 타 생체인식 기술에 비해 낮은 인식 성능을 나타나는 단점을 가지고 있다⁽⁹⁾. 때문에 생체 인식 산업에서 얼굴이나 지문 등의 다른 생체 인식 기술에 비해 개발 및 적용 사례가 적은 편이다. 최근 활발한 연구가 진행되고 있는 딥러닝 기반 신경회로망 모델은 다양한 컴퓨터 비전 문제에서 높은 정확도를 보이는데, 이에 본 논문에서는 걸음걸이 영상 정보를 딥러닝 기반 심층 신경회로망 앙상블에 적용하여 인식률이 높은 걸음걸이 인식기를 개발하는 방법을 제안한다. 본 논문의 구성은 다음과 같다. 2장에서는 걸음걸이 기반의 사용자 인식 기술을 소개하고, 걸음걸이 인식을 위해 제안한 딥러닝 기반 신경회로망 앙상블 기법을 설명한다. 3장에서는 NLPR, SOTON 데이터베이스를 이용한 제안한 시스템의 걸음걸이 인식 실험 결과를 확인하고, 마지막 4장에서는 결론을 내린다.

2. 걸음걸이 인식

생체인식 기술은 얼굴, 홍채, 지문, 정맥, 음성, 서명, 걸음걸이 등 개인이 가지고 있는 생물학적 또는 행동학적 특징을 기반으로 개인을 인증하는 기술이다⁽¹⁰⁾. 이러한 대부분의 생체인식 시스템들은 비교적 근거리에서 이루어지는 기술들이 일반적이다. 따라서 근거리 개인 인증에 사용되는 생체 정보는 사용자의 협조가 없으면 인증이 힘들다는 단점을 가지고 있다. 이러한 단점을 극복하기 위하여 원거리에서 개인을 식별하는 기술들이 개발되고 있다. 그 중 걸음걸이 인식은 비강압적이고 원거리에서 인식이 가능하다는 장점이 있어 많은 연구가 되고 있지만 다른 생체인식 기술에 비해 낮은 인식 성능을 나타나는 단점을 가지고 있다⁽⁹⁾.

본 논문에서는 표현과 구현이 간단하고 연산 처리 속도가 빠른 외형 기반 걸음걸이 인식 시스템을 제안한다. 일반적인 걸음걸이 인식 알고리즘은 크게 전처리 단계, 특징점 추출 단계와 분류 단계로 구성되어 있다. 우선 전처리 단계에서는 배경 제거 알고리즘을 이용하여 동영상으로부터 실루엣 영상을 생성한다. 다음으로 실루엣 영상을 정규화하고 정규화된 실루엣 영상으로부터 걸음걸이 특징을 추출하는데 본 논문에서는 대표적인 외형 기반 걸음걸이 정보인 GEI와 MSI를 사용한다. 이전에는 생성한 GEI와 MSI에 주성분 분석(PCA; Principal Component Analysis)등을 이용하여 식별성이 좋은 특징점을 추출하고, 템플릿 매칭이나 다층 신경망 등을 이용하여 분류를 했다. 본 연구에서는 걸음걸이 인식 성능을 높이기 위해 생성한 GEI와 MSI를 심층 회선 신경망(DCNN; Deep Convolutional Neural Networks)의 입력으로 사용하여 식별성이 좋은 특징을 추출하고 동시에 분류가 되도록 심층 신경회로망 모델을 설계했고, 단일 신경회로망보다 성능이 좋은 여러 개의 신경회로망을 결합하는 앙상블 기법^(9,11)을 도입한 심층 신경회로망 앙상블을 이용하여 단일 심층 신경회로망 모델을 사용하였을 때 보다 그 인식 성능을 높였다.

본 연구에서 회선 신경회로망의 입력으로 사용된 GEI는 걸음걸이 정보를 실루엣의 정규화된 화소 정보로 갖는 대표적인 그레이-레벨 영상으로써 다음 식으로 표현된다.

여기에서 $I(x,\:y,\:t)$는 $(x,\:y)$좌표의 $t$번째 이진화된 실루엣 영상을 나타낸다. $T$는 걸음걸이 하나의 사이클 길이이다. GEI는 전체 주기에서 인간 보행의 시간의 정규 누적 영상으로 그림 1은 GEI의 예를 보여준다. GEI에서 강도가 높은 지점은 이 위치에서 사람의 보행이 더 자주 발생함을 의미한다.

본 연구에서 회선 신경회로망의 또 다른 입력으로 사용된 MSI 역시 GEI와 마찬가지로 실루엣의 정규화된 화소 정보를 갖는 그레이-레벨 영상이다. MSI는 걸음걸이의 공간적인 정보 외에도 시간적인 정보를 가지고 있으며 식(2)로 표현된다.

MSI는 각 좌표 위치에서 시간에 따른 움직임 변화를 나타내는데 그림 2는 MSI의 예시를 보여준다. MSI에서 강도가 높을수록 걸음걸이의 최근 움직임 정보를 표현한다.

최근 딥러닝 기술의 발전으로 영상 이해와 자연어 처리 같은 기존 인공지능 분야에서 괄목할만한 연구 성과가 발표되고 있다. 특히 2012년 이미지넷 챌린지에서 토론토 대학이 최초로 CNN을 이용한 AlexNet⁽¹²⁾으로 영상 분류 부문에서 16.4%의 Top-5 에러로 우승하며 영상 인식 분야에 본격적으로 CNN이 사용되는 계기를 마련하였다. 걸음걸이 인식 분야에서도 GEI를 CNN의 입력으로 사용했을 때 기존 알고리즘 보다 인식률이 최소 7% 이상 향상되는 것을 보여준 연구도 있었다⁽¹³⁾. 이에 본 연구에서도 걸음걸이 인식기의 성능을 향상시키기 위하여 외형 기반의 걸음걸이 특징 추출을 위해 심층 회선 신경회로망을 적용했으며, 그림 3과 같이 2개의 합성곱 레이어(convolutional layer)과 1개의 풀링 레이어(pooling layer), 1개의 완전 연결 레이어(fully connected layer)의 결합으로 CNN 모델을 구성하였다.

한편 이미지에서 문장으로 된 표현을 추출하거나 영상의 시간적 관련성을 표현 추출하기 위한 심층 신경회로망 모델로 RNN(Recurrent Neural Network) 연구가 진행되고 있다. RNN은 순서가 있는 데이터를 학습하는데 주로 사용되는 신경망의 한 종류로 네트워크의 이전 출력을 입력으로 사용하여 데이터의 경향성을 학습한다. RNN의 특징으로 CNN을 적용한 RCNN 모델은 시간적 데이터가 존재하는 영상 데이터의 표현 추출 및 문맥 추출에 유용하여 시간적 경향성을 갖는 걸음걸이 인식 알고리즘에 적용하기에 매우 적합한 모델이다. 따라서 본 논문에서는 CNN과 더불어 RCNN을 걸음걸이 인식기로 사용을 하였고, 2개의 합성곱 레이어, 2개의 풀링 레이어 그리고 1개의 완전 연결 레이어들을 포함하는 결합으로 RCNN을 구성하였다. 한 개의 신경회로망 모델을 이용하여 분류나 인식을 하는 것보다 다수의 모델 결과를 결합할 때 높은 인식 성능을 기대할 수 있어 신경회로망 앙상블(neural network ensemble)이 높은 성능을 요구하는 시스템에 많이 사용되고 있다^(9,11). 따라서 본 연구에서는 걸음걸이 인식 성능을 개선하기 위해 그림 4와 같이 여러 개의 단일 CNN, RCNN들을 각각 학습시킨 후 앙상블을 구성한다.

$N$개의 단일 CNN또는 RCNN들의 융합 단계에서는 걸음걸이 특징 $X$가 주어졌을 때, 번째 단일 신경회로망의 출력인 $f^{j}(X)$가 $c$번째 클래스가 될 확률을 나타내는 $f_{^{k}}^{j}(X)$를 이용하여 $X$의 클래스 $\omega_{X}$를 식(3), (4), (5)와 같은 평균(AVG), 최대(MAX), 최소(MIN)의 세 가지 방법을 이용하여 각각 결정한다.

3. 실 험

본 연구에서 제안한 심층 신경회로망 기반 걸음걸이 인식 모델을 평가하기 위하여, 걸음걸이 인식 분야에서 알고리즘의 성능 평가에 많이 사용되는 NLPR 걸음걸이 데이터베이스^(14,15)를 이용하였다. 이 데이터베이스는 모두 20명의 사람을 포함하며, 카메라 시점에 대해 평행 방향, 대각선 방향, 그리고 수직 방향으로 걷도록 하였고, 각 방향에 대해 각각 4개의 시퀀스를 촬영하여 총 240개의 시퀀스로 이루어져 있다. 그림 5는 NLPR 걸음걸이 데이터베이스의 영상의 예를 보여준다.

CNN과 RCNN을 평행 방향, 대각선 방향, 수직 방향에 대해 각각 학습하여 인식 성능을 평가했으며, 5개의 CNN, RCNN 모델을 학습시켜 신경회로망 앙상블을 구성하였다. Intel-i7 2.20GHz CPU와 GTX1050 GPU의 환경에서 Tensorflow와 Keras 라이브러리를 이용하였으며 모델 학습을 위해 배치 크기는 20, 학습률은 0.001, 모멘텀은 0.9를 각각 이용하였다. 각 네트워크의 입력으로는 150x272의 그레이 영상을 사용하였다. NLPR 데이터베이스는 사람마다 4개의 걸음걸이 시퀀스를 가지고 있고, 이 중 임의로 3개를 학습용으로, 1개를 테스트용으로 사용하여 총 4번의 학습과 평가를 반복하는 4겹 교차 검증을 진행하였다. 카메라 입력센서에 대해 평행 방향, 대각선 방향, 수직 방향으로 걷는 시퀀스에 대하여 각각 CNN과 RCNN을 단독으로 걸음걸이 인식에 사용했을 때의 인식률과 5개의 신경회로망 모델을 앙상블로 결합하였을 때의 걸음걸이 인식률의 평균과 표준편차를 표 1, 2에 각각 도시하였다.

카메라와 평행인 방향, 대각선인 방향으로 보행한 경우 GEI를 특징으로 사용하고 인식기로 CNN 앙상블을 사용하는 것이 성능이 가장 좋았고, 수직인 방향으로 걸었을 때는 GEI와 RCNN 앙상블을 사용하는 것이 성능이 가장 좋았다. 또한 심층 신경회로망 앙상블을 이용하면 단일 CNN, RCNN을 이용한 경우보다 성능이 향상됨을 확인 할 수 있다. MSI와 GEI를 심층 신경회로망 앙상블의 특징으로 사용하였을 때 앙상블 별 성능 차이를 표 3에 나타내었다. 사용자가 평행, 대각선, 수직 방향으로 걷고 분류기로 CNN 앙상블을 사용하였을 때 GEI는 MSI보다 각각 평균적으로 11.25%, 11.33%, 10.58% 성능이 향상되었으며 RCNN 앙상블을 사용하였을 때는 8.5%, 12.5%, 10.25% 성능이 향상됨을 확인 할 수 있다.

본 논문에서 제안하는 딥러닝 기반 걸음걸이 인식기의 일반화된 성능을 확인하기 위해 NLPR 데이터베이스 보다 규모가 큰 SOTON 데이터베이스⁽¹⁶⁾를 사용하였다. 이 데이터베이스는 Southampton 대학에서 만들어졌고 100명 이상의 사람들로 구성되어 있다. NLPR 데이터베이스에서의 실험과 마찬가지로 5개의 CNN과 RCNN을 이용하여 신경 회로망 앙상블을 구성하였다. 전체 데이터베이스를 4등분 한 후 3개를 학습용으로, 1개를 테스트용으로 사용하여 성능을 도출하는 4겹 교차 검증을 통해 실험을 반복하였다. 표 4, 5에서는 제안된 방법의 SOTON 데이터베이스에서의 평균 인식율과 표준편차를 나타내었다. 걸음걸이 특징으로 GEI, 인식기로는 CNN 앙상블을 사용하고 융합 방법으로 최소값을 사용하였을 때 가장 좋은 인식 성능을 보였으며 단일 CNN과 GEI를 사용한 경우보다 성능이 2.43% 향상되었다. 또한 NLPR 데이터베이스와 마찬가지로 SOTON 데이터베이스에서도 심층 신경회로망 앙상블의 성능이 단일 CNN과 RCNN을 사용하는 경우보다 GEI, MSI 모두에서 향상되는 것을 재확인할 수 있다.

표 6에는 MSI와 GEI를 심층 신경회로망 앙상블의 특징으로 사용하였을 때 그 성능 차이를 나타내었다. GEI와 MSI의 성능차이는 CNN 앙상블, RCNN 앙상블에서 각각 16.56%, 12.15%인 것을 확인할 수 있었다.

4. 결 론

얼굴이나 지문 인식은 가까운 거리에서 취득하여 인식해야하기 때문에 응용 분야가 제한적이지만 걸음걸이 정보는 원거리 센싱이 가능하기 때문에 사용자 인식 분야에서 매우 매력적이다. 하지만 타 생체인식 기술에 비해 걸음걸이를 이용한 사용자 인식은 낮은 인식 성능을 나타내고 있다. 이것을 해결하기 위하여 본 논문에서는 하나의 CNN, RCNN 모델이 아닌 다수의 신경회로망을 융합하는 심층 신경회로망 앙상블 기법을 걸음걸이 인식에 적용했다. 제안된 모델을 NLPR 및 SOTON 데이터베이스에 적용하고 다른 방법과 비교함으로써 심층 신경회로망 앙상블 기법의 유효성을 확인했다. 특히 실험 결과에서 제안한 걸음걸이 인식 방법은 NLPR 데이터베이스와 SOTON 데이터베이스에서 각각 90% 초중반 이상의 높은 인식 정확도를 보였으며, 얼굴이나 지문과 같은 다른 생체 인식 시스템과 견주었을 때 충분히 산업화가 가능한 수준으로 보인다. 본 논문의 추가 연구를 통해 다양한 장소에 설치되어 있는 영상 센서들을 이용하여 사용자들의 걸음걸이 정보를 취득하고 이들을 인식하여 새로운 형태의 서비스 제품들을 개발할 수 있을 것으로 기대한다.