2.1 졸음과 관련된 기존의 연구

기존의 졸음을 감자하는 관련 연구는 생체신호를 이용한 방법으로 현재 가장 많이 보편화 되어 있는 방법이고 자동차의 움직임(바퀴 방향, 속도 등)에 따른 추정 판단방법 및 얼굴 인식을 이용한 영상처리 방법을 이용한 방법에 대해서도 많은 연구가 이루어지고 있다.

생체신호를 이용한 연구로 HRV(HeartRateVariability) 와 EEG(Electroencephalogram)를 이용한 연구가 대표적이다. 2014년 계명대학교 연구⁽⁷⁾를 참고하면 그림 3에서처럼 나온 HRV 및 ECG 신호를 difference operation 알고리즘을 이용하여 R-peak를 검출 후 R-R interval(RRI)값을 이용하여 시간영역과 주파수 영역 분석을 이용하여 졸음을 분석하는 연구방법이다.

그림. 3. R-peak 추적과정

Fig. 3. R-peak detection

그림. 4. 폐달 압력시스템 구성도⁽⁸⁾

Fig. 4. Diagram of pedal pressure system

자동차의 움직임과 관련 된 졸음 추정 관련 연구로는 그림 4에서 보는 것처럼 차량의 구동과 함께 핸들과 가속 폐달에 다양한 형태의 압력센서를 부착하여 들어온 정보와 차선의 이탈 정보를 통한 주행형태 분석과 시선추적을 통한 시스템을 통해 운전자의 상태를 판별하는 연구⁽⁸⁾가 진행 되었다.

영상처리를 이용한 방법으로는 Haar-like feature⁽⁹⁾ 방법을 이용하였는데 이는 그림 5에서와 같은 특징들을 선택하고 특징값은 사각형 중 흰색 부분 픽셀들의 밝기 합에서 검은색 부분 픽셀들의 밝기 값의 차이로 계산된다. 이는 식(1)과 같이 정의가 되며 이 값이 특징에 부여된 임계값의 차이에 따라 검출하는 물체를 추측하는 것이다. 이를 활용하여 운전자의 얼굴과 눈을 검출하여 에지 정보를 이용하여 눈꺼풀 거리를 측정하여 졸음운전을 감지하는 연구⁽¹⁰⁾가 진행되었다.

x= gray level pixel

B= black rectangle, W= white rectangle

그림. 5. Haar-like feature 의 유형

Fig. 5. Type of Haar-like feature

2.2 졸음자세 판단

졸음 자세를 확인하기 위해서 성인 남자 6명을 대상으로 평상시 의자에 앉은 상태에서의 자세와 졸음이 오는 상태에서의 자세를 비교해 보았다. 그 결과 실험 대상자 모두 평상시 자세 대비 한쪽으로 몸이 쏠리는 것을 확인할 수 있었다.

본 연구에서는 위의 가설을 바탕으로 졸음을 판단하기 위한 사전연구로 방석에 압력센서를 부착하여 압력 분포를 측정하였다. 센서의 배치는 그림 6과 같이 하였고 각 센서 별로 중앙(E), 앞(B), 뒤(D), 오른쪽(A), 왼쪽(C) 로 구분을 하였다.

그림. 6. 센서 배치도

Fig. 6. System Diagram

자세 판단을 위해서 개인별 일반적으로 앉은 상태에 대한 압력을 측정하였고, 몸이 기울여졌을 경우의 압력을 측정하여 평상시의 상태와의 차이 값 비교를 통해 졸음이 오는 상태를 판단하였다.

2.3 히스토그램을 이용한 영상처리

현재까지의 히스토그램을 이용한 영상처리에서 가장 많이 쓰이는 방법은 얼굴이 촬영된 영상에서 Haar-like feature를 이용하여 눈 부분을 구분 후 눈 부분에서의 히스토그램을 비교하는 방식을 이용한다. 현재의 방식이 정확도가 가장 놓은 축에 속하고 있으나, 기존의 연구들은 눈이 완전히 닫혀 있을 경우와 아닐 경우만을 비교한 경우가 대다수였다. 본 연구는 눈이 완전히 폐쇄되지 않은 졸린 상태와 정상일 경우를 비교하고 그에 따른 히스토그램의 변화에 대한 연구를 진행하였다.

졸음이 오는 상태의 영상을 촬영하기 위해서 본 논문에서는 정상 상태의 눈 사진과 졸음이 오는 상태에서의 눈 사진을 획득하였다. 그 영상에 대해서 영상의 임계값을 40으로 하여 영상을 추출하였으며, 이를 통해 정상일 경우와 졸릴 경우를 비교하였다. 그림 7은 정상일 경우와 졸릴 경우 눈의 사진이다.

그림. 7. 눈 사진 예시

Fig. 7. Example of eyes

2.4 실험 환경

본 연구에서는 압력센서를 이용하여 운전자의 자세를 추정하는 연구를 진행하기 위해서 그림 8과 같은 사각형의 Force- sensing resistor의 가변저항성 센서를 이용하여 압력신호를 받았으며, STMicroelectronics의 Cortex-M3 MCU(출력전압~3.3V)를 이용하여 그림 9와 같이 설계하여 압력 신호에 대한 계산을 진행하였다.

그림. 8. 압력 센서

Fig. 8. Pressure sensor

그림. 9. MCU 회로도

Fig. 9. MCU circuit diagram

히스토그램을 이용한 눈에 대한 영상처리를 위해서 Intel(R) Core(TM) i5-6200 CPU와 NVIDA GeForce GTX950M이 적용된 컴퓨터를 이용하여 MATLAB 프로그램으로 영상처리를 진행하였다.

2.5 실험결과

졸음자세를 위해 총 10회 측정을 진행하였고, 그에 따른 결과는 다음 표와 같이 구할 수 있었다. 표 1의 경우 올바르게 앉아 있을 경우의 압력 분포이고 표 2는 앞으로 기울여 졌을 경우, 표 3은 오른쪽, 표 4는 왼쪽으로 기울여졌을 경우를 보여준다. 각 표에 대한 분석을 해보았을 때 표 1에서 확인해 볼 수 있듯이 올바른 자세의 경우 압력분포가 전반적으로 비슷한 수치를 나타나는 것을 확인할 수 있었다. 하지만 표 2의 앞으로 쏠려 있을 경우의 수치를 확인해 본다면 B(앞)에 대한 수치가 타 수지에 비해 높게 나타는 것을 확인할 수 있었고, 상대적으로 D(뒤)의 값은 낮은 것으로 나타났다.

표 3의 오른쪽으로 쏠려 있는 경우를 확인해 본다면 A(오른쪽)의 수치가 상대적으로 높게 나타나는 것을 확인할 수 있었고, 표 4 왼쪽의 경우 C(왼쪽), D(뒤)의 수치가 상대적으로 높게 나오는 것을 확인할 수 있었다.

눈을 통한 졸음을 판단하기 위한 실험 결과로 우선적으로 임계값을 40으로 지정했을 경우의 영상을 추출하였다. 그림 10의 경우 정상일 경우를 보여주는 그림이고, 그림 11은 졸린 상태의 경우를 보여준다.

그림. 10. 정상일 경우(임계값>40)

Fig. 10. Normal case(Threshold>40)

그림. 11. 졸릴 경우 (임계값>40)

Fig. 11. A sleepy case (Threshold>40)

육안으로도 확인이 가능 하 듯이 정상일 경우와 졸릴 경우에 눈동자의 검은 부분과 흰 부분 구분에 있어서 큰 차이를 보이고 있다. 정상일 경우 눈동자와 흰 부분의 구분이 명확하지만 졸릴 경우에는 눈동자와 흰 부분의 구분이 불 명확 해지는 것을 확인할 수 있었다.

그림 12와 그림 13은 정상일 경우와 졸릴 경우의 히스토그램을 추출한 결과이다. 히스토그램을 통해 비교해 보면 그림 전체가 전반적으로 왼쪽으로 치우쳐있는 것으로 나타난다. 정상일 경우와 졸릴 경우를 비교해 본다면 100을 기준으로 정상일 경우 졸릴 경우에 비해 밝은 쪽으로 분포가 더 나타나는 것을 확인할 수 있었다.

그림. 12. 정상일 경우 (히스토그램)

Fig. 12. Normal case (histogram)

그림. 13. 졸릴 경우 (히스토그램)

Fig. 13. A sleepy case (histogram)