1. 서 론

음성인터페이스 기술이란 인간의 가장 자연스러운 의사소통 수단 중 하나인 ‘말’을 이용하여 기계와 인간과의 대화를 가능하게 하는 기술이다⁽¹⁾. 음성 사용자 인터페이스(Voice User Interface, 이하 VUI)는 오래 전부터 제시된 개념이지만, 대략 2008년 이후 음성인식을 상용화하는 과정에서 나타난 심각한 문제들을 해결하면서 상용화 사례가 나타났다. 음성인식 기술은 다양한 산업의 제품과 서비스에 공통적으로 적용되는 기반기술이지만, 상용화 사례는 아직 자동차 네비게이션과 같은 전자제품, 가전제품, IPTV 등에서 제한적이며, 주로 스마트폰･스마트시계･스마트밴드와 같은 모바일 기기를 중심으로 활발히 나타나고 있다. 이러한 현상은 스마트폰이 일반인에게 보급되며 급속히 확산되기 시작하면서 음성인식 기능에 대한 요구가 급속히 증가하게 된 이유가 있다. 스마트폰의 경우 PC와 달리 문자입력 수단이 불편하며 대부분 이동 중 사용하기 때문에 음성인식과 같은 핸즈프리(hands-free) 입력 기능이 절실히 필요한 사용자 환경이기 때문이다⁽²⁾.

음성을 이용한 명령 입력방식의 장점 중 하나는 키보드･마우스 인터페이스 방식과 병행 사용할 수 있다는 점이다. 그러므로 컴퓨터 서버나 PC에서 구동되는 소프트웨어에서 VUI를 지원하면 작업효율을 향상시킬 수 있다. 본 연구에서는 다수의 서버를 관리하는 다중서버 관리시스템을 위한 명령형 VUI 모듈을 설계하고 구현하였다

다중서버 관리시스템은 IoT 센서 활용이 급증함에 따라 증가하고 있는 다수의 엣지 컴퓨팅 서버(edge computing server)를 효율적으로 관리하기 위해 본 연구팀이 개발한 프로토타입 소프트웨어 시스템이다. 서버관리자가 일상적으로 다수의 엣지 서버의 운영상태 점검 및 설정 업데이트, 보안 취약점 점검, 보안패치SW 설치, MySQL DBMS(Database Management System) 설치 및 환경설정, 수집된 IoT 데이터의 업로드 등을 관리한다. 이 작업 중 대상 엣지 서버에 대한 관련 정보를 참조하는데, 참조정보 조회 작업과 엣지 서버 설정 작업을 병행할 수 있도록 음성 인터페이스와 키보드･마우스 인터페이스를 함께 사용하는 멀티모드 인터페이스(multi-modal interface)를 지원하면 작업 효율성을 높일 수 있을 것이다.

VUI는 스마트폰 같은 모바일 기기에서 채택하고 있는 대화형 VUI가 일반적이다. 본 연구에서는 대상 사용자가 한정된 전문 사용자이므로 명령형 VUI를 채택하였다. 일반적인 모바일 기기는 높은 휴대성을 위해 크기를 작게 설계하여 문자입력이 불편하기 때문에, VUI를 문자입력의 대체 수단으로 활용하므로 대화형 음성 인터페이스 방식이 타당하다. 그러나 다중서버 관리시스템과 같은 응용 소프트웨어의 경우는 음성 인터페이스와 키보드･마우스 인터페이스를 동시에 사용하는 멀티모드 인터페이스의 지원이 다음의 이유로 타당성이 있다. 첫째, 다중서버 관리시스템에서 사용자 명령으로 출력되는 정보량이 많아서 음성 출력은 사용자의 인지부하(cognitive load)를 초래할 수 있다. 둘째, 그래픽을 포함한 많은 사용자 요구정보를 화면 인터페이스를 통해 출력되면 정보습득이 빠르고 반복적으로 확인할 수 있다. 셋째, 음성과 화면을 함께 사용하는 멀티모드 인터페이스를 통해 병행성을 높여 사용자의 작업효율을 향상시킬 수 있다. 세 번째 요소는 모바일 기기에 비해 PC기반 응용 소프트웨어의 VUI가 가질 수 있는 장점이다. ⁽³⁾은 정보인지 효율성 향상을 위해 음성 인터페이스의 디자인의 고려사항으로 음성언어･문자언어 멀티모드 인터페이스의 지원을 제시하였다.

본 연구에서는 다중서버 관리시스템의 기능들에 대해 텍스트 형태의 표준명령문들과 이들과 같은 의미의 유사 명령문들을 작성하여 명령문 집합(command-sentence set)을 구성하였다. 또한 표준명령문에서 오인식된 표현들은 유사어 사전을 구성하여 음성 왜곡문제를 개선하였다. 이를 기반으로 서버관리자가 다중서버 관리시스템의 기능을 마우스뿐만 아니라 음성명령으로 실행할 수 있도록 음성 인터페이스를 설계하였다. 그러므로 서버관리자는 키보드를 사용하여 대상 서버를 위한 설정작업을 수행하면서 이와 연관된 서버정보를 음성명령으로 실행을 요청하여 멀티 모니터에 출력시킬 수 있다.

음성명령의 인식을 위한 문법설계는 규칙기반 인식문법과 통계적 인식문법으로 분류할 수 있는데⁽⁴⁾, 서버관리를 위한 명령들은 규정된 단어와 문장으로 모두 다룰 수 있어 규칙기반 인식문법 방식을 사용하였다. 음성인식기는 웹브라우저에서 구동이 가능한 공개 소프트웨어인 Annyang 라이브러리⁽⁵⁾를 사용하였다. 이번 연구결과는 전문 사용자를 대상으로 하는 응용 소프트웨어, 설비관리 소프트웨어, IoT 기기 모니터링 시스템 등에서 VUI 설계에 활용할 수 있을 것으로 기대된다.

본 논문의 구성은 다음과 같다. 2장에서 VUI에 대한 관련 연구를 살펴본다. 3장에서는 명령형 음성 인터페이스에서 구성요소 설계, 다이얼로그 설계, 그리고 음성명령 변환 모듈의 설계 내용을 차례로 설명한다. 4장에서는 시스템의 구현 내용과 실험결과를 기술한다. 마지막으로 5장에서 결론을 맺는다.

2. 관련 연구

⁽¹⁾은 음성인식 기술과 음성 인터페이스의 요소기술을 분석하고 상용화 문제점, 산업동향과 시장동향, 그리고 산업전망을 기술하였다. ⁽²⁾는 음성인식 기술의 특징을 살펴보고, 스마트폰 환경에서의 음성 인터페이스의 서비스 동향을 분석하였다. ⁽⁴⁾는 VUI의 특징을 분석하고 개발 시 각 단계별 설계요소를 제시하였다. ⁽⁶⁾은 사용성 평가 대상인 음성 인터페이스 시스템이 구현되지 않은 단계에서 사용성을 평가하고 이를 반영하여 개선할 수 있도록 시뮬레이션 방식의 명령형 음성 인터페이스의 설계를 위한 사용성 평가도구를 제시하였다. 이 연구결과는 범용 사용자를 위한 음성 인터페이스의 설계에 적합한 것으로 보이며, 본 연구에 적용을 시도해 본 결과 한정된 사용자를 위한 음성 인터페이스 개발 시에는 사용성 평가환경을 구축하는데 많은 부하가 발생할 것으로 추정된다. ⁽³⁾은 음성 인터페이스의 디자인 고려사항으로 “인간은 주변 환경을 인지하는데 70% 이상을 시각에 의존하고 있기 때문에 가능하다면 시각적 피드백을 적절히 사용할 필요가 있다.”고 제안하며, 음성언어･문자언어 멀티모드 인터페이스의 병행 사용이 정보인지 효율성을 향상시킨다고 하였다. 음성인식 성공률에 관한 연구로는 ⁽⁷⁾에서 국토해양부에서 운영 중인 교통정보 안내전화 통합운영 시스템을 근간으로 하여 음성인식에 대한 성공률을 분석하고 음성인식 성공률 향상 방안에 대해 제시하였다. 음성 인터페이스를 활용한 응용 시스템으로 ⁽⁸⁾은 관광경로의 출발지･목적지를 음성 입력받아 출발지, 목적지, 그리고 인근의 관광지에 대한 정보를 안내하는 통합 관광정보 안내시스템에 개발하고 성능평가 결과를 제시하였다. 음성 왜곡률 실험결과 1.7%가 주목할 만한 점이나, 본 연구의 결과는 컴퓨터용 소프트웨어에 음성 인터페이스의 적용을 위해 실용적인 접근방법을 사용했다는 점에서 차별성이 있다.

3. 명령형 음성 인터페이스 설계

3.3 음성명령 변환 모듈

그림 1에서 사용자 발화로 음성명령이 입력되면 음성인식기를 통해 텍스트 명령문으로 변환된 다음, 그림 2의 음성명령 변환모듈이 호출된다. 그림 2는 텍스트 명령문으로 변환된 음성명령을 다중서버 관리시스템의 실행명령으로 변환하는 변환모듈의 순서도이다.

그림. 1. 명령형 VUI의 다이얼로그 순서도

Fig. 1. The flow chart for command-and-control VUI dialog

음성명령 변환모듈은 전송된 텍스트 명령문을 형태소 분석 전에 전처리 작업을 수행한다. 전처리 단계에서는 음성인식의 왜곡을 교정한다. 음성은 동일한 화자의 경우에도 감정, 발성속도, 주변잡음, 마이크 성능 등에 따라 다양한 변이가 발생하고, 동일한 단어라도 화자별로 발성 특성이 다르다⁽²⁾. 본 연구에서는 표준 명령문의 발화실험을 통해 표준 명령문들에 대해 음성 왜곡현상으로 생성된 단어들을 유사어 사전에 등록하였다. 그리고 전처리 단계에서 텍스트 명령문에 유사어가 존재하면 정규어로 변환하였다. 표 3은 음성 왜곡현상이 발생한 표준명령문 사례를 나타낸 것이다.

전처리 작업이 끝난 텍스트 명령문을 형태소 분석을 통해 “명사, 조사, 동사”를 식별한다, 형태소 분석기는 공개 소프트웨어인 Annyang⁽⁵⁾을 사용하였다. 음성명령 변환 모듈은 내부에 동사테이블과 명사테이블을 포함한다. 이는 미리 정의된 명령문 집합에서 추출한 명사들과 동사들로 구성된 테이블이며 데이터베이스(SQLite3)로 관리한다. 식별된 동사를 동사테이블에 저장된 단어들을 대상으로 유사도 검사를 수행하여 해당 동사를 추출한다. 식별된 명사를 명사테이블에 저장된 단어들을 대상으로 유사도 검사를 수행하여 해당 명사를 추출한다. 추출된 동사와 명사들을 분석하여 다음 형식의 실행명령 세트 {window, type, target, action}을 생성하여 웹클라이언트로 반환한다.

그림. 2. 명령어 변환 모듈 순서도

Fig. 2. The flow chart for instruction conversion module

4. 명령형 음성 인터페이스 구현

제안된 명령형 VUI 모듈은 다수의 서버를 효율적으로 관리하기 위한 다중서버 관리시스템에서 음성 인터페이스를 지원하기 위해 구현하였다. 명령형 VUI 모듈에서 음성인식은 웹브라우저에서 사용할 수 있는 Annyang⁽⁵⁾을 사용했으며, 이로 인해 사용 가능한 웹브라우저가 구글 크롬(Chrome)과 마이크로소프트 엣지(Edge)로 한정된다는 제약이 있다. 프로그래밍 언어는 서버 쪽은 Python Flask 프레임워크를, 클라이언트 쪽은 Python3.x와 JavaScript를 주로 사용하였다.

4.1 구현된 시스템

그림 3~4는 구현된 명령형 VUI 모듈의 실제 구동 화면을 보여준다. 크롬 웹브라우저를 사용하여 다중서버 관리시스템에 로그인하면 음성 리스너가 구동되고, 사용자가 기동어 “헤이”를 발화하면 프롬프트 상태로 전환되어(그림 3), 다중서버 관리를 위한 음성명령 입력 대기상태로 들어간다. 사용자는 효율적인 관리작업을 위해, 메인작업 모니터와 작업 참조정보 모니터로 구성된 다중 모니터 환경에서 작업한다고 가정한다. 그림 4는 명령문 집합에 속한 음성명령 “2번 창 C동 서버 세부정보 페이지로 이동’의 실행결과 화면을 나타낸 것이다.

그림. 3. 프롬프트 상태 화면

Fig. 3. Prompt status screen

그림. 4. 음성명령의 실행 화면 예

Fig. 4. An example of voice command execution screen

그림. 5. 실험환경의 백색잡음 측정

Fig. 5. White noise measurement in the experimental environment

그림. 6. 실험에 사용한 저가형 소형 마이크 (모델명: JayTron사 HM5)

Fig. 6. Low-cost small microphone used in the experiment (Model: JayTron HM5)

5. 결 론

본 논문에서는 음성과 키보드를 이용한 멀티모드 사용자 인터페이스 지원을 통해 다중서버 관리시스템의 사용성을 향상시키기 위해 명령형 VUI 시스템을 구현하였다. 구현된 시스템의 음성인식의 성공률을 개선하기 위해 음성의 왜곡률 실험을 진행하였다. 백색잡음이 평균 51dB인 작은 규모의 연구실에서 헤드셋 형태의 저가형 소형 마이크를 사용하여 수행하였다. 세 명의 사용자가 다섯 가지 유형의 표준 명령문을 20회씩 발화하여 실험하였다. 실험결과 7.7%의 음성인식 평균 왜곡률이 나타났으며, 이는 수용할 만한 수준으로 평가된다. 음성 왜곡현상으로 생성된 단어들은 유사어 사전에 1회 등록하여 재실험한 결과 음성 왜곡률이 3.67%로 감소되었다. 이 방식은 한정된 전문 사용자가 다중서버 관리시스템을 사용하기 때문에 생성되는 유사어들도 한정되므로 음성인식 성공률을 개선시킬 수 있을 것이다. 이번 연구결과는 전문 사용자를 대상으로 하는 응용 소프트웨어, 설비관리 소프트웨어, IoT 기기 모니터링 시스템 등을 위한 음성 사용자 인터페이스 설계에 활용할 수 있을 것으로 기대된다. 4.3절 실험에서 표준말을 사용하면서 사투리 억양이 남아있는 발화자의 경우 음성 왜곡률이 가장 높게 나타났다. 음성 왜곡문제를 야기하는 요소 중 하나가 발화자의 음성 억양이라는 점은 사용자의 확대를 저해하는 요인이므로 해결해야 할 과제이다. 기존 GUI는 하향식 메뉴구조로 설계되어 누구나 쉽게 필요한 메뉴항목에 접근할 수 있는 장점이 있지만, 음성 인터페이스를 함께 사용하는 경우는 접근경로가 길어지는 문제점이 있다. 음성 인터페이스 설계 시 GUI 설계도 같이 고려해야 한다는 점도 드러났다.