2.1 음성인식 기술 개요

음성인식은 “음성으로부터 언어적 의미 내용을 자동으로 식별하는 것으로, 보다 구체적으로는 음성 파형을 입력하여 단어나 단어열을 식별하고 의미를 추출하는 처리 과정이다.”⁽¹⁾

그림 1에서 볼 수 있듯이 음성인식 기술은 주로 음향모델, 언어모델, 디코더(Decoder)로 구성된다. 음성신호는 음성 발화 환경, 음성 전달 매체 등의 형태에 따라 다양한 특징을 보이는데 일반적으로 잡음, 음향간섭 등으로 음성신호의 특징이 왜곡되는 경우 음성인식의 성능이 크게 저하된다. 왜곡된 음성신호의 특징을 개선하기 위한 전처리 기술에는 음성신호 저장, 잡음 제거, 음성 특징 파라미터 추출 등의 기술이 있다. 음향모델은 음성인식 기술의 기초이자 가장 핵심적인 역할로, 음성을 인식하고 글자로 변환하는 일을 한다. 다시 말해, 음성신호의 특징을 추출한 음성 데이터가 입력되면 문자를 출력한다. 언어모델은 특정 단어열이 주어졌을 때 단어별로 분해를 한 후, 이전 단어들로부터 다음에 나올 단어들의 확률을 예측하는 모델이다. 단어를 구분하는 단위는 형태소, 어절, 음절이 있다. 디코더는 음성에 대해 음향모델, 언어모델, 발음사전, 어휘사전 등으로 생성된 탐색 네트워크에서 가장 최적의 경로를 찾아 단어열을 예측한다. 디코딩 네트워크의 기술로는 Lexical Tree 기반 Search와 Weighted Finite State Transducer의 두 가지 방법이 있다⁽²⁾.

그림. 1. 음성인식 기술

Fig. 1. Speech recognition technology

2.2 성능 평가 방법

성능 평가 방법으로 편집 거리(Levenshtein distance) 기반으로 만들어진 WER과 CER이 있다. WER은 두 개의 문장을 단어(Word) 단위로 비교한다. 치환(Substitution)된 단어 개수를 $S_{w}$, 삭제(Deletion)된 단어 개수를 $D_{w}$, 삽입(Insertion)된 단어 개수를 $I_{w}$, 기준이 되는 문장의 전체 단어 개수를 $| W |$로 정의하면, WER은 식(1)과 같이 나타낼 수 있다.

본 논문에서는 원본 문장과 음성인식 결과 문장에 대해 WER과 CER을 이용하여 측정한 오류율을 통해 음성인식 API의 성능을 비교하였다.

4.1 실험에 사용한 음성 데이터

소음이 있는 환경에서 여러 상용 음성인식 API의 성능을 비교하기 위해 AI 허브에 공개된 ETRI에서 제공하는 음성 데이터 중 다채널 잡음처리 기술 개발 및 평가용 데이터를 사용하였다. 이 데이터는 2~30대 성인 남녀 50명을 대상으로 각각 101개의 발화를 수집한 데이터이다. 성별의 비율은 같고 표준 발음을 사용하는 사람들로 구성되어 있다. 잡음원은 뉴스, 음악으로 구성되어 있으며, 2m 거리에 1~2개의 잡음원을 사용하였다. 발화는 8개의 마이크를 사용하여 정면 1m 거리에서 25명, 45° 우측 1m 거리에서 25명의 화자가 발성한 것을 녹음하였다. 수집 장비로 마이크는 TURNER TP-841, 믹서는 OctaMic-D 8Ch, 사운드 카드는 SB Audigy2, PC는 Intel Pentium® D CPU 3.0GHz를 사용하였으며, 가정집 거실에서 녹음되었다.

50명의 음성 데이터는 그림 2와 같이 음성 데이터의 내용을 기준으로 5개의 패턴으로 나뉜다. 패턴은 일종의 데이터 묶음이며 녹음 내용만 다를 뿐 형식상의 차이는 없다. 또한, 각 패턴은 2~5글자의 짧은 명령어, 2~7글자의 지명, 3글자의 인명, 2~7개의 단어로 이루어진 긴 문장으로 총 4가지 타입으로 구성되어 있다. 예를 들어 각 패턴의 첫 번째 음성 데이터의 내용을 살펴보면 패턴 1은 “검색해줘”, 패턴 2는 “가동해”, 패턴 3은 “걸어줘”, 패턴 4는 “가져와”, 패턴 5는 “감시해”와 같이 패턴마다 다른 내용으로 녹음이 되어 있다.

그림. 2. 데이터 개요

Fig. 2. Data Overview

4.2 음성 데이터 선별

음성 데이터를 분석한 결과, 표 6과 같이 패턴을 기준으로 화자의 성별과 화자의 위치에 대해 불균등한 분포를 보이는 것을 확인하였다. 따라서 전체 음성 데이터 중 패턴마다 남성과 여성, 전면과 측면의 비율이 같아지도록 8명씩 임의로 선택하여 총 40명의 음성 데이터를 사용하였다. 선별된 40명의 음성 데이터는 총 4,017개이며, 본 논문에서는 4,017개의 데이터를 모두 사용하여 성능을 비교하였다.

그림. 3. 마이크별 측정 결과

Fig. 3. Performance measurement result for each microphone

4.3 음성 데이터 선별

본 논문에서는 구글, 네이버, 카카오, AWS, Azure 음성인식 API의 성능을 비교하였다. 각 음성인식 API의 한국어 모델을 사용하였고, 각 API가 제공하는 라이브러리를 사용하였다. 기존 raw 형식의 파일을 wav 파일로 변환하여 실험을 진행하였다. 선별한 음성 데이터를 각 API를 통해 문장으로 변환한 결과와 정답 문장에 대해 WER과 CER을 이용하여 오류율을 계산하고 그 성능을 비교하였다.

4.4 사전 실험

본 실험에 앞서 임의의 음성 데이터 셋을 선정하여(패턴 2, 여성, 전면, 3번 마이크), API별로 5번씩 오류율을 측정하여 실험 횟수에 따라 오류율에 차이가 있는지 확인하였다. 그림 4와 그림 5는 그 결과를 그래프로 나타낸 것이다. 실험 결과 모든 API가 오류율에 큰 변화를 보이지 않았으며, 따라서 이후 성능 분석에서는 반복 실험을 진행하지 않고 API의 성능을 비교, 분석하였다.

그림. 4. 5번 반복 실험에 따른 상자 그림 (WER)

Fig. 4. Boxplot for 5 repeated experiments (WER)

그림. 5. 5번 반복 실험에 따른 상자 그림 (CER)

Fig. 5. Boxplot for 5 repeated experiments (CER)

4.5 사전 실험

그림 6은 전체 음성 데이터에 대해 API별 음성인식 오류율을 측정한 결과이다. 소음이 있는 환경에서 오류율이 가장 높은 API는 AWS API로 WER 측정 결과 92%, CER 측정 결과 54%를 보였다. 오류율이 가장 낮은 API는 구글 API로 WER 측정 결과 53%, CER 측정 결과 18%로 가장 좋은 성능을 보였다.

그림. 6. API별 오류율

Fig. 6. Error rate by API

그림. 7. 성별에 따른 오류율

Fig. 7. Error rate by gender

그림. 8. 마이크 위치에 따른 오류율

Fig. 8. Error rate by microphone position

그림. 9. 내용에 따른 오류율 (WER)

Fig. 9. Error rate by content (WER)

그림. 10. 내용에 따른 오류율 (CER)

Fig. 10. Error rate by content (CER)

4.6 실험 결과에 대한 분석 및 토의

끝점 검출(endpoint detection)이란 음성의 시작과 끝을 찾는 것인데⁽⁹⁾ 일반적으로 주변에 소음이 존재하는 환경에서는 끝점 검출이 어렵다. 본 연구에서의 실험 결과, 문장의 끝을 잘 인식하지 못해 오류율이 전체적으로 높게 측정된 것으로 보인다. 한편 음성 데이터의 문장 길이가 짧을수록 문장의 끝을 못 찾았을 때 오류율이 크게 측정된다. 따라서 긴 문장보다 짧은 문장의 음성인식 오류율이 높게 측정되었음을 확인할 수 있었다.

⁽¹⁰⁾에서는 남성과 여성의 음향학적 차이에 주목하였는데, 주파수 스펙트럼에서 여성이 남성보다 평균 스펙트럼이 고주파 쪽으로 편향되게 측정되었다. 이를 이용하여 성별에 따른 오류율을 분석하였을 때 AWS API는 저주파의 인식률이 더 낮은 것을 알 수 있었고, 다른 API들은 고주파의 인식률이 더 낮은 것을 알 수 있었다.

한편 모바일 환경에서 구글 어시스턴트의 음성인식 기능으로 수집된 음성 데이터가 많아 인명, 지명이 있는 음성 데이터를 사용하였을 때 다른 API보다 구글 API가 낮은 오류율을 보이며, 성능 또한 좋게 측정된 것으로 추측된다.

그림 11은 본 연구의 결과와 기존 연구 결과를 WER을 기준으로 비교한 것이다. 2020_Not_Noisy는 ⁽²⁾의 연구 결과이고 2021_Not_Noisy는 ⁽⁶⁾의 연구 결과이다. 기존 연구 결과와 비교해봤을 때 본 연구에서 측정한 음성인식 오류율이 현저히 높은 것을 확인할 수 있다. 따라서 실생활에서 음성인식 서비스가 널리 활용되기 위해서는 소음이 있는 환경에서도 음성인식이 잘 될 수 있도록 추가적인 보완장치가 필요할 것으로 사료된다.

그림. 11. 기존 연구 결과와의 비교 (WER)

Fig. 11. Comparison with previous work’s results (WER)