2.1 연구 데이터

강원도 횡성에 위치한 강원도 축산기술연구소에서 데이터수집을 진행하였다. 강원도 축산기술연구소는 수익성이 필요한 실제 축산 농가와 달리, 연구를 위한 기관으로 약 3개월 혹은 6개월마다 체중 및 체위측정을 수행한다. 그 때문에 체중 및 체위측정을 위한 유도로, 장비 및 인력이 준비되어 있고, 카메라를 우형기 위 천장에 설치하여 측정 진행 시의 개체의 탑뷰 영상과 실측 체중량을 동시에 수집하였다.

수집한 데이터는 총 45마리에 대한 1280x720(HD) 해상도의 영상 데이터며, 주로 10시 ~ 2시 사이에 수집이 진행되어 조도가 충분히 밝은 상황이었다. 실측 무게는 최저 158kg ~ 최고 651kg의 무게를 가지며, 평균은 334.47kg, 표준편차는 148.34이다. 연구를 진행하면서 45마리 중 23마리의 데이터 2,629장은 학습에 사용하고, 22마리의 2,392장을 테스트에 사용하였다. 테스트 데이터의 22마리는 총 45마리를 무게순으로 2그룹으로 나눈 후, 각 그룹에서 절반에 해당하는 숫자만큼 무작위로 추출하여 임의로 데이터 세트를 구성하면서도 학습데이터와 테스트 데이터 사이에 특정 범위의 무게가 편중되지 않도록 구성했다.

2.2 장비 및 환경

연구에 사용한 컴퓨터 자원은 Intel Xeon 프로세서, NVIDIA TITAN RTX 24GB이며, 환경은 Window 10 운영체제, CUDA 11.0이다. 데이터수집에 사용된 카메라는 모델명 GB-CDX로 최고 해상도는 1920x1080(FHD), 30FPS이지만, 저장공간을 고려해 1280x720(HD)로 낮추어 사용하였다.

2.3 효과적인 학습데이터 선별

본 연구에서는 영상 분할을 위한 Mask R-CNN과 추출된 체중 상관요소를 입력으로 체중을 추정하는 인공신경망의 2개의 딥러닝 네트워크가 사용되는데, 두 모델은 다른 구조로 되어 있으나, 모두 지도학습 알고리즘이다⁽¹⁵⁾. 지도학습은 Ground Truth와 모델의 출력을 비교하여 그 차이를 통해 가중치를 갱신한다. 지도학습의 기본적인 가중치 갱신 수식은 (1)과 같다. $w_{new}$는 갱신된 가중치를, $w_{old}$는 갱신 전 가중치 혹은 초깃값을, $a$는 학습률, $x$는 입력을 의미한다. 가중치 갱신은 이러한 과정으로 이루어지기 때문에, 다양한 종류의 데이터가 많을수록 공통이 되는 경향을 올바르게 학습할 수 있고, 편중되어 반복되는 데이터는 오히려 많을수록 학습에 방해가 되며 과적합을 발생시킬 수 있다. 수집된 데이터는 초당 30프레임의 동영상인데, 연속되는 프레임은 그 차이가 너무 작아서 같은 데이터의 반복이라고 볼 수 있다. 그 때문에 동물의 움직임이 많을 때는 더 많은 프레임을 선택하고, 움직임이 적거나 없을 때는 최초 1장의 프레임만 선택할 수 있도록, 히스토그램 변환을 활용하여 변화량이 50,000을 넘는 프레임을 선택하는 방법을 사용했다. 이 방법을 사용하면 약 200,000개의 프레임을 10,081개의 프레임으로 추출할 수 있다. 그림 2는 그 결과를 표현하였다.

그림 2 데이터 선별 결과

Fig. 2 Data screening results

그림 3 영상 분할 결과

Fig. 3 Image segmentation result

2.4 딥러닝 기반 영상 분할 알고리즘

영상 분할은 체중 상관요소를 추정하고 추출하기 위한 필수적인 작업이다. 체중 상관요소는 영상 데이터의 색감이나 질감이 아닌, 형태에 대한 길이나 면적 따위의 것들이기 때문이다. 본 연구에서는 대상과 배경을 나누어 대상의 분할 마스크를 획득하기 위해 Mask R-CNN 알고리즘을 사용하였다. Mask R-CNN은 객체탐지 알고리즘인 Faster R-CNN과 영상 분할 알고리즘인 FCN(Fully Convolutional Network)를 합친 구조를 가지는 모델이다^(16,17). Faster R-CNN이 예측하는 RoI(Region of Interest)에 FCN이 적용되는 구조로 합쳐지면서, Faster R-CNN이 객체를 탐지하며 어떤 객체인지 클래스를 분류하는 기능을 하므로, 픽셀 단위로 영역을 분할하는 FCN은 객체를 분류할 필요가 없어졌다. 그래서 활성 함수로 사용되던 기존의 Softmax 대신 해당 픽셀이 마스크인지 아닌지 두 개의 클래스로 분류하는데 유리한 Sigmoid를 사용하면서 성능이 향상되었다. 이것은 모델이 분류할 클래스를 2개로 줄어드는 것을 의미하며, 확률 기댓값이 증가하여 자연스레 성능이 향상된다. Mask R-CNN은 앞서 언급했듯이, 지도학습의 가중치 갱신방식을 따르므로, 학습을 위해서는 Ground Truth 마스크가 필요하다. VIA(VGG Image Annotator) 라벨링 툴을 사용해 5,021장의 영상을 라벨링 작업했다.

Mask R-CNN은 체중 상관요소를 추정하기 위한 전처리 기법으로 사용되기에 충분히 정확한 성능을 보였으며, 영상 분할 성능에 대한 평가는 3절에서 진행하였다. 그림 3은 영상 분할 결과를 시각화하여 나타낸다.

2.5 체중 상관요소의 추정 1 (면적, 체장, 몸 너비)

동물의 생체 특징과 체중의 상관관계를 조사했던 기존의 생물학 분야의 연구들과 돼지 및 물고기의 체중을 추정했던 영상 처리 분야의 연구들에서 면적과 체장 및 몸 너비를 주된 체중 상관요소로 추정 및 사용하였다^(18,19). 이 요소들은 직관적인 판단으로도 동물의 성장과 관계있는 것들이며 실제로 상관관계를 조사하여도 높은 수치를 가지고 있다.

첫 번째 상관요소인 면적은 분할 마스크의 크기를 구하면 쉽게 얻을 수 있지만, 체장과 몸 너비는 동물이 움직이기 때문에 방향이 계속 바뀌어 분할 마스크의 너비와 높이를 계산하여 쉽게 얻을 수 없다. 이러한 부분을 고려하여, 소가 카메라와 평행한 자세를 취하지 않고 어떤 방향을 향해 있더라도 일관적인 값을 추출하기 위해 최적 타원을 활용하였다. 분할 마스크에 대하여 최적 타원을 그린 후, 최적 타원의 장축과 단축을 추출하면 대상의 자세 변화에 강인하고 일정한 수치를 획득할 수 있다. 이러한 과정은 구하고자 하는 것이 소의 정밀한 체장과 몸 너비가 아니라, 체중과 상관관계가 높은 요소이기 때문에 적용 가능한 과정이라고 할 수 있다. 그림 4는 분할 마스크에 최적 타원을 시각화한 것을 보여준다.

그림 4 최적 타원의 장축과 단축

Fig. 4 Major axis length and Minor axis length of the optimal ellipse

표 1은 본 연구에서 산출한 피어슨 상관 계수이다. 피어슨 상관 계수는 변수 사이의 선형 상관관계를 계량화한 수치로써, +1과 –1 사이의 값으로 나타나며 +1은 완벽한 양의 상관관계를, -1은 완벽한 음의 상관관계를, 0은 아무 관계가 없음을 의미한다.

2.6 체중 상관요소의 추정 2 (격자, 이심률)

앞서 기술한 면적, 체장 및 몸 너비가 관련 연구들을 근거로 설정한 요소였다면, 앞으로 설명하고자 하는 격자 상관요소는 기존에 체중과의 상관성이 연구된 근거는 없지만, 직관적으로 생각해 볼 때 동물 몸의 크기와 연관이 있는 요소이며, 여러 시도 후 경험적 판단으로 체중 추정에 유리한 요소이다. 3장의 평가에서 이 격자요소의 유무에 따른 성능의 개선을 서술한다.

격자 상관요소는 다음과 같은 과정으로 추출하였다. 2.5절에서 설명했던 최적 타원의 장축과 단축을 획득하는 것이 선행된 후, 장축과 x축이 이루는 각도를 계산하여 장축이 x축과 평행하도록 영상을 조정하여 동물이 카메라와 수평 하도록 만든다. 수평 하게 놓인 분할 마스크의 가로 길이를 같은 비율로 10개로 나누어 해당하는 x 좌표 위치에서 분할 마스크의 너비를 측정한다. 세로 방향에서도 이 과정을 5개로 나눈다는 것 외에 같게 수행하여, 수직선 8개 및 수평선 5개에 해당하는 길이 13개를 획득한다. 획득한 격자 상관요소를 그림으로 나타내면 그림 5와 같다. 그리고 동물의 웅크리는 동작에 대한 영향도 반영하기 위해 최적 타원의 이심률도 상관요소에 포함했다.

그림 5 격자 상관요소

Fig. 5 Lattice Correlation Factor

3.1 영상 분할 성능평가

영상 분할은 픽셀 단위로 분류를 수행해 객체와 배경을 나누는 것이므로, 얼마나 정밀하게 분할되었는지 파악하기 위해 Ground Truth와 겹치는 정도를 수치로 표현하는 IoU(Intersec- tion Over Union)가 중요한 역할을 한다. 평가 지표는 Preci- sion-Recall 곡선 아래 면적으로 Precision과 Recall을 상호보완하는 Average Precision을 사용하는데, 이때 기준 IoU를 넘지 못하는 참은 거짓으로 판단하도록 함으로써 객체의 분류가 올바르게 되었는지와 동시에 객체의 영역분할이 잘 수행되었는지 나타낼 수 있게 한다.

Precision과 Recall은 모두 참에 대한 평가 지표이지만, Preci- sion은 False Negative가 고려되지 않고, Recall은 False Positive가 고려되지 않는다. 이상적인 모델이라면 두 지표가 모두 높게 평가되지만, 간단한 예측 문제이거나 데이터를 충분히 많은 양을 사용하는 경우가 아니라면 두 지표가 서로 반비례 경향을 가질 수 있어서 Average Precision을 사용하여 모델을 평가하였다. IoU 기준을 0.50, 0.75, 0.85의 3가지 경우로 설정하여 예측 분할 마스크와 Ground Truth 마스크의 IoU가 적어도 0.50 이상인 예측만 참이 되도록 평가했다. 표 2에 수치를 나타내었다. 0.85 IoU 기준에서도 0.892의 높은 성능을 보여 분할 마스크가 객체의 특징을 잘 표현할 수 있음을 알 수 있다.

3.2 체중 추정 성능평가

Ground Truth 마스크에서 추출한 체중 상관요소를 학습데이터로, 영상 분할을 통해 획득한 분할 마스크에서 추출한 체중 상관요소를 테스트 데이터로 사용하고 실측 무게를 정답으로 학습하여 체중을 추정하였다. 사용한 모델은 입력층과 은닉층 두 개 및 출력층의 완전연결층으로 구성하였다. RMSprop를 옵티마이저로 사용하고, 손실함수로는 MSE(Mean Squared Error)를 사용하여 큰 오차에 더 큰 반응을 하도록 하였다. 20 EPOCH 동안 검증 결과에 개선이 없다면 학습을 멈추도록 하여서 과적합을 방지했다. 평가는 일반적인 오차로 쓰이는 MAE(Mean Average Error)를 사용하였다. 체중과 상관성이 검증된 요소 면적, 체장, 몸 너비의 3가지 요소를 사용한 경우와 경험적 근거로 선택한 격자요소와 이심률을 추가한 경우를 비교하여 표 3에 검증된 요소와 추가 요소로 나타내었다. 검증된 요소 기반의 체중 추정은 MAE 28.02kg으로 테스트 데이터 22마리의 평균 무게 341.45kg에 대해 오차율 8.2%이며, 경험적 근거의 요소를 추가한 체중 추정은 MAE 25.75kg으로 오차율 7.5%이었다. 이 결과로 보아, 0.85 IoU 기준 AP 0.99의 성능을 보인 영상 분할 마스크는 충분히 동물의 형태적 특징을 나타낼 수 있었으며, 추가된 체중 상관요소로 체중 추정 성능이 개선되었음을 알 수 있다.

동물의 체중을 추정한 기존 연구들에는, 서론에서 언급한 돼지 체중을 추정한 연구는 등 면적과 신경망으로 체중을 추정하여 오차율 약 4%에 도달하여, 제안하는 연구의 성과 7.5%의 오차보다 낮은 오차 성능을 보였지만, 등 면적을 알고리즘이 아닌 사람이 직접 판단 및 측정하여 수행되어서 무인화를 이루지 못하며, 사이드뷰 데이터와 EfficientNet 모델을 사용해 체중을 추정한 연구는 정확도 0.89를 보였다⁽²⁰⁾. 때문에, 본 연구의 성과가 목표로 하는 무인화 및 높은 정확성에 근접했음을 알 수 있다. 추가로 본문에서 언급한 물고기 체중 추정 연구는 나일 틸라피아의 체중을 히스토그램 분포와 이진화의 영상처리 기법과 인코더와 디코더 구조의 영상 분할 딥러닝 모델을 사용하여 체중을 오차율 약 5%의 성능을 나타내었다. 이러한 성능은 물고기는 소와 달리 몸의 형태가 비교적 단순하며, 길이로 무게를 구하는 관계식이 성립할 만큼 선형에 근사한 비례관계에 있기 때문이다.