2.1.1 영상 취득 및 데이터 전 처리

영상 취득을 위해 사용한 전방위 카메라는 RICOH 사의 Theta S 모델이다. Theta S 모델은 그림 2와 같이 서로 반대 방향을 향하고 있는 두 개의 어안 렌즈로 촬영을 한다. 일반 카메라로 전방위 영상을 취득하기 위해서는 방향을 바꾸어 가면서 사방을 촬영해야 하지만, Theta S 모델은 화각이 180도를 넘는 두 개의 어안 렌즈를 활용하여 한 번의 촬영으로 전방위 영상을 취득할 수 있다. 촬영된 두 어안 영상은 카메라 내부 프로그램에 의해 2차원 구면 이미지로 stitching 된다^[8]. USB 시리얼 통신을 사용하여 컴퓨터와 카메라를 직접 연결하였다. 촬영 중인 영상을 실시간으로 컴퓨터에서 확인할 수 있고 이 영상은 1920 × 960의 해상도와 15 Frame per second(FPS)의 프레임 레이트를 가진다. 영상의 프레임 데이터들을 가능한 빠른 속도로 송수신하고 헤드마운티드 디스플레이에 렌더링함으로써 복원 영상이 원본 영상의 해상도와 프레임 레이트에 필적한 수치를 가지게 하는 것을 성능 면에서의 최고 목표로 한다.

그림. 2. Theta S 모델의 촬영 방식과 촬영 영상

Fig. 2. shooting method and image of Theta S model

영상의 프레임 데이터 송수신시, 통신 지연 시간으로 인한 프레임 데이터 손실이 그림 3과 같이 일어날 수 있다. 원본 영상의 해상도를 유지한 상태로 영상 송수신을 진행하였을 때, 원본 프레임 레이트를 온전히 복원하지 못한다면 영상의 해상도를 낮추어 송수신할 각 프레임 데이터의 크기를 줄여 데이터 송수신 속도의 상승 및 렌더링 영상의 프레임 레이트 상승을 기대할 수 있다.

그림. 3. 통신 지연 시간으로 인한 프레임 손실

Fig. 3. Frame loss caused by communication delay

전방위 카메라의 실시간 촬영 영상 캡처를 위하여 C# Wrapper인 Emgu Computer Vision(EmguCV)를 사용하였다^[9]. 캡처된 영상은 최초 Bitmap 데이터 형태로 입력되며, 이를 백업 저장소가 메모리인 Memorystream에 Joint photographic coding experts qroup(JPEG) 포맷으로 저장한다. 원본 영상의 해상도가 1920×960 이므로 그 보다 낮은 해상도를 가지는 영상들에 대해 복원 영상 프레임 레이트를 분석하는 실험을 진행하기 위해 다양한 크기로의 영상 크기 조정을 진행한다.

이후 Memorystream에 저장된 프레임 데이터를 byte 배열 형태로 변환한다. 배열로 저장된 하나의 프레임 데이터는 클라이언트에서 서버로 TCP/IP 송신될 준비가 완료되며 적당한 크기의 패킷으로 나누어 송신되며 서버에서 그 데이터를 수집하게 된다.

2.1.2 TCP/IP 통신 기반 데이터 송수신

헤드마운티드 디스플레이에서 원격으로 실시간 전방위 영상을 관측하기 위해서는 해당 영상 데이터에 대한 안정적인 네트워크의 데이터 송수신 시스템이 필요하다. 이를 구축하기 위해 소켓 프로그래밍 기법을 사용하여 Transmission Control Protocol / Internet Protocol(TCP/IP)^[10] 통신을 구축하였다.

Byte 배열 형태로 저장된 하나의 프레임 데이터는 한 번의 데이터 송수신으로 전송될 패킷 데이터를 설정한 후, 전체 프레임 데이터가 모두 송수신될 때 까지 패킷 데이터를 송수신하는 것을 반복한다. IP 구조체의 전체 패킷 크기를 저장하는 필드가 16 비트로 이루어져 있어 TCP 헤더, IP 헤더를 제외한 65496 byte까지 패킷 데이터 크기 설정이 가능하다. 그러나 TCP가 한 번에 전송하는 메시지의 크기 Maximum segment size(MSS)는 클라이언트와 서버가 다룰 수 있는 가장 큰 IP datagram 보다는 작아야 한다^[11]. 본 시스템에서는 IPv6의 host를 사용하기 때문에 1280 octets에서 TCP 헤더(40 byte)와 IP 헤더(20 byte)를 제외한 1220 octets의 MSS를 한 번에 송수신할 수 있다. 따라서 본 시스템에서는 프레임 데이터를 분할할 각 패킷 크기를 1024 byte로 설정하여 반복 송수신 한다.

클라이언트에서 1024 byte의 프레임 데이터 패킷을 보내고 서버에서 그 데이터를 수집하여 배열에 쌓는 작업을 반복한다. 모든 데이터의 송수신이 완료되면 서버에서는 이미지 데이터를 복원하여 헤드마운티드 디스플레이 상에 렌더링 한다. 이 과정을 그림 4에 직관적으로 표현하였다. 서버가 렌더링 작업을 수행하고 다시 데이터 수신을 함으로써 위의 동작이 지속적으로 반복되어 여러 프레임 데이터에 대한 통신이 이루어진다. 각 프레임 데이터의 송신과 수신이 오류 없이 이루어지도록 서버가 수신 준비가 될 때까지 클라이언트가 대기하도록 동기화 작업^[12]을 적용한다.

그림. 4. 프레임 데이터 송수신 과정

Fig. 4. Frame data communication process

2.1.3 헤드마운티드 디스플레이를 활용한 영상 렌더링

TCP/IP 통신을 통해 각 프레임 데이터가 연속적으로 서버에서 수신될 때 마다 통신과는 별개로 프레임 데이터를 헤드마운티드 디스플레이에 렌더링 하는 동작을 수행한다. 헤드마운티드 디스플레이에 적합한 SDK를 제공하는 Unity 3D 환경에서 본 동작을 구현하였다. Unity 3D에서는 헤드마운티드 디스플레이와 프로그램간의 연동이 가능하도록 하는 Steam VR plugin SDK^[13]를 제공한다. 이를 통해 Unity 3D의 메인 카메라가 보는 시야를 헤드마운티드에서 그대로 관측할 수 있다. 서버에서 수신한 프레임 이미지를 구형 오브젝트에 삽입하고, 구 내부 중심에 카메라를 위치시켜 구 표면에 씌워지는 영상을 내부 카메라로 볼 수 있도록 한다. 이를 헤드마운티드 디스플레이를 착용한 상태에서도 관측할 수 있다. Ricoh theta S 카메라로 촬영되어 서버로 송수신된 영상은 그림 2에서 볼 수 있듯이, 단순히 그대로 관측하기에는 다소 왜곡된 2차원 구면 이미지이다. 이 영상을 구 표면에 덮어씌움으로 구 내부에서 관측했을 때 비로소 공간감과 사실감을 느낄 수 있는 영상을 관측할 수 있다. Unity 3D 프로그램 내부에서는 구형 오브젝트에 구면 이미지를 첨부할 때, 머케이터 프로젝션을 사용하여 구면 상의 픽셀 위치에 올바른 좌표를 할당한다^[14]. 이미지를 텍스처로써 구면 물체에 wrapping하여 방향과 화각을 지정하여 로컬 영상을 관측할 수 있다. 그림 5에 표현된 것처럼 Unity 3D 상에 구형 오브젝트를 만들고 그 표면에 전방위 영상의 샘플 이미지를 wrapping 하였다. 비교 분석을 위하여 평면 오브젝트에도 샘플 이미지를 wrapping 한다. 관측 카메라의 위치를 그림 6와 같이 바꾸어가면서 구 안에서 관측한 영상과 평면 이미지를 그대로 관측한 영상을 비교 분석한다. 평면 오브젝트에 투사해 관측한 영상은 건물의 난간이나 주변 사물에서 왜곡이 있음을 확인할 수 있다. 이에 비해 구체에 투사된 이미지의 관측은 실제로 보는 시야와 흡사하고 왜곡된 느낌을 주지 않는다.

그림. 5. 전방위 영상의 구형화

Fig. 5. Spherical mapping of omnidirectional image

그림. 6. 구형화된 영상과 기존 영상의 관측 비교

Fig. 6. Comparing spherical image with original image

결과적으로 클라이언트에서 촬영된 영상의 프레임 데이터를 지속적으로 TCP/IP 통신으로 서버로 송신하고, 그 프레임 이미지들을 연속으로 헤드마운티드 디스플레이에 렌더링 하여 시스템을 구현한다.

2.2.1 헤드마운티드 디스플레이의 방향 획득

그림. 7. 헤드마운티드 디스플레이 방향 데이터의 수집

Fig. 7. Collection of direction data of head mounted display

서버 컴퓨터에 USB 시리얼 통신 및 High-Definition Multimedia Interface(HDMI) 영상 출력으로 연결된 헤드마운티드 디스플레이는 HTC사의 VIVE 모델^[15]을 사용하였다. Unity 3D의 Steam VR plugin SDK를 사용하여 헤드마운티드 디스플레이의 방향 데이터를 실시간으로 갱신하여 얻을 수 있다. 이 데이터는 HTC VIVE 제품 내부에 존재하는 관성 측정 센서로부터 측정된 값이다. 시스템 동작의 최초 단계에서는 사용자가 착용하고 있는 헤드마운티드 디스플레이의 방향 데이터 수집이 서버 컴퓨터에서 이루어진다. 방향 데이터는 오일러 각 원리^[16]에 의거한 수치이며 Yaw, Pitch, Roll의 세 값을 가진다. 각각 Y축, X축, Z축의 회전 각도를 표현한다. 각 축의 회전 각도가 0°~360° (degree)로 데이터가 수집되기 때문에 Yaw의 경우, 고개를 우측에서 좌측으로 회전시킬 때 정면을 지나는 지점에서 0°에서 360°으로 급상승한다. 이를 좀 더 직관적으로 이해할 수 있는 값으로 바꾸기 위해 회전 각도의 범위를 0°~360°에– -180°~ 180°으로 변환한다. 결과적으로 Yaw, Pitch, Roll에 대한 시계 반대 방향 회전을 음수 값, 시계 방향 회전 값을 양수 값으로 얻을 수 있다. 그림 7과 같이 헤드마운티드 디스플레이를 착용한 채로 원하는 관측 방향을 향하여 고개를 움직인다. 이후, 수집된 방향 데이터를 Unity 3D의 관측 카메라에 적용하여 관측 방향에 따른 영상을 헤드마운티드 디스플레이에 출력할 수 있다.

2.2.2 UNITY 3D 관측 카메라의 관측 방향 변경

헤드마운티드 디스플레이로부터 수집된 방향 데이터들은 사용자가 바라보고 있는 방향을 담고 있다. 촬영된 영상은 전방위 영상이기 때문에 그 영상 전체를 헤드마운티드 디스플레이에 렌더링할 필요가 없고, 렌더링했을 때, 사용자가 실제 현장에 있는 것 같은 느낌을 받을 수가 없다. 따라서 헤드마운티드 디스플레이로부터 수집된 방향 데이터들을 UNITY 3D의 관측 카메라에 적용하여 구형화된 영상의 특정 부분을 관측 방향 및 관심 영역으로 지정해줄 필요가 있다. 관측 카메라의 관심 방향이 변경됨에 따라 그림 8과 같이 관측 카메라는 구형화된 영상의 일부분을 가리키게 된다. 해당 관심 영역을 헤드마운티드 디스플레이에 렌더링 함으로써 결과적으로 사용자가 관측하고 싶은 방향으로 고개를 움직임에 따라 디스플레이에 출력되는 영상이 관심 영역에 맞추어 변하게 된다.

그림. 8. 관측 방향에 따른 디스플레이 상 출력 영상

Fig. 8. Output images of HMD according to the observation direction