2.1 비전 트랜스포머

트랜스포머가 자연어 처리에서 성공을 거둔^[9] 것에 영감을 받아 이미지를 단어처럼 취급하고 트랜스포머의 입력으로 사용하는 시도들이 있었다. ViT^[5]는 이러한 시도의 초기 모델로 합성곱을 사용하지 않는 것이 특징이다. ViT는 입력 이미지를 고정된 크기의 겹치지 않는 패치로 나누고 어텐션을 통해 패치 간의 관계를 포착한다. ViT의 변형 모델로서 다양한 규모의 특징을 계층적으로 얻거나^[10], 효율적인 학습을 위해 증류 기법을 사용하는 모델^[11]이 등장했다. 나아가, CNN이 고정적인 수용장 내에서 지역적인 특징을 잘 포착한다는 점과 트랜스포머가 전역적인 문맥 정보를 포착하는데 적합하다는 점을 통합한 모델도 등장하였다^[12]-[14].

한편, 전역적인 어텐션을 하는 비전 트랜스포머는 이미지 크기에 따라 이차적인 계산량을 수반하기 때문에 고해상도 이미지를 학습하는 데 적합하지 않다. 이러한 문제를 해결하기 위해 어텐션 영역을 윈도우라는 지역으로 제한하는 모델이 등장하였다. 대표적으로 Swin transformer^[6]가 있으며 윈도우의 모양이나 어텐션 계산 방식에 따라 다양한 모델들이 있다. CSwin transformer^[15]는 십자가 모양으로, Pale transformer^[16]는 성긴 모양으로 영역을 제한하여 전역적인 비전 트랜스포머보다는 연산 복잡도를 줄이면서도 풍부한 문맥 정보를 포착할 수 있다. 어텐션 영역을 특정 윈도우로 제한하는 모델들은 서로 다른 윈도우 간의 관계성을 파악하기 어렵다는 문제점이 있다. 이를 해결하기 위해 SW-MSA 방식^[6]을 채택하거나 적응형 윈도우로 중첩된 윈도우 간의 정보 교환을 촉진하려는 노력이 있었다^[17]. 그러나, 이러한 방식은 가까이에 있는 윈도우 즉, 주변 토큰 간의 관계성만을 파악할 수 있어 거리가 먼 토큰 간의 관계성은 계산하기 어렵다. 본 논문에서는 연관성이 있지만 거리가 멀어 관계성을 포착하기 어려운 토큰들의 상호 작용을 계산하기 위해 이미지 공간뿐만 아니라 특징 공간에서 윈도우를 분할하는 방법을 적용하였다.

2.2 비전에서의 어텐션 기법

어텐션은 많은 데이터 중에서 의미 있는 정보를 추출하는 기법으로 어텐션 점수를 계산하는 방식에 따라 다르게 범주화 할 수 있다. 예를 들어, 채널 어텐션과 공간 어텐션은 각각 이미지의 채널과 공간에 대해 어텐션하는 기법이다. 먼저, 채널 어텐션은 입력 이미지의 ‘무엇’에 집중해야 할지 계산하는 것으로 객체마다 특징 맵의 채널이 다른 표현을 갖는 것에서 착안하였다^[18]. SENet^[19]은 채널 어텐션의 선구적인 모델로 채널 간의 관계성을 모델링하여 모델의 표현 능력을 향상한다. SENet에서 파생된 ECANet^[20]은 차원 축소를 제거하여 모델 복잡성을 줄인다. 공간 어텐션은 이미지의 ‘어디’에 중요한 정보가 있는지에 초점을 맞춘다. 이미지의 공간적인 범위에 걸친 어텐션을 적용한 다양한 모델들이 등장하며 공간 어텐션이 이미지의 주요 부분을 강조하여 모델의 표현력을 개선하는데 도움이 되는 것을 보여주었다^[21][22]. 채널 및 공간 어텐션을 통합하여 각각의 장점을 극대화한 모듈도 제안되었다^[23][24]. 채널 어텐션과 공간 어텐션이 중요한 부분을 강조하는 것과 달리 셀프 어텐션은 이미지의 구성 픽셀들이 서로 얼마나 유사한지에 따라 어텐션 점수를 계산한다. 본 논문에서는 채널 어텐션, 공간 어텐션, 셀프 어텐션을 모두 활용하여 어텐션 매커니즘을 강화함으로서 모델의 표현력을 향상한다.

3.1 Refined Transformer의 전체 아키텍처

본 절에서는 제안하는 모델인 Refined transformer의 전체적인 구조에 대해 설명한다. 그림 2(a)는 Refined transformer의 전체 구조를 나타낸다. 총 4단계로 구성되어 있으며 각 단계는 패치 병합층, W-MSA 블록, RF-MSA 블록으로 구성되어 있다. 네트워크의 가장 앞 단에는 패치 임베딩 층이 위치하여 입력 이미지를 트랜스포머에 입력할 수 있는 형태로 변환한다. 패치 임베딩은 입력으로 받은 이미지를 겹치지 않는 이미지 패치로 분할하고 차원을 조정하여 트랜스포머 인코더에 입력할 수 있는 형태로 바꾸는 과정이다. 먼저, $h\times w\times 3$크기의 입력 이미지를 $4\times 4$크기의 패치로 분할하여 $4\times 4\times 3=48$사이즈의 패치를 $\dfrac{h}{4}\times\dfrac{w}{4}$개 생성한다. 그 다음, 패치들을 임의의 차원으로 사영하기 위해 선형 임베딩을 적용한다. 임베딩된 패치들에 위치 정보를 융합하면 마치 문장을 구성하는 단어와 같이, 순서가 있는 데이터로 취급할 수 있다.

그림 2. (a) 제안하는 Refined transformer의 전체 구조 (b) 패치 병합 동작 원리 (c) W-MSA블럭과 RF-MSA블럭의 구조

Fig. 2. (a) The overall architecture of Refined transformer (b) The patch merging mechanism (c) The construction of W-MSA block and RF-MSA block

각 단계의 앞 단에 위치한 패치 병합층은 이전 단계의 결과를 다음 단계에 입력할 때 거치는 층으로 그림 2(b)와 같이 인접한 이미지 패치들을 병합하여 다운샘플링한다. 구성 단계가 깊어질수록 다운샘플링이 여러 번 일어나기 때문에 모델은 다양한 규모의 객체를 학습할 수 있다. 또한, 다운샘플링을 통해 어텐션 연산에 드는 계산 복잡도가 감소하여 계산 속도 측면에도 이점이 있다. 패치 병합 층은 W-MSA 블록, RF-MSA 블록과 연속적으로 이어진다.

W-MSA 블록과 RF-MSA 블록은 각각 레이어 정규화(Layer Normalization, LN) 및 다층 퍼셉트론(multi-layer perceptron, MLP)으로 구성되어 있는데 이때, W-MSA 블록은 Swin transformer에서 제안한 것이다. W-MSA는 그림 1(a)와 같이 이미지를 패치로 나눈 후 고정 크기의 윈도우로 패치들을 묶는다. 그리고 나서 같은 윈도우 내에 속한 패치들끼리 어텐션 연산을 하고 윈도우별 어텐션 결과를 잇는 방식으로 전체 이미지에 대한 어텐션 결과를 얻는다. 기존의 Swin transformer는 W-MSA 이후, 윈도우 간의 정보 교환을 위해 그림 1(b)와 같은 SW-MSA를 계산하지만, 본 논문에서는 이를 RF-MSA로 대체하였다. 따라서, 그림 2(c)의 그림과 같이 두 블록이 연속적으로 이어진 구조를 가지며 식으로 나타내면 식 (1)과 같다. $\hat{X}$은 W-MSA 및 RF-MSA의 결과를, $X$는 LN과 MLP의 결과를 나타낸다.

본 연구에서는 각 단계를 구성하는 W-MSA 블록과 RF-MSA 블록의 개수에 따라 Tiny (Refined-T), Small (Refined-S)의 두 가지 버전을 제안하며 Table 1을 통해 Refined transformer의 세부적인 구성을 확인할 수 있다. Refined-T는 세 번째 단계에서 W-MSA와 RF-MSA 블록이 각각 3개씩 포함되고 Refined-S는 9개씩 포함되며 나머지 구성 요소는 같다.

3.2 정제된 특징 공간에서의 어텐션 (RF-MSA)

본 절에서는 RF-MSA 블록의 동작에 대해 설명한다. RF-MSA는 크게 세 단계로 나눌 수 있다. 가장 먼저 특징 공간을 정제하여 중요한 부분은 강조하고 아닌 곳은 억제한다. 그러고 나서, 정제된 특징 공간에 대해 유사한 토큰끼리 군집화하고 마지막으로, 군집 내에서 어텐션을 수행한다. 이어지는 절에서 이 세 단계에 대해 세부적으로 설명한다.

3.2.1 CBAM을 사용한 특징 공간 정제

특징 공간에서 중요한 부분을 강조하고 아닌 곳을 억제하면서 모델의 표현력을 향상하기 위해 정제 과정을 거친다. 이때, Convolutional Block Attention Module (CBAM)^[23]을 사용하는데 CBAM은 풀링과 합성곱으로 구현된 어텐션 매커니즘을 포함하며 그림 3(a)와 같이 채널 어텐션과 공간 어텐션으로 구성되어 있다. 먼저, 그림 3(b)에 나타낸 채널 어텐션을 계산한다. 이때, 입력 특징의 각 채널이 갖는 특징 맵을 취합하기 위해 최대 풀링과 평균 풀링을 동시에 적용하여 공간 차원을 압축한다. 이전의 연구에서는 평균 풀링만을 사용하였는데^[19] CBAM에서는 최대 풀링을 함께 적용하여 더욱 정교하게 채널 어텐션을 할 수 있다. 풀링이 적용된 특징맵 각각을 동일한 MLP에 통과시킨 결과를 요소별 덧셈하여 시그모이드 함수에 통과시키면 공간적 차원이 압축된 채널-정제 특징맵이 산출된다. 채널-정제 특징맵을 정제하기 전의 특징맵과 요소별 곱셈하면 중요한 정보를 담고 있는 채널이 강조된 특징맵을 얻을 수 있다.

채널 어텐션을 통해 얻은 채널-정제된 특징 맵을 그림 3 (c)에 나와있는 공간 어텐션 모듈에 통과시킨다. 공간 어텐션은 채널 어텐션과 같이 최대 풀링과 평균 풀링으로 구성되어 있지만 차이점은 두 개의 풀링이 연속적으로 적용된다는 것이다. 풀링의 결과로 얻은 특징 맵에 $7\times 7$크기의 필터를 합성곱하고 이를 시그모이드에 통과시켜 공간-정제 피처 맵을 얻는다. 이렇게 얻은 특징 맵을 공간 어텐션 적용 전의 특징맵, 즉 채널-정제 특징맵과 요소별 곱셈하면 채널 및 공간에 대해 정제된 형태의 새로운 특징맵을 구할 수 있다. 입력 특징 𝐹에 대한 정제 과정을 식으로 나타내면 식 (2)과 같다.

(2)

$R_{c}(F)=\sigma(MLP(Avg Pool(F))+MLP(\max Pool(F)))$

$R_{s}(F)=\sigma(Conv(concat(Avg Pool(F),\: \max Pool(F))))$

$F_{c}=R_{c}(F)\otimes F$

$F_{new}=R_{s}(F_{c})\otimes F_{c}$

위 식에서 $\sigma$는 시그모이드 함수를 나타내고 $\otimes$는 두 특징맵의 요소별 곱셈을 의미한다. 또한, $R_{c},\: R_{s}$는 각각 채널 어텐션과 공간 어텐션을, $F_{c},\: F_{new}$ 는 각각 채널-정제 특징맵과 채널 및 공간에 대해 정제된 최종적인 새로운 특징맵을 나타낸다.

그림 3. CBAM의 전체 구조

Fig. 3. Overview of CBAM

3.3 다른 네트워크와의 성능 비교

제안한 모델의 분류 성능을 다른 네트워크와 비교한다. 4개의 A6000 GPU에서 배치 크기 256을 사용하여 실험하였고 그 외 실험 환경 설정은 DeiT^[11]와 Swin transformer^[6]을 따른다. 총 300 에폭 중 처음 20 에폭 동안 선형 웜업을 적용하였다. AdamW 옵티마이저는 가중치 감쇠를 0.05로 설정하여 사용했으며 초기 학습률은 0.001이다. Dropout은 Refined-T에서 0.2, Refined-S에서 0.3를 적용한다. 학습 및 평가는 224×224 크기의 ImageNet-1K 이미지로 수행되며, 이 데이터셋에는 1,000개의 클래스로 구성된 1.28백만 개의 훈련 이미지와 5만 개의 검증 이미지가 포함되어 있다. ImageNet-1K에 대해 학습한 결과는 Table 3와 같다. Swin-T 보다는 Refined-T가 0.3% 성능이 개선되었으며 Swin-S보다 Refined-S는 0.2% 성능이 개선되었다.