3.1 목표 범주 선정 방법

표 1은 Stack Overflow와 Github, Tiobe에서 최근 몇 년간 많이 사용되는 프로그래밍 언어를 조사한 결과를 나타낸다. 세 개의 웹 사이트에서 가장 많이 사용되는 프로그래밍 언어 상위 40개를 비교하였을 때 공통으로 나타난 16가지 언어인 Assembly, C, C#, C++, Go, Java, JavaScript, Kotlin, Matlab, Perl, PHP, Python, R, Ruby, Swift, TypeScript를 선정하였다. 여기에 데이터베이스를 관리하고 조작하기 위해 사용되는 언어인 SQL, 웹 페이지를 만들기 위한 마크업 언어인 Html, 마이크로소프트에 의해 개발된 프로그래밍 언어로 쉽고 간편하게 windows 프로그램을 만들 수 있는 VisualBasic, 고성능 수치 계산과 과학적 계산을 위한 프로그래밍 언어인 Fortran을 추가하였다.

이를 토대로 본 논문에서 최종적으로 선정한 프로그래밍 언어 20종은 Assembly, C, C#, C++, Fortran, Go, Html, Java, JavaScript, Kotlin, Matlab, Perl, PHP, Python, R, Ruby, SQL, Swift, TypeScript, VisualBasic이다. 지정한 20개의 언어는 표 1에서 회색 칸으로 나타내었다.

그림 3. 제안하는 세 가지 미지정 범주 분류 방법

Fig. 3. Three proposed methods for unknown category classification

3.2 미지정 범주 분류 기술

본 논문에서는 기존의 10개 범주를 갖는 모델을 앞서 선정한 20개 범주로 확장하여 학습한 방식을 Method 0으로 명명한다. Method 0은 모델이 출력한 가장 높은 확률값의 범주를 채택하고, 미지정 범주에 대해서는 별도로 고려하지 않는다. 따라서, 미지정 범주의 프로그래밍 언어가 입력되면 무조건 오류가 발생한다.

그림 3은 본 논문이 제안하는 미지정 범주를 분류하기 위한 세 가지 방식을 보여준다. 미지정 범주를 분류하기 위한 첫 번째 방식은 임계(threshold) 도입이다. 이 방법은 그림 3(a)와 같이 기존 모델을 그대로 사용하여 확률값이 가장 높은 범주를 채택하되, 모든 확률값이 임계를 넘지 않으면 미지정 범주로 분류한다. 우리는 이 방법을 Method 1이라 한다. Method 1은 미리 학습된 기존 모델에 간단한 후처리 기술을 도입함으로써 미지정 범주 분류가 가능하다. 두 번째 방식은 이진 분류기 도입이다. 이 방법은 그림 3(b)와 같이 known/unknown 범주를 먼저 분류하고, known 범주에 대해서 기존 모델을 사용한다. 이 방법을 Method 2라 한다. Method 2는 known/unknown을 분류하는 모델을 별도로 구축해야 하나, 미리 학습된 기존 모델에 전처리 모델을 도입함으로써 미지정 범주 분류가 가능하다는 장점이 있다. 마지막 방식인 Method 3은 그림 3(c)와 같이 범주에 미지정 범주가 포함된다. Method 3은 미지정 범주를 포함하여 모델을 새로 학습해야 하기 때문에 모델 학습에 별도로 시간과 노력이 필요하다.

4.1 데이터 수집

표 2는 학습 및 테스트에 사용하기 위해 수집한 소스 코드 정보이다. 20개의 목표 범주를 갖는 프로그래밍 언어 식별 모델은 각 범주당 2,000개의 파일을 사용하여 총 40,000개의 파일로 학습되었으며, 이 모델은 Method 0, Method 1, Method 2에 사용되었다. Method 2에서 전처리 기술로 사용된 이진 분류기는 목표 범주에 해당하는 40,000개 파일과 미지정 범주에 해당하는 4,918개의 파일을 학습에 이용하였다. Method 3은 20개의 목표 범주에 미지정 범주를 추가하여 총 21개의 범주를 갖는 모델을 학습시키기 위해 목표 범주당 2,000개 파일로 구성된 총 40,000개 파일과 미지정 범주에 해당하는 2,619개의 파일을 이용하였다. 방법 별 성능 분석 및 비교를 위한 테스트에는 목표 범주 당 300개의 파일, 총 6,000개 파일과 미지정 범주에 해당하는 300개의 파일을 이용하였다.

앞서 선정한 20개의 목표 범주 중 Assembly, Html, Matlab, R, SQL의 소스코드는 Hugging Face의 the-stack 데이터 셋(https://huggingface.co/datasets/bigcode/the-stack)에서 수집하였으며, 나머지 15개 범주의 소스코드는 CodeNet의 데이터 셋^[11]에서 수집하였다. 미지정 범주의 데이터로는 Rust, Haskell, D, Scala, Nim 외 34개로 작성된 소스코드 파일을 이용하였다.

4.2 미지정 범주 분류 기술 실험 방법 및 결과

Method 0은 기존 Project CodeNet^[11]의 10개 범주에서 앞서 제시한 20개의 컴퓨터 언어로 범주를 확장시키고 IBM이 공개한 프로그래밍 언어 식별 모델^[11]을 활용하여 모델을 생성하였다. 20개의 컴퓨터 언어를 분류할 수 있도록 원본 코드에서 마지막 layer의 출력 수를 10에서 20으로 변경하였다. 만들어진 모델을 바탕으로 제시한 20개의 범주와 미지정 범주를 테스트 하였다.

Method 1은 Method 0에서 학습한 모델을 그대로 사용하였으며, 미지정 범주를 분류하기 위한 방법으로 모델의 예측 확률에 임계값 0.5를 주었다. Method 0 모델의 예측 확률이 0.5 이하인 경우 미지정 범주로 분류하였다. Method 2는 앞에서 제시한 20개의 프로그래밍 언어를 Known이라 하고, 그 외 언어로 작성된 데이터를 Unknown이라 했을 때, Known과 Unknown을 먼저 분류한 후 Known으로 나온 파일을 Method 0에서 생성한 미리 학습된 모델을 통해 20개의 목표 범주로 구분하는 실험을 진행하였다. Known과 Unknown을 구분하는 이진 분류기를 만들기 위해 IBM의 언어 식별 모델^[11]을 활용하였다. 이진 분류기는 기존 Project CodeNet^[11]과 동일한 구조를 가지지만, 마지막 layer의 출력수를 2로 변경하여 훈련된 모델이다.

그림 4는 Known/Unknown 분류기를 테스트한 혼동행렬이다.

혼동행렬의 세로축은 실제 범주를 나타내고, 가로축은 예측된 범주를 나타낸다. Unknown 파일이지만 이진 분류기가 Known 으로 예측한 4개의 파일은 각각 Bf, Scala, Objective-C, Shell 언어로 작성된 파일이다. 이진 분류기가 Unknown으로 판별한 300개 파일은 미지정 범주로 분류하고, Known으로 판별한 5849개의 파일은 Method 0에서 생성한 미리 학습된 모델을 통해 20개의 목표 범주로 구분하는 실험을 진행하였다. Method 3은 미지정 범주를 구분하기 위해 제시한 20개의 목표 범주와 그 외 언어로 작성된 미지정 범주까지 총 21개의 범주로 모델을 새로 훈련하여 실험하였다. 21개의 범주를 분류하는 모델을 생성하기 위해 Project CodeNet^[11]에서 마지막 layer의 출력 수를 21로 변경하였다.

그림 5. 실험 결과 혼동행렬

Fig. 5. Confusion Matrix for Experimental Results

그림 4. Method 2에서 이진 분류 결과 혼동행렬

Fig. 4. Confusion Matrix for binary Classification Results in Method 2

그림 5는 Method 0부터 Method 3까지 실험결과의 혼동행렬이다. 혼동행렬의 세로축은 실제 범주를 나타내고, 가로축은 예측된 범주를 나타낸다. 기존 방법인 Method 0은 미지정 범주를 고려하지 않았으므로, 모든 입력을 기존의 20개 목표 범주 중 하나로 분류한다. 결과적으로, 미지정 범주에 해당하는 모든 입력이 각기 다른 목표 범주에 분산되어 잘못 분류된다. Method 1에서는 미지정 범주 언어 중 60개의 입력이 미지정 범주로 올바르게 분류되었다. 나머지 240개의 입력은 여전히 기존 목표 범주로 잘못 분류되었지만, Method 0에 비해 미지정 범주로 분류된 입력의 비율이 높아졌다. 이는 임계값을 이용한 후처리 기술 도입이 일부 미지정 범주를 올바르게 식별할 수 있음을 보여준다. Method 2에서는 미지정 범주 언어 중 296개의 입력이 올바르게 미지정 범주로 분류되었고, 단 4개의 입력만이 잘못 분류되었다. 이는 이진 분류기를 이용한 전처리 기술 도입을 통해 미지정 범주를 효과적으로 식별할 수 있음을 보여준다. Method 3에서는 291개의 입력이 미지정 범주로 올바르게 분류되었고, 9개의 입력만이 목표 범주로 잘못 분류되었다.

표 3은 미지정 범주를 포함한 21개의 범주를 분류한 실험에 대한 정확도와 F1 스코어를 보여준다. Method 1의 정확도는 85.47%로 Method 0의 정확도 85.75%와 비슷하지만, F1 스코어는 Method 1이 0.880으로 Method 0의 0.835보다 더 높다. 이는 Method 1이 미지정 범주를 일부 식별할 수 있어 나타난 결과이다. Method 3의 정확도는 91.00%로 가장 높으며, F1 스코어도 0.910으로 가장 높다. 그다음으로 높은 성능을 보이는 것은 Method 2로, 정확도는 88.68%이고 F1 스코어는 0.882이다. 각각의 모델을 GPU RTX 2070 super를 2개 사용하여 훈련했을 때 Method 0, 1번 모델 생성에는 441초, Method 2의 이진 분류 모델 생성에는 477초, Method 3번의 모델 생성에는 443초가 소요되었다.