2.1 Blacklist/Whitelist 기반 악성 URL 탐지기법

악성 URL을 탐지하기 위해 다양한 기술들이 소개되었는데, 그중 리스트기반의 연구가 초기부터 많이 진행되었다. Blacklist 기반 악성 URL 탐지 방식은 리스트 생성자가 위협으로 미리 지정한 것에 대해서만 차단하는 것으로, 신규위협이나 변종공격에 대응이 불가하며, 인력에 의하여 탐지기준이 정해지기 때문에 전문가의 능력에 따라 정확성의 편차가 심해지며, 편의성과 정확성이 떨어진다. Whitelist 기반 탐지 방식은 안전함이 증명되어 리스트에 등록된 것에 대해서만 정책적으로 허용하는 방식이고, Blacklist에 비해 넓은 범위의 공격을 탐지할 수 있지만, 교묘하게 진화하는 신･변종 공격에 대해 여전히 취약하고, Blacklist 방식과 마찬가지로 사람이 탐지기준을 정하기에 편의성과 정확성이 떨어진다. 아래의 표 1에 Blacklist/ Whitelist 기반의 악성 URL 탐지기법을 사용한 연구논문과 한계점을 정리하였다.

2.2 Rule-based 기반 악성 URL 탐지기법

Rule-based 기반 악성 URL 탐지방식은 공격자의 공격 시도 과정에서 일정한 규칙을 찾아내고, 그 규칙에 해당되는 공격시도를 탐지하여 차단하는 기술로, 기존 공격자의 패턴이 있는 공격에 대해서는 탐지가 가능하지만, 해당 규칙을 벗어난 신･변종 공격은 탐지하지 못한다. 표 2에 이러한 Rule-based 기반 공격 악성 URL 탐지기법을 사용한 연구논문과 한계점을 정리하였다.

표 1과 2에서 언급한 한계점을 해결하기 위해 URL 검색량과 머신러닝을 활용한 악성 URL 탐지기법을 제안한다.

2.3 이상 탐지 알고리즘

비정상적 데이터는 정상적인 데이터의 패턴과 다른 패턴을 가지고 있다는 점을 이용하여 특이한 데이터를 탐지하는 기술이 이상탐지 기술이다. 다양한 이상탐지 연구가 다양한 분야에서 진행되었으며, 분류 기반의 SVM(Support Vector Machine)과 KNN(K-Nearest Neighbor)이 압도적으로 많이 사용되었으며, 그중 대표적인 내용을 아래 표에 기술하였다.

다양한 연구들의 결과, SVM과 KNN이 비정상 데이터를 분류하는 성능이 높았고, 또한, 본 연구의 실험데이터는 연속성이 없는 데이터이므로 SVM, KNN, LR(Logistic Regression) 3가지의 머신러닝 알고리즘으로 실험을 진행하였다.

4.1 활용 포털사이트

웹 트래픽 분석 사이트 ‘StatCounter(스탯카운터)’⁽¹³⁾의 통계에 따르면, 2010년도부터 2020년도 총 10년간 특정 사이트에 접속한 사용자의 페이지뷰 수를 기준으로 조사한 결과, Google (61.70%), Naver(29.72 %), Daum(4.25%), Yahoo(2.35%) 순으로 국내 검색엔진 시장 점유율을 보였다. 이에 대표적인 4개 포털사이트로 실험을 진행하였다.

4.2 실험 데이터

실험데이터는 정상과 비정상 사이트의 URL을 수집/가공하여 사용하였다. 먼저 정상데이터는 아마존이 운영하는 웹사이트 인기도 측정 서비스인 ‘Alexa.com’⁽¹⁴⁾에서 유명도 Top 1,000,000건의 정상 사이트 리스트를 이용하여, 아래 표와 같이 2개의 피처로 구성된 데이터를 추출하여 활용하였다.

비정상 데이터는 사용자들이 피싱 의심증명을 제출하면, 다른 사용자들이 피싱 여부를 투표하는 커뮤니티 기반의 피싱 검증 서비스 ’PhishTank.com'⁽¹⁵⁾에서 아래의 표 7과 같은 형식으로 제공된 14,767건의 비정상 웹사이트의 데이터를 활용하였다.

4.3 데이터 정제과정

4.2에서 추출한 정상/비정상 데이터에서 URL 주소 정보만을 활용하여 4개의 포털사이트의 검색엔진을 통해 자동검색하고, 그 검색량을 추출하였다. 정상/비정상 URL은 동일한 비율로 구성하였으며, 정상 200개, 비정상 200개로 구성된 [URL 주소, 검색량, Label] 형식의 데이터세트를 생성하였다.

4.4 실험 환경

실험 환경은 아래 표 9와 같다.

실험은 데이터 정제, 자동 검색 및 검색량 추출, 머신 러닝을 활용한 악성 URL분류 활동으로 구분할 수 있다. 각 활동은 Jupyter lab 환경에서 Python 언어를 사용하여 실험하였다.

4.5 실험

실험을 위해서 먼저, 4.3에서 생성된 데이터세트를 각각 3:1의 비율로 Train set과 Test set으로 분류하였고, 분류를 위한 대표적 머신러닝 알고리즘인 SVM과 KNN, LR을 이용하여 학습시켰다. 학습시킨 모델들에 대해 Test set을 이용하여 검증률을 확인하고 그 결과를 분석하였다. 아래 그림 4에 실험과정을 도식화하였다.

4.6 실험결과

실험결과는 다음과 같다.

실험결과를 살펴보면, LR, SVM보다 KNN을 사용한 탐지 정확도가 평균적으로 더 높았으며, Daum 검색엔진과 KNN 알고리즘을 활용한 결과가 가장 성능이 좋음을 알 수 있었다.

그리고 URL 주소의 유명도에 따른 서비스의 제공량과 사용자 수의 차이가 검색량에 영향을 미칠 것으로 예상되어, 데이터 개수를 6,000개, 29,534개 로 늘려서 위와 동일한 실험을 진행하였고, 전체 실험결과는 아래 그림 6과 같다.

먼저, 실험결과를 분석하기 전에 Google 포털사이트의 검색량 결과가 고정값으로 나와 살펴본 결과, 동일한 IP를 이용해 반복적으로 검색량을 추출할 경우 Google의 response 값이 계속 일정하게 끊겨서 출력되는 것을 확인할 수 있었다. 그 부분을 해결하기 위해 고정값이 발생했을 때, 검색량 추출을 중지하고 새로운 IP로 Google 사이트에 접속하여 검색량을 재추출해 정상적인 실험결과를 낼 수 있었다.

위의 실험결과 수치를 분석해보면, KNN 알고리즘이 LR과 SVM 알고리즘보다 우수한 성능으로 URL을 정상/비정상으로 분류하였음을 알 수 있다.

또한, 데이터 개수에 따른 탐지 성능을 분석하기 위해 KNN, SVM, LR 모델로부터 얻은 정확도들의 평균을 데이터세트 별로 측정하였고 결과는 아래 표 11과 같다.

평균적으로 데이터의 개수가 많은 데이터세트 일수록 86.08%, 82.83%, 78.67%로 탐지 정확도가 낮아짐을 알 수 있고, URL 사이트의 유명도와 검색량이 밀접한 상관관계를 가짐을 예측할 수 있다. 유명한 정상 URL의 경우, 서비스 사용자가 많아 검색량도 많지만, 유명하지 않은 정상 URL의 경우 사용자가 적어 비정상 URL의 검색량과 검색량의 차이가 작아, 분류가 어려울 수 있다. 그러므로 유명도가 가장 높은 순위부터 200개의 정상 URL과 비정상 URL의 분포를 학습시키면 비정상 URL 탐지 정확도를 높일 수 있는 것을 알 수 있었다. 그리고 포털사이트 Daum의 검색엔진과 KNN 알고리즘을 활용하였을 때가 가장 높은 탐지 성능을 보이며, 데이터의 개수에 따른 탐지 성능 변화가 가장 없으므로 검색량 기반 악성 URL 탐지의 최적 조건임을 알 수 있다.