AutoEncoder 기반 웹 로그 데이터 이상 탐지 시스템

초록

웹 서비스의 확장으로 인해 매크로 봇과 비정상적인 요청이 급증하면서 보안 위협과 성능저하 문제가 심화되고 있으며, 단순히 사용자의 경험을 저하시킬 뿐만 아니라 막대한 경제적피해를 발생시키고 있다. 이를 해결하기 위해 본 논문에서는 AutoEncoder 기반 웹 로그데이터 이상 탐지 시스템을 제안하였다. 웹 로그 데이터에 정규 표현식을 사용하여 주요필드(IP 주소, 요청 시간, User-Agent 등)로 분리하고, 텍스트 마이닝 기법(TF-IDF 및TSVD)으로 벡터화하여 차원 축소를 통해 분석 가능한 형태로 변환하였다. 또한, User-Agent 문자열에서 봇 특성을 탐지하고 동일 IP에서 발생하는 요청 빈도를 분석하여 이상 데이터를식별할 수 있는 특징을 추출하였다. AutoEncoder모델은 정상적인 데이터 패턴을 기반으로학습하고, 재구성 오류를 계산하여 임계값을 초과하는 데이터를 이상 데이터로 판단하였다. 실험 결과 ROC 곡선의 AUC 값이 높은 정확도를 보이며 정상 데이터와 이상 데이터를효과적으로 구분할 수 있음을 입증하였다. 이를 통해 악의적인 트래픽을 조기에 탐지하고대응함으로써 웹 서비스의 보안을 강화하고, 서버 부하를 줄이는 데 기여할 수 있다.

키워드