📞 딥러닝 기반 실시간 보이스피싱 탐지 시스템

🚨 실시간 웹 시뮬레이터: 문장 단위 예측과 통화 전체 위험도를 즉시 시각화

---

📋 목차

• 프로젝트 개요
• 주요 기능
• 데이터셋 및 전처리
• 모델 아키텍처
• 실험 결과
• 웹 시뮬레이터
• 설치 및 실행
• 프로젝트 구조
• 주요 인사이트
• 결론 및 향후 계획
• 참고 문헌

---

🌟 프로젝트 개요

보이스피싱은 매년 피해가 급증하는 심각한 사회 문제입니다.
본 프로젝트는 통화 내용을 문장 단위로 분석하고, 이를 기반으로 통화 전체의 보이스피싱 위험도를 평가하는 AI 모델을 개발했습니다.
최종적으로 웹 기반 실시간 시뮬레이터를 제작하여, 사용자에게 실시간 예측과 피드백을 제공합니다.

🎯 핵심 특징

• 문장 단위 분석: 통화 내용을 문장별로 세분화하여 정밀한 탐지
• 실시간 처리: 웹 기반 시뮬레이터로 즉시 결과 확인
• 계층적 평가: 문장별 확률과 통화 전체 위험도를 동시 제공
• Criticality 반영: 중요 문장에 가중치를 부여한 정확한 평가

---

🚀 주요 기능

📊 실시간 분석

• 음성 → 텍스트 변환 (Web Speech API)
• 문장별 보이스피싱 확률 실시간 출력
• 통화 종료 시 전체 위험도 평가

🎨 시각화

• 문장별 위험도 그래프
• 통화 전체 위험도 게이지
• 실시간 피드백 인터페이스

🔧 모델 관리

• 다양한 딥러닝 모델 비교 실험
• 하이퍼파라미터 튜닝
• 모델 성능 시각화

---

🗂️ 데이터셋 및 전처리

📈 데이터 구성

• 출처: 금융감독원 보이스피싱 사례, AIHub 정상 통화
• 구성: 정상 통화 148건, 보이스피싱 통화 102건
• 문장 수: 약 10,000개 (Criticality 레이블 포함)

🔄 전처리 과정

1. 문장 분리: 통화 내용을 문장 단위로 분할
2. 텍스트 정제: 불용어 처리, 오탈자 정제
3. Criticality 레이블링: 핵심 문장 식별 및 가중치 부여
4. 데이터 증강: EDA 기반 기법 (랜덤 삽입/삭제/스왑)

---

🧬 모델 아키텍처

🔹 문장 단위 모델

KoBERT → BiLSTM → Attention → Softmax

• 임베딩: KoBERT (한국어 특화 BERT)
• 시퀀스 인코더: BiLSTM + Attention
• 출력: 문장별 보이스피싱 확률

🔹 통화 단위 Aggregation

• 문장 단위 결과를 가중 평균 또는 threshold 기반으로 통합
• Criticality 레이블 반영하여 중요 문장에 더 큰 가중치 부여

---

🔬 실험 결과

Model	Validation F1	Test F1	개선폭
KoBERT+BiLSTM	0.960	0.726	+0.122
RNN	0.921	0.645	+0.036
GRU	0.909	0.645	+0.054
Transformer	0.899	0.635	+0.065
SVM	0.835	-	+0.100

📊 성능 분석

• 데이터 증강: 평균 +2.3% accuracy 향상
• Attention: 모델에 따라 성능 증감
• Regularization: 일부 모델에서 오히려 성능 하락

---

💻 웹 시뮬레이터

🛠️ 기술 스택

• Frontend: HTML/CSS/JavaScript
• Backend: Flask + PyTorch
• Speech-to-Text: Web Speech API
• 모델: KoBERT + BiLSTM

🎮 주요 기능

• 실시간 음성 → 문장 인식 → 문장별 보이스피싱 확률 출력
• 통화 종료 시 전체 위험도 평가
• 직관적인 웹 인터페이스

---

⚙️ 설치 및 실행

📋 요구사항

• Python 3.8+
• PyTorch 1.9+
• Flask 2.0+
• transformers
• numpy, pandas

🔧 설치 방법

# 1. 저장소 클론
git clone https://github.com/your-username/Voice_Phishing_Detection_System.git
cd Voice_Phishing_Detection_System

# 2. 가상환경 생성 및 활성화
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

# 3. 의존성 설치
pip install -r requirements.txt

# 4. 웹 시뮬레이터 실행
cd simulation/test/biLSTM_demo
python app.py

🚀 실행 방법

1. 웹 브라우저에서 http://localhost:5000 접속
2. 마이크 권한 허용
3. 통화 시뮬레이션 시작
4. 실시간 결과 확인

---

📁 프로젝트 구조

Voice_Phishing_Detection_System/
├── README.md                    
├── requirements.txt             
├── .gitignore                   
├── assets/                      # 이미지 및 리소스 파일
├── data/                        # 데이터셋 및 분석 파일
│   ├── sample_dataset.csv       
│   ├── test_dataset.csv         
│   ├── data_description.md      
│   └── analysis/                
├── model/                       # 딥러닝 모델 구현
│   ├── biLSTM.py               
│   ├── gru.py                  
│   ├── rnn.py                  
│   ├── transformer.py          
│   └── embedding.py            
├── preprocessing/               # 데이터 전처리
│   ├── data_cleaning.py        
│   ├── augmentation.py         
│   ├── eda.py                  
│   └── eda_append.py           
├── gru_demo/                   # GRU 웹 데모
│   ├── app.py                  # Flask 웹 애플리케이션
│   ├── aggregation.py          # 결과 집계 로직
│   ├── gru_phishing_model.h5   # GRU 모델
│   ├── templates/              # HTML 템플릿
│   ├── static/                 # CSS/JS 정적 파일
└── results/                    # 실험 결과 및 시각화
    ├── figures/                
    ├── 발표.pdf
    └── 보고서.docx    

---

⚖️ 주요 인사이트

✅ 데이터 및 전처리

• Criticality 레이블 추가로 문장별 중요도 반영
• 불용어 제거 및 데이터 증강으로 데이터 품질 개선

✅ 모델링 및 성능

• KoBERT 기반 BiLSTM이 가장 우수한 성능 기록
• Attention 시각화를 통해 핵심 문장에 높은 가중치 부여 확인

✅ 실험 설계 및 관리

• 다양한 Aggregation 전략 비교 실험
• 하이퍼파라미터 튜닝과 시각화 기반 성능 검증

---

🎯 결론 및 향후 계획

🏆 성과

• 문장+통화 단위 계층적 탐지 시스템 설계
• KoBERT + BiLSTM 조합의 최고 성능 달성
• 실시간 웹 시뮬레이터 개발 완료

🔮 한계 및 개선 방향

• 데이터 다양성: 보이스피싱 데이터 추가 수집 필요
• 모델 개선: Adaptive thresholding과 시계열 기반 모델 도입 예정
• 실환경 테스트: 실제 통화 환경에서의 성능 검증
• 사용자 피드백: 시뮬레이터 사용자 피드백 반영

---

📚 참고 문헌

• BERT: Pre-training of Deep Bidirectional Transformers
• Attention is All You Need
• EDA: Easy Data Augmentation Techniques
• AI Hub 보이스피싱 음성 데이터
• 금융감독원 보이스피싱 자료