feat : GPT API 사용을 위한 채팅 전처리 로직 구현

[andrewkimswe]

✨ Summary

feat: GPT API 사용을 위한 채팅 전처리 로직 구현

---

✨ Description

사용자와의 대화 데이터를 GPT API에 전달하기 전에, 토큰 수를 최적화하고 불필요한 텍스트를 제거하는 전처리 로직을 구현합니다.
주요 작업은 다음과 같습니다:

• 토큰 수 최적화: ".."(두 개 이상의 점), "ㅋ" 및 "ㅎ" 단어, 쉼표 등을 제거하여 토큰 수를 줄임
• 상대방 채팅만 남기기: 상대방의 채팅만 남기고, 자신이 작성한 메시지는 제거
• 불필요한 문장 제외: 불필요한 문장(단일 문자 제외, 연속된 점 포함)을 제외

---

✓ Todo

• 전처리 로직 구현 (ChatPreprocessingService)

  • "..", "ㅋ", "ㅎ", 쉼표 등의 불필요한 문자 및 텍스트 제거
  • 상대방의 채팅만 남기는 로직 구현
  • 토큰 수 최적화를 위한 텍스트 정리

• 채팅 필터링 로직 추가

  • 상대방의 채팅만 선별하여 남기고, 사용자의 채팅은 필터링

• API 통합 테스트 작성 (ChatPreprocessingServiceTest)

  • 전처리된 데이터를 GPT API에 전달하기 전 최적화된 결과물 확인
  • 다양한 대화 예시를 통한 테스트 진행

---

🗒️ Note

• 사용자와의 대화 내용이 많을 경우, 불필요한 정보를 제외하여 토큰 수 최적화가 필요
• 전처리 과정에서 중요한 정보가 손실되지 않도록 주의해야 함
• 향후 다른 대화형 AI 모델을 적용할 수 있도록 유연한 구조로 설계

---

🔗 References

• GPT API 문서

[andrewkimswe]

import re
import tiktoken

def preprocess_kakao(file_path, output_path, target_name, remove_emoji=True):
    """
    카카오톡 데이터를 전처리하여 날짜, 시간, 대괄호 등을 제거하고 발신자와 메시지만 남깁니다.
    분석을 원하는 상대방의 채팅만 남기고, 그 외의 메시지는 제외합니다.
    불필요한 문자(ㅋ, ㅎ, ㅠ, 쉼표, 두 점 이상 등)를 제거합니다.
    """
    processed_messages = []
    
    with open(file_path, "r", encoding="utf-8") as file:
        for line in file:
            # 메시지 추출 정규식
            match = re.match(r"\[(.+?)\] \[.*?\] (.+)", line)
            if match:
                sender, message = match.groups()
                cleaned_message = message.strip()

                if sender == target_name:  # 입력받은 대상 이름과 일치하는 메시지만 저장
                    if remove_emoji:
                        cleaned_message = cleaned_message.replace("이모티콘", "").strip()  # '이모티콘' 제거
                    
                    # 불필요한 문자 제거
                    cleaned_message = re.sub(r"[ㅋㅎㅠ]{2,}", "", cleaned_message)  # ㅋ, ㅎ, ㅠ 단독으로 반복되면 제거
                    cleaned_message = cleaned_message.replace(",", "")  # 쉼표 제거
                    cleaned_message = re.sub(r"\.\.+", ".", cleaned_message)  # '..' 또는 그 이상을 하나의 '.'으로 변경
                    
                    # 메시지가 빈 값이 아니라면 리스트에 추가
                    if cleaned_message:  
                        processed_messages.append(cleaned_message)

    # 전처리된 데이터를 저장
    if not processed_messages:
        print("처리할 메시지가 없습니다.")
    else:
        with open(output_path, "w", encoding="utf-8") as file:
            for message in processed_messages:
                file.write(message + "\n")

        print(f"전처리가 완료되었습니다. 파일이 {output_path}에 저장되었습니다.")
        print(f"총 메시지 수: {len(processed_messages)}")

if __name__ == "__main__":
    # 로컬 파일 경로 설정
    LOCAL_FILE_PATH = "data/KakaoTalkChats.txt"  # 원본 데이터 파일
    PROCESSED_FILE_PATH = "data/Processed_KakaoTalkChats.txt"  # 전처리 후 저장 파일

    # 상대방 이름을 입력받고 처리
    target_name = input("분석하고자 하는 상대방의 이름을 입력하세요: ")
    
    preprocess_kakao(LOCAL_FILE_PATH, PROCESSED_FILE_PATH, target_name)