data-processing

단국대학교 2025-1학기 문제해결프로그래밍설계 Group 4

Project Structure

data-processing
├── .env              # 환경변수
├── logger.py         # 커스텀 로거
├── crawl.py          # 게시글을 크롤링하고 파일로 저장
├── prompt.py         # 프롬프트 파일로 보안상 비공개
├── structuralize.py  # 게시글을 JSON으로 구조화
├── data/             # 크롤링한 게시글을 저장하는 폴더
└── structured/       # 구조화한 게시글을 저장하는 폴더

Dependencies Installation

pip install -r requirements.txt

Usage

1. .env 파일에 환경변수 설정
2. crawl.py 파일을 실행하여 게시글 크롤링
3. prompt.py 파일에 프롬프트 작성
4. structuralize.py 파일을 실행하여 게시글 구조화