환영합니다! 이 레포지토리는 웹 크롤링, Flask를 이용한 웹 개발, 그리고 다양한 파이썬 라이브러리를 활용한 데이터 분석 등을 다룹니다. 아래는 제가 학습한 내용의 요약입니다.
여러 웹사이트에서 데이터를 수집하는 크롤링 기법을 배웠습니다:
- 기초 크롤링: 웹 데이터를 스크래핑하는 기본 개념 이해
- 멜론 Top 100 차트: 멜론 차트에서 실시간 음악 데이터를 수집
- Selenium 활용: 동적 콘텐츠를 자동화하여 크롤링
- 한솥도시락 메뉴: 한솥 도시락 메뉴 데이터를 수집 및 분석
- G마켓 상품 정보: G마켓에서 상품 리스트와 가격 정보 크롤링
- 포켓몬 이미지 수집: 포켓몬 이미지를 자동으로 다운로드
- 유튜브 제목 추출: 유튜브에서 영상 제목을 스크립트로 추출
Flask를 활용해 웹 애플리케이션을 만들고, 데이터베이스와 연동하였습니다:
- HTML과 DB 연동: 동적 HTML 인터페이스를 데이터베이스와 연결
- 함수 사용: 재사용 가능한 함수를 구현하여 코드 효율성을 높임
- 로그인 시스템 구현: 데이터베이스를 이용한 안전한 로그인 시스템 구현
데이터 분석과 시각화를 위한 필수 라이브러리들을 학습하였습니다:
- Numpy: 수치 연산과 배열 처리
- Pandas: 데이터프레임을 이용한 데이터 분석 및 조작
- Matplotlib: 다양한 그래프와 차트를 통한 데이터 시각화
- 복지 데이터 실습: 실제 복지 데이터를 분석하며 실무에 적용 가능한 데이터 분석 능력 배양
📂 python-study
├── 🕸️ crawling
│ ├── melon_top100.py
│ ├── hansot_menu.py
│ ├── gmarket_info.py
│ └── pokemon_images.py
├── 🌐 flask_app
│ ├── templates
│ │ └── login.html
│ └── app.py
└── 📊 data_analysis
├── numpy_practice.ipynb
├── pandas_practice.ipynb
└── welfare_data_analysis.ipynb