beauty AI Agent(OllyMate)

사용된 패키지

1. scrapy

   • beautifultsoup4 보다 빠르게 많은 양의 데이터를 크롤링하기 위해 사용 되었습니다.
   • scrapy Documentation

2. beautifulsoup4

   • requests로 받아온 html정보를 파싱하여 필요한 정보를 추출하기 위해 사용 되었습니다.
   • BeautifulSoup Documentation

3. Selenium

   • url requests 할 때 헤더에 쿠키를 추가해야되지만 쿠키를 자동으로 가져올수 없는 문제로 인해 사용 되었습니다.
   • Selenium Documentation

4. pymysql

   • DB 연결 및 조회 및 추가를 위해 사용되었습니다.
   • pymysql Documentation

5. openai

   • 주로 OpenAI API와의 통신을 위해 활용되며, GPT를 사용하기 위해 사용 되었습니다.
   • OpenAI Documentation

6. langchain

   • Langchain 프레임워크으로써 프롬프트 체이닝과 RAG 시스템을 구축을 지원합니다.
   • LangChain Documentation

7. faiss

   • Faiss는 임베딩된 문서 벡터를 기반으로 효율적인 유사도 검색을 위한 인덱스를 생성하는 데 사용됩니다.
   • Faiss Documentation

8. streamlit

   • 웹 애플리케이션을 쉽게 만들고 데이터 시각화 및 사용자 인터페이스 구축을 지원합니다.
   • Streamlit Documentation

9. pandas

   • 데이터를 로드하고 전처리하며, DataFrame 형식으로 구조화하여 데이터 변환 및 조작을 용이하게 합니다.
   • Pandas Documentation

사용 방법

• 의존성

$ pip install poetry
$ poetry update

• 크롤링

$ scrapy crawl oliveyoung

$ python hwahae.py [oliveyoung 크롤링.csv]

• streamlit

$ streamlit run main.py

프로젝트 주요 흐름

• 크롤링
  • scrapy와 beautifulsoup, Selenium을 사용해 제품과 리뷰 데이터 크롤링
• 추천 시스템
  • 제품과 사용자의 정보를 바탕으로 콘텐츠 기반 필터링 사용
• RAG
  • 사용자 질문에 대해 리뷰에서 참고할 정보가 있다면 사용

배포

• Dockerfile

FROM python:3.11

WORKDIR /app

RUN pip install poetry

RUN git clone https://github.com/choi-ce3l/OllyMate.git

WORKDIR /app/OllyMate

RUN poetry update

EXPOSE 8501

ENTRYPOINT [ "poetry", "run", "streamlit", "run", "main.py", "--server.port=8501", "--server.address=0.0.0.0" ]

• docker image build

$ docker build -t beautyAI_Agent .
$ docker run -d -p 8501:8501 beautyAI_Agent

실행 화면