강릉원주대학교 컴퓨터공학과 2024년 1학기 캡스톤디자인I 4조
- 이 프로젝트는 그림책 이미지를 촬영하면 이미지 캡셔닝 기술을 활용해 그림의 내용을 설명하는 핵심 키워드를 추출합니다.
- 추출된 키워드를 바탕으로 GPTs를 통해 아이의 상상력을 자극하는 창의적인 이야기 시나리오를 생성하며, 생성된 이야기는 TTS(Text-to-Speech) 기술을 통해 음성으로 들려줍니다.
- 그림을 읽고, 이야기를 만들고, 귀로 들으며 즐길 수 있는 새로운 형태의 인터랙티브 그림책 경험을 제공합니다
(서버 열릴 시 접근 가능)
default.mp4
- 2024.03.04.(월) ~ 2024.05.24.(금)
- 2024.03.15. 1차 회의: 주제 구체화 선정 및 구체화 회의
- 2024.03.17. 2차 회의: 프로젝트 제안서 작성 및 다이어그램 제작
- 2024.03.29. 3차 회의: 캡스톤 디자인 신청서 작성 및 개발 방향
- 2024.04.05. 4차 회의: PictureBook Curator 개발 1차
- 이미지캡셔닝: 모델을 이용하여 사진 분류 및 CSV 파일 키워드 제작, 전처리 오류 해결하기
- DB: 테이블 제작 및 프론트 기능 구현
- Web: 인터페이스 및 기능 구현
- 2024.04.12. 5차 회의: PictureBook Curator 개발 2차
- 이미지캡셔닝: 개발 도중 발생한 문제를 해결하기 위한 대안 모색
- DB: 효율적인 테이블 제작, DB 어떤 모델을 사용할지 의논
- Web: 웹에서 카메라 기능 구현, TTS 기능 개발
- 2024.04.19. 6차 회의: PictureBook Curator 개발 확인 및 피드백
- 이미지캡셔닝: 한글 이미지캡셔닝 훈련 후 모델 업로드, 한글 자료 수 늘려서 키워드 받아오기
- DB: 테이블 구축 및 로그인 시스템 개발, 회원가입/비밀번호 변경 구현
- Web: 로그인 인터페이스 및 스토리보드 구현, 추가적인 기능 개발 예정, TTS 개발 완료
- 2024.04.26. 7차 회의: 중간 점검 및 PictureBook Curator 개발 합치기 1차
- 이미지캡셔닝: TansorFlow 버전이 낮아 버전이 높은 이미지캡셔닝 모델을 가져와서 수정 중
- DB: 개인 서버를 이용하여 구축, Web과 연동하여 데이터 정보 받기 성공
- Web: DB와 연동 및 인터페이스 보안, UI 수정, 카메리 기능 넣을 예정
- Github: README를 이용하여 프로젝트 소개 글 작성
- 2024.05.03. 8차 회의: PictureBook Curator 개발 합치기 2차
- 이미지캡셔닝: 모델을 이용하여 정확도 확인, 어떻게 모델을 적용할지 의논
- Web: 기능 추가 및 보안, 모델 적용 방법 찾기, node.js를 이용하여 적용
- 2024.05.08. 9차 회의: PictureBook Curator 개발 합치기 3차
- 모델을 가져올 방안 탐색 및 적용 1
- AI: 학습데이터 추가 및 정확도 올리기
- Web: 메인 사이트에 기능 상호작용, 스토리보드 작성, flask를 이용해 모델 적용
- DB: 파일 업로드 시스템 임시 구현
- 2024.05.17. 10차 회의: PictureBook Curator 개발 합치기 4차
- 모델을 가져올 방안 탐색 및 적용 2
- AI: 학습데이터 추가 및 정확도 올리기, chat GPTs 기능 설정 및 API 개발
- Web: 메인 사이트에 기능 상호작용, 스토리보드 작성, flask를 이용해서 모델 적용
- DB: 프론트와 연결할 수 있는 엔드포인트 기능
- 2024.05.17. 10차 회의: PictureBook Curator 개발 합치기 5차
- AI: 학습데이터 추가 및 정확도 올리기, chat GPTS 기능 설정 및 API 개발
- Web: 이미지 뷰 개발하기
- DB: DB 테이블 설정 및 엔드 포인터 설정
- 2024.05.24. 10차 회의: PictureBook Curator 개발 합치기 6차
- Web: 이미지 뷰 화살표 기능 수정
- DB, Server
- 삭제 기능 추가
- 이미지 뷰 코드 -> ktk 브랜치 이용
- 이미지 뷰에 업로드된 사진 넣기
- 이미지 tts 기능
- 김태겸 : 팀장, AI 학습 및 개발
- 김동찬 : AI 학습 및 개발
- 신용선 : DB 관리 및 설계
- 신지혜 : 웹사이트 및 앱 개발
- 전재영 : 웹사이트 및 앱 개발, TTS와 gpt api 기능 개발 및 연동
- 정효진 : DB 관리 및 설계
- 이미지 캡셔닝 : Google Colab 혹은 VScode
- DB : IntelliJ, MySQL
- 웹 : VScode
- TTS : Google TTS
- web/css/login_style.css : Find_pw.html, Reset_pw.html, SignUp.html, index.html, verificationCode.html 스타일 적용 css
- web/css/style.css : Main_Home.jsp 스타일 적용 css
- web/Find_pw.html : 사용자 비밀번호를 찾는 인터페이스 html
- web/Find_pw_Check.jsp : 비밀번호 찾기를 위한 jsp 파일
- web/Main_Home.jsp : 로그인 시 보여지는 메인 페이지
- web/Reset_pw.html : 비밀번호 재설정 페이지
- web/Reset_pw.jsp : 비밀번호 재설정을 위한 jsp 파일
- web/SignUp.html : 회원가입 페이지
- web/Signup_Check.jsp : 회원가입을 확인하는 jsp 파일
- web/index.html : 링크 접속 시 보여지는 로그인 페이지 (가장 첫 번째 페이지)
- web/login_Check.jsp : 로그인 시도를 위한 jsp 파일
- web/test.jpg : 테스트를 위해 입력한 이미지
- web/verificationCode.html : 이메일 인증 페이지
- web/vierifacationCode.jsp : 이메일 인증을 위한 jsp 파일
- flask/app.py : 이미지 캡셔닝, 사진업로드, gpt, tts 까지의 모든 기능을 통합한 flask 서버 파일
- flask/api.py : 사진을 업로드하면 캡셔닝, gpt, tts의 과정을 거쳐 파일을 제공해주는 api
- Image_Captioning_test.py : 이미지 캡셔닝 모델을 위한 파이썬 코드
- imagefile_chageCSV.py : 이미지 파일을 읽은 후 이미지 이름에 있는 키워드를 CSV로 작성 후 이름을 숫자로 변경하는 파이썬 코드
- index.html : 저장된 그림책 선택 시 보여지는 UI
- style.css : index.html 스타일 적용 css
- picturebook.sql : DB 테이블 생성 sql
- 한글학습자료1.zip : 이미지캡셔닝을 위한 한글학습자료
- 한글학습자료2.zip : 이미지캡셔닝을 위한 한글학습자료