Skip to content

멀티모달 임베딩을 활용한 이미지 속 객체 특성 식별 및 텍스트 프롬프트 생성

Notifications You must be signed in to change notification settings

jijun0129/sphereAXmultimodal

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

경북대학교 2024 하반기 종합설계프로젝트1 with 스피어AX

🚩 참여 조원

jijun0129 machi2001 rrak99 gagi132

👩‍🔧 과제 추진 배경 및 목적

  • 생성형 AI의 등장으로 양질의 데이터셋 부족 문제가 부각되고 있습니다. 이를 해결하기 위한 방법으로 멀티모달 임베딩 기술이 주목받고 있는데, 이는 다양한 데이터 소스를 하나의 임베딩 공간에 통합해서 분석하는 기술입니다.
  • 이러한 멀티모달 모델을 활용해 데이터를 분석하고 필요한 정보를 추출할 수 있으며, 텍스트 프롬프트의 정확성을 판별하는 페이지를 개발할 계획입니다.

📌 규칙

아래 커밋 컨벤션을 지키며 commit을 진행합니다.

<type>(<scope>): <short summary>
  1. <type> 에 들어갈 수 있는 항목들

    어떤 작업을 했는지 기록하는 용도입니다.

사용 타입

  • Feat: 새로운 기능 추가
  • Fix: 버그 수정
  • Docs: 문서 관련
  • Style: 스타일 변경 (포매팅 수정, 들여쓰기 추가, …)
  • Refactor: 코드 리팩토링
  • Chore: 그 외 자잘한 수정
  • Comment: 주석 관련 작업
  • Test: 테스트 관련
  1. <scope> 에 들어갈 수 있는 항목들

    어떤 파트에서 개발하였는지 기록하는 용도입니다.

사용 스코프

  • BE: 백엔드 작업
  • FE: 프론트엔드 작업
  • DL: 딥러닝 작업

예를 들어 백엔드 기능 추가 작업인 경우

Feat(BE): 로그인 기능 구현

📄 예상 홈페이지

signIn page main page
my page bookmark page
signUp page result page
detail page bookmark detail page

🚀 기대 효과

  • 다양한 의료 이미지와 텍스트 데이터를 통합하여 더 정확한 진단과 병변 탐지를 지원.
  • 이미지에서 객체를 인식하고 상황을 설명하는 기능을 통해 자율 주행, 보안 시스템 등에서도 중요한 수행.

About

멀티모달 임베딩을 활용한 이미지 속 객체 특성 식별 및 텍스트 프롬프트 생성

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Contributors 4

  •  
  •  
  •  
  •