「讓長輩的每一次伸展,都充滿趣味與溫暖的陪伴。」
Just Pose 是一個專為長輩與居家復健者打造的「AI 體感互動系統」。透過電腦視訊鏡頭,玩家無需穿戴任何設備,即可進行手勢操作與體感運動。我們結合了 MediaPipe 骨架追蹤、AR 即時影像處理,並深度整合 Google Gemini AI 及 TTS 語音系統,打造出能即時給予語音指導的 AI 專屬教練,以及通關後專屬的「長輩圖」獎勵機制。
我們的設計深度融入了「自我決定論」(Self-Determination Theory, SDT) 的三大核心要素:自主性 (Autonomy)、勝任感 (Competence) 與關聯性 (Relatedness)。我們期盼讓居家運動不再是一項枯燥的功課,而是讓使用者能在輕鬆、無壓力的過程中,主動且投入地享受每一次的伸展。
本儲存庫包含專案的完整開發歷程與核心程式碼,主要目錄說明如下:
UI_and_interface/:核心主程式資料夾(包含前端介面與後端伺服器,啟動專案請進入此目錄)。some_algorithms/&evaluation/:演算法開發區(記錄我們選定與評估「關鍵動作演算法」的測試過程)。WIPS/:初期開發的工作進度(Work In Progress),包含未整合的實驗性程式碼,可一窺團隊的開發脈絡。F5-TTS/(或其他 TTS 資料夾):語音合成 (TTS) 相關的依賴與測試模組。
(建議在這裡列出 3-5 點你們最自豪的功能,例如:)
-
困難動作拆解 (C): 我們利用自製的演算法,將一部困難的影片進行拆解,讓使用者分段分步地學習。
-
長輩友善復健系統: 利用辨認手勢的模型,抓取使用者的手部特徵,以此取代滑鼠鍵盤。在選擇關卡、商品等物時,讓使用者可以簡易無負擔的方式進行操作。
-
實時動作評分 (C): 整合 AR 疊圖技術,讓使用者能即時比對自身與標準動作的差異並精準修正;同時結合 MediaPipe 骨架偵測,針對動作準確度進行自動化評分。
-
乖孫教你做運動(R): 由 Gemini 提供動作糾錯,並整合 TTS 語音合成技術,將建議轉化為親友(如孫子)的親切語音,提升使用者的運動動機與心理陪伴感。
-
長輩圖分享功能(R): 可拍攝使用者完成動作的畫面,並用Gemini生成專屬早安長輩圖。加入互動,讓運動可以呼朋引伴,提高動力 。
-
獎勵商店(A): 根據動作評分,使用者可獲得星星作為獎勵。本系統具備「商店」,使用者可用星星購買可愛配飾,讓長輩們的心態更年輕。
- 前端 (Frontend): HTML5, CSS3, JavaScript , WebSockets
- 後端 (Backend): Python 3.9, FastAPI, Uvicorn.
- 電腦視覺 (Computer Vision): OpenCV, MediaPipe
- 人工智慧 (AI): Google GenAI API.
- 第三方服務: ImgBB (圖像託管).
本專案建議在 Python 3.9 環境下運行。
請先安裝必要的依賴套件(完整清單請參考 condaenv.txt 或執行以下指令):
# 建立並啟動虛擬環境 (建議)
conda create -n face python=3.9
conda activate face
# 安裝核心套件
pip install -r ..\requirements.txt
pip install fastapi uvicorn requests python-dotenv opencv-python mediapipe google-genai numpy pillow scipy為了確保資訊安全,專案的核心 AI 與上傳功能已改為從環境變數讀取。請在專案根目錄(UI_and_interface/)下建立一個 .env 檔案,並填入以下資訊:
GEMINI_API_KEY=your_gemini_key_here
IMGBB_API_KEY=your_imgbb_key_here(註:我們已在提交的檔案中預先設定好,若無設定,程式啟動時會拋出錯誤提醒。)
進入主程式資料夾後,執行以下指令啟動 FastAPI 伺服器:
python main.py伺服器啟動後,請打開瀏覽器(強烈建議使用 Google Chrome 以確保視訊與語音功能正常運作),輸入以下網址即可進入系統: http://localhost:8000
備註 (Notes for Judges / Testing) 為了方便競賽評審與開發測試,我們提供一組測試用的 API Key。請勿將此 Key 用於商業用途,僅供測試評估使用:
GEMINI_API_KEY=AIzaSyCIoKxxbMM_yewszbrOvTHMvmnadniMv9k
IMGBB_API_KEY=417601fefc1f8b6cbb1caede5c5f9bc5開發團隊: Just Pose Team 聯絡方式: anguszheng11@gmail.com
