Skip to content

Refactor: Prefetch에서 미리 완성된 텐서 준비#6

Open
rinarina0429 wants to merge 1 commit intomainfrom
refactor/#5
Open

Refactor: Prefetch에서 미리 완성된 텐서 준비#6
rinarina0429 wants to merge 1 commit intomainfrom
refactor/#5

Conversation

@rinarina0429
Copy link
Member

[기존]

사용자가 /stage2 입력
  → 파일 읽기 (0.003초)
  → weight 합치기 (cat)
  → CPU → GPU 전송 (0.14초 × 4개 레이어)
  → 총 0.65초 대기

[개선 후]

사용자가 대화하는 동안 백그라운드에서:
  → 파일 읽기 + weight 합치기 + 고정 메모리 변환 (다 끝남)
사용자가 /stage2 입력
  → 준비된 텐서를 GPU로 복사만 (0.08초)

@rinarina0429 rinarina0429 self-assigned this Feb 18, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

Refactor: Prefetch에서 미리 완성된 텐서 준비

1 participant