Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

total_loss가 nan에서 안바뀝니다 #68

Open
kmw0410 opened this issue Oct 7, 2023 · 0 comments
Open

total_loss가 nan에서 안바뀝니다 #68

kmw0410 opened this issue Oct 7, 2023 · 0 comments

Comments

@kmw0410
Copy link

kmw0410 commented Oct 7, 2023

이미 같은 이슈( #45 )가 올라와서 보긴했지만.. 해결방법 감이 안잡혀서 올립니다

1660ti(6gb) 사용중이고 diff-svc 공식디코에 있는 체크포인트 받아서 사용중입니다
작업관리자에선 6gb중 5.1gb 사용중이라 나오고 nvidia-smi 쳐서 봤을땐 gpu memory usage에는 n/a로만 나옵니다

어제까지만 해도 됐다가 오늘 다시하려고 하니 nan으로 바뀌고 안넘어가는데 뭐가 문제인건가요?

폴더 지우고 다시 받아보고 아나콘다도 처음부터 세팅한건데 total loss만 nan에서 안바뀝니다

추가) 너무 늦게된다고 하기엔 total loss가 정상적으로 뜬상태랑 속도가 비슷하고 시퓨로 돌리기엔 구형제온이라 좀 애매합니다;

image

image

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant