You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
你好,
我现在在训练PPO的时候出现了CUDA out of memory的问题,我是用了8个A100 GPUs,每一个GPU有80GB显存。下面是我运行的命令。我是用的stanford-alpaca提供的代码用8个A100全参微调训练了llama2-13B的sft model,reward模型是用的LLM-tuning项目提供的训练reward的代码基于llama2-13B训练的。现在就是在运行下面的ppo的时候出现了爆显存的问题,请问有什么办法可以降低显存吗?谢谢
你好,
我现在在训练PPO的时候出现了CUDA out of memory的问题,我是用了8个A100 GPUs,每一个GPU有80GB显存。下面是我运行的命令。我是用的stanford-alpaca提供的代码用8个A100全参微调训练了llama2-13B的sft model,reward模型是用的LLM-tuning项目提供的训练reward的代码基于llama2-13B训练的。现在就是在运行下面的ppo的时候出现了爆显存的问题,请问有什么办法可以降低显存吗?谢谢
The text was updated successfully, but these errors were encountered: