verl 版本问题

[whywhy19i]

您训练过程中使用的verl的版本是什么，最新的版本似乎和您的架构不完全相同，很多函数缺失

[oneday88]

您训练过程中使用的verl的版本是什么，最新的版本似乎和您的架构不完全相同，很多函数缺失

Hi, for the Partial Kullback-Leibler (KL) experiments, our implementation uses verl==0.4.1.dev and vllm==0.8.4. We recommend a local installation of these specific versions follow the verl document and implementing the token-level RF++ algorithm as a foundational step.