Continue Training 时指标与论文对不上，不知道问题在哪里

[xuangtuaiguua]

我喜欢这个简单优美的工作。

原论文中AIME24上准确率最终大约在55左右，Entropy1.2，response长度4000。

我尝试在JustRL-DeepSeek-1.5B这个开源的模型上继续训练。我参考论文原文的参数设置，把dapo_math_17k数据原始数学问题prompt提取出来，最后加上'Please reason step by step, and put your final answer within \boxed{}.'指令。然而我发现训练一开始的一些指标和原论文对应不上，特别是response长度和Entropy差异比较大。

这是我的训练脚本

python3 -m verl.trainer.main_ppo \
    data.train_files="${TRAIN_FILE}" \
    data.val_files="${TEST_FILE}" \
    data.prompt_key=prompt \
    data.truncation='left' \
    data.max_prompt_length=1024 \
    data.max_response_length=15360 \
    data.train_batch_size=256 \
    actor_rollout_ref.rollout.n=8 \
    algorithm.adv_estimator=grpo \
    algorithm.use_kl_in_reward=False \
    algorithm.kl_ctrl.kl_coef=0.0 \
    actor_rollout_ref.actor.use_kl_loss=False \
    actor_rollout_ref.actor.kl_loss_coef=0.001 \
    actor_rollout_ref.actor.kl_loss_type=low_var_kl \
    actor_rollout_ref.actor.clip_ratio_low=0.2 \
    actor_rollout_ref.actor.clip_ratio_high=0.28 \
    actor_rollout_ref.actor.clip_ratio_c=10.0 \
    actor_rollout_ref.model.use_remove_padding=True \
    actor_rollout_ref.actor.use_dynamic_bsz=True \
    actor_rollout_ref.ref.log_prob_use_dynamic_bsz=True \
    actor_rollout_ref.rollout.log_prob_use_dynamic_bsz=True \
    actor_rollout_ref.actor.ppo_max_token_len_per_gpu=32768 \
    actor_rollout_ref.ref.log_prob_max_token_len_per_gpu=49152 \
    actor_rollout_ref.rollout.log_prob_max_token_len_per_gpu=49152 \
    actor_rollout_ref.model.path="${MODEL_PATH}" \
    actor_rollout_ref.model.enable_gradient_checkpointing=True \
    actor_rollout_ref.actor.optim.lr=1e-6 \
    actor_rollout_ref.actor.optim.lr_warmup_steps=-1 \
    actor_rollout_ref.actor.optim.weight_decay=0.1 \
    actor_rollout_ref.actor.ppo_mini_batch_size=64 \
    actor_rollout_ref.actor.fsdp_config.param_offload=False \
    actor_rollout_ref.actor.fsdp_config.optimizer_offload=False \
    actor_rollout_ref.actor.entropy_coeff=0 \
    actor_rollout_ref.actor.grad_clip=1.0 \
    actor_rollout_ref.actor.loss_agg_mode=token-mean \
    actor_rollout_ref.actor.ulysses_sequence_parallel_size=1 \
    actor_rollout_ref.rollout.gpu_memory_utilization=0.9 \
    actor_rollout_ref.rollout.tensor_model_parallel_size=1 \
    actor_rollout_ref.rollout.enable_chunked_prefill=True \
    actor_rollout_ref.rollout.max_num_batched_tokens=16384 \
    actor_rollout_ref.rollout.temperature=1.0 \
    actor_rollout_ref.rollout.top_p=1.0 \
    actor_rollout_ref.rollout.top_k=-1 \
    actor_rollout_ref.rollout.val_kwargs.temperature=0.7 \
    actor_rollout_ref.rollout.val_kwargs.top_p=0.9 \
    actor_rollout_ref.rollout.val_kwargs.top_k=-1 \
    actor_rollout_ref.rollout.val_kwargs.do_sample=True \
    actor_rollout_ref.rollout.val_kwargs.n=1 \
    actor_rollout_ref.ref.fsdp_config.param_offload=False \
    actor_rollout_ref.ref.ulysses_sequence_parallel_size=1 \
    actor_rollout_ref.actor.fsdp_config.fsdp_size=-1 \
    reward_model.reward_manager=dapo \
    trainer.logger=['console','swanlab'] \
    trainer.project_name="${project_name}" \
    trainer.experiment_name="${exp_name}" \
    trainer.n_gpus_per_node=8 \
    trainer.nnodes=1 \
    trainer.val_before_train=True \
    trainer.test_freq=10 \
    trainer.save_freq=-1 \
    trainer.total_epochs=999 \
    trainer.total_training_steps=100 \
    trainer.default_local_dir="${CKPTS_DIR}"

不知道问题出在哪里，请问是否可以提供你们训练时的脚本来参考呢？谢谢

[HBX-hbx]

感谢认可！关于 AIME24 的结果，我们在 blog 里面 report JustRL-DeepSeek-1.5B 在 AIME24 的表现时加了 note，图里的是 train-time validation，veRL 自带的 evaluation 比我们最终的评测脚本（也就是这个 repo）测出来的的要高几个点（也就是 AIME24 一道题左右），因此看到的是 55 左右，但是我们最终 report 的是 52。

对于测出来小于 50，从这个脚本中感觉是因为 max_response_length 在 veRL 里面是同时 apply 到训练和 validation 的，也就是实际用的 16k 来评测，但我们在评测时是按照 32k 来的，自己加了一个 max_new_tokens 参数。此外，我看脚本里面用的 actor_rollout_ref.rollout.val_kwargs.n=1，这里是预先 repeat 了评测题目吗？

对于 entropy 和 response length，感觉有可能是 vllm 或者 verl 版本的问题，我们用的版本可能相对比较旧，是 0.2.0 的 verl 和 0.8.4 的 vllm。

训练脚本：

python3 -m verl.trainer.main_ppo \
    algorithm.adv_estimator=grpo \
    algorithm.use_kl_in_reward=False \
    algorithm.kl_ctrl.kl_coef=0.0 \
    data.train_files="\$TRAIN_DATASET" \
    data.val_files="\$TEST_DATASET" \
    data.train_batch_size=256 \
    data.max_prompt_length=1024 \
    data.max_response_length=15360 \
    data.filter_overlong_prompts=True \
    data.truncation='error' \
    actor_rollout_ref.model.path=\$ACTOR_MODEL_PATH \
    actor_rollout_ref.actor.optim.lr=1e-6 \
    actor_rollout_ref.actor.optim.lr_warmup_steps=10 \
    actor_rollout_ref.actor.optim.weight_decay=0.1 \
    actor_rollout_ref.model.use_remove_padding=True \
    actor_rollout_ref.actor.ppo_mini_batch_size=64 \
    actor_rollout_ref.actor.ppo_micro_batch_size_per_gpu=1 \
    actor_rollout_ref.actor.entropy_coeff=0 \
    actor_rollout_ref.actor.grad_clip=1.0 \
    actor_rollout_ref.actor.use_dynamic_bsz=True \
    actor_rollout_ref.actor.ppo_max_token_len_per_gpu=32768 \
    actor_rollout_ref.actor.use_kl_loss=False \
    actor_rollout_ref.actor.kl_loss_coef=0.0 \
    actor_rollout_ref.actor.clip_ratio_low=0.2 \
    actor_rollout_ref.actor.clip_ratio_high=0.28 \
    actor_rollout_ref.actor.clip_ratio_c=10.0 \
    actor_rollout_ref.actor.ulysses_sequence_parallel_size=\$PARALLEL_SIZE \
    actor_rollout_ref.model.enable_gradient_checkpointing=True \
    actor_rollout_ref.actor.fsdp_config.param_offload=False \
    actor_rollout_ref.actor.fsdp_config.optimizer_offload=False \
    actor_rollout_ref.rollout.tensor_model_parallel_size=\$PARALLEL_SIZE \
    actor_rollout_ref.rollout.name=vllm \
    actor_rollout_ref.rollout.temperature=1.0 \
    actor_rollout_ref.rollout.n=8 \
    actor_rollout_ref.rollout.val_kwargs.do_sample=True \
    actor_rollout_ref.rollout.val_kwargs.max_new_tokens=31744 \
    actor_rollout_ref.rollout.val_kwargs.n=32 \
    actor_rollout_ref.rollout.val_kwargs.temperature=0.7 \
    actor_rollout_ref.rollout.val_kwargs.top_p=0.9 \
    actor_rollout_ref.rollout.gpu_memory_utilization=0.85 \
    actor_rollout_ref.ref.fsdp_config.param_offload=True \
    reward_model.enable=False \
    reward_model.reward_manager=dapo \
    reward_model.reward_kwargs.overlong_buffer_cfg.enable=False \
    reward_model.reward_kwargs.overlong_buffer_cfg.len=4096 \
    reward_model.reward_kwargs.overlong_buffer_cfg.penalty_factor=1.0 \
    trainer.val_before_train=True \
    trainer.logger=['console','tensorboard'] \
    trainer.project_name=\$PROJECT_NAME \
    trainer.experiment_name=\$EXPERIMENT_NAME \
    trainer.n_gpus_per_node=8 \
    trainer.nnodes=\$WORLD_SIZE \
    trainer.save_freq=20 \
    trainer.test_freq=20 \
    trainer.total_epochs=1 \
    trainer.default_local_dir="\$CKPT_PATH/\$PROJECT_NAME/\$EXPERIMENT_NAME"

[xuangtuaiguua]

我预先 repeat 了测试题目 16 次然后设置了 actor_rollout_ref.rollout.val_kwargs.n=1，因为我看到有些人的训练经验说某些 vllm 版本的 n 参数测出来效果会变差，为了稳妥我进行了 repeat。
我用的是比较新的 verl 和 vllm 版本，我觉得很可能是这个原因，我会尝试对齐一下环境和脚本，感谢这么快速地回复～