Reasoning Enhancement部分的代码

[fukairui]

Hi，看到论文当中Section 4.3做了强化学习，但是repository当中好像没有看到相关代码？

[zkyntu]

We also look forward to the RL code. Could you share the plan for open-sourcing the RL code? Thanks a lot. @wangshy31

[zhangxiaodi-yw]

代码虽然没RL，但是RA有个很像Curriculum Learning的东西不在论文里面，也是beamrollout的

[fukairui]

最近试着跑了一下，感觉还有不少bug 期待作者修复一下

[zhangrz22]

最近试着跑了一下，感觉还有不少bug 期待作者修复一下

我们自己按照这个流程是可以的，有什么bug可以具体说一下吗

[fukairui]

最近试着跑了一下，感觉还有不少bug 期待作者修复一下

我们自己按照这个流程是可以的，有什么bug可以具体说一下吗

2. Train_RA当中这个地方的文件好像没有给出，不过把val的部分删掉倒是不影响
   

   OneRec-Think/train/scripts/train_beauty_RA.py

   Line 245 in 2f90ae9

   val_data_path = '/llm-reco-ssd-share/zhangrongzhou/Data/Beauty14/1-2_eval_sid_data.parquet'

3. 还有个地方想请教一下，论文里面说的是用alignment之后的模型来做reasoning数据的生成，但是代码里面就直接人工构造数据了，不知道是不是有一些出入。

OneRec-Think/train/scripts/train_beauty_RA.py

Line 53 in 2f90ae9

assistant_content = f"<think>\nThe user is likely to buy items in {categories} category\n</think>\n{row['groundtruth']}"

[huang2444586]

最近试着跑了一下，感觉还有不少bug 期待作者修复一下

我们自己按照这个流程是可以的，有什么bug可以具体说一下吗

你们能跑到论文中的结果吗？
beauty_align阶段训练完成后，我使用了checkpoint-5591来合并模型，并进行beauty-sid-rec的训练，我使用checkpoint-67092直接进行测试（没有使用CoT），得到以下结果：
hit@1: 0.0181
hit@5: 0.0459
hit@10: 0.0471
ndcg@5: 0.0322
ndcg@10: 0.0380
好像没办法匹配论文中的消融实验，是我使用了错误的参数吗

[Suan-suannnn]

最近试着跑了一下，感觉还有不少bug 期待作者修复一下

我们自己按照这个流程是可以的，有什么bug可以具体说一下吗

你们能跑到论文中的结果吗？ beauty_align阶段训练完成后，我使用了checkpoint-5591来合并模型，并进行beauty-sid-rec的训练，我使用checkpoint-67092直接进行测试（没有使用CoT），得到以下结果： hit@1: 0.0181 hit@5: 0.0459 hit@10: 0.0471 ndcg@5: 0.0322 ndcg@10: 0.0380 好像没办法匹配论文中的消融实验，是我使用了错误的参数吗

我也尝试复现了一下，用的都是最新的ckp，将CoT微调过的模型进行test，还没你这个效果好。

[wangshy31]

3. 还有个地方想请教一下，论文里面说的是用alignment之后的模型来做reasoning数据的生成，但是代码里面就直接人工构造数据了，不知道是不是有一些出入。

OneRec-Think/train/scripts/train_beauty_RA.py

Line 53 in 2f90ae9

assistant_content = f"\nThe user is likely to buy items in {categories} category\n\n{row['groundtruth']}"

It can be referenced in the Limitations section of the original text. The user behavior sequence length in public datasets and the types/quantity of items to be retrieved are considerably smaller than those in real industrial scenarios, which fails to fully demonstrate the role of CoT in this aspect. We will release a more comprehensive benchmark in the future.

[wangshy31]

We also look forward to the RL code. Could you share the plan for open-sourcing the RL code?

The RL code will be released in the next few months.

[zkyntu]

@wangshy31 The next few months may be too long regarding the rapid development of generative recommendation. :)

[Suuo123]

这是什么商业策略吗..

[hhy150]

代码虽然没RL，但是RA有个很像Curriculum Learning的东西不在论文里面，也是beamrollout的

大佬，请问下RA是什么？beam rollout这个有链接么？