关于COT部分的提升的疑惑 #4
Description
| Model | HR_1 | HR_5 | HR_10 | NDCG_5 | NDCG_10 | Training | Inference |
|---|---|---|---|---|---|---|---|
| Base | 0.0220 | 0.0560 | 0.0760 | 0.0394 | 0.0459 | 5 min/epoch | 6 min |
| AddCot | 0.0232 | 0.0568 | 0.0773 | 0.0403 | 0.0468 | 42 min/epoch | 1.75 h |
| Improv. | 5.45% | 1.43% | 1.71% | 2.28% | 1.96% | x 8.4 | x 17.5 |
您好，我自己跑一下得到了这个结果，但我感觉或许COT的提升不是从think当中得到的？因为我看cot部分的输入除了SID之外还有类目以及标题信息，而非cot的部分没有这些信息。或许加入一个额外的相同setting下的对比实验会更可信，毕竟think的部分也就一个简单的类目信息。