构建数据

[WANGDUNDUN1]

您好，我想请教一下我要仿照您的方法，构建一个适合自己的数据集的评估数据，其中inference_data的数据格式应该怎样的呀？

[WANGDUNDUN1]

[
{
"id": 1,
"response": "Yes, the image contains a cat."
},
{
"id": 2,
"response": "No, there is no dog in the image."
},
{
"id": 3,
"response": "yes"
}
]
是这样吗？

[junyangwang0410]

[ { "id": 1, "response": "Yes, the image contains a cat." }, { "id": 2, "response": "No, there is no dog in the image." }, { "id": 3, "response": "yes" } ] 是这样吗？

对于 id <= 1004 的response只有"Yes"或"No"两种，如果模型有多余的回复，有以下几种方式解决：

1. 截断模型回复，只保留"Yes"或"No"
2. 比较模型在首个token位置的"Yes"和"No"的logits，选择较大的那个token
3. 找一个判别模型，根据回复判断"Yes"或"No"

对于 id > 1004 的response，只要是一段完整的描述即可

[WANGDUNDUN1]

好的，谢谢