如何在自己的資料集中實現

[s0966066980]

目前正在研究您的項目，感謝您無私的貢獻
想請教您有關資料集相關的問題，我準備了一些mp4資料，想做額外訓練
我使用MER-Factory來生成資料，如以下

接下來該如何實現，希望您能給一些建議! 感謝

[Lum1104]

您好，在你截图中的 .json 文件即为标注出来的样本，你可以自由的把他整合到你喜欢的训练框架中完成训练~

[s0966066980]

感謝您抽空來回覆我的問題，想了解根據這些.mp4生成的.json，該怎麼製作成您訓練用的資料，如MERR_coarse_grained.txt、MERR_coarse_grained.txt與transcription_en_all.csv?

期待您的回覆，感謝!

[ZebangCheng]

感謝您抽空來回覆我的問題，想了解根據這些.mp4生成的.json，該怎麼製作成您訓練用的資料，如MERR_coarse_grained.txt、MERR_coarse_grained.txt與transcription_en_all.csv?

期待您的回覆，感謝!

您是否有尝试使用MERR_coarse_grained.txt、MERR_coarse_grained.txt，transcription_en_all.csv等文件去复现训练或者测试Emotion-LLaMA模型？我建议您先根据Emotion-LLaMA的教程和说明尝试进行一些简单的复现，然后就能清楚每个文件的作用和功能。

然后你就可以根据MER-Factory生成的一些内容，去构建您自己的指令数据集，可以按照您自己的任何想法去制作成训练用的资料。

[s0966066980]

感謝您抽空來回覆我的問題，想了解根據這些.mp4生成的.json，該怎麼製作成您訓練用的資料，如MERR_coarse_grained.txt、MERR_coarse_grained.txt與transcription_en_all.csv?
期待您的回覆，感謝!

您是否有尝试使用MERR_coarse_grained.txt、MERR_coarse_grained.txt，transcription_en_all.csv等文件去复现训练或者测试Emotion-LLaMA模型？我建议您先根据Emotion-LLaMA的教程和说明尝试进行一些简单的复现，然后就能清楚每个文件的作用和功能。

然后你就可以根据MER-Factory生成的一些内容，去构建您自己的指令数据集，可以按照您自己的任何想法去制作成训练用的资料。

您好，感謝回覆!
我已經使用MERR_coarse_grained.txt、MERR_coarse_grained.txt，transcription_en_all.csv等文件去复现训练並且可以訓練與测试Emotion-LLaMA模型，但目前只成功透過您提供的訓練資料，我希望能自己額外建立一些資料來訓練，有幾點使用MER-Factory的問題還想請您幫忙解答:

1.使用python main.py input/ output/ --type MER \ --ollama-vision-model llava-llama3:latest \ --ollama-text-model llama3.2
生成的資料如何整理成您提供的MERR_coarse_grained.txt、 MERR_coarse_grained.json訓練資料格式?
2.當我添加新的資料時，HuBERT 、EVA 、MAE 與VideoMAE需要訓練或調整嗎?

期待您的回覆與指導!感謝您

[Lum1104]

你可以使用 python export.py --output_folder "output" --file_type "mer" --export_path "export" --export_csv 进行标注结果导出，这会把数据完全导出到一个 文件名-标注 对应的csv文件里，此后再按需构建其他需要的文件即可。

像 transcript 这些内容，如果你认为 LLM 标注不够准确的话，也可以尝试传统 ASR 模型（如 Whisper）等生成，添加新的资料时你可以进行实验，权衡目前 encoder 是否能够完成特征提取需求，如不行的话可以考虑训练。在 Emotion-LLaMA 的实验中，我们预训练了 MAE 及 VideoMAE。

具体到 MERR 的训练格式，可能还需要一些后处理转化脚本，如您有需要可以在 MER-Factory 项目开启一个 issue，我们尽快为您实现。

[s0966066980]

你可以使用 python export.py --output_folder "output" --file_type "mer" --export_path "export" --export_csv 进行标注结果导出，这会把数据完全导出到一个 文件名-标注 对应的csv文件里，此后再按需构建其他需要的文件即可。

像 transcript 这些内容，如果你认为 LLM 标注不够准确的话，也可以尝试传统 ASR 模型（如 Whisper）等生成，添加新的资料时你可以进行实验，权衡目前 encoder 是否能够完成特征提取需求，如不行的话可以考虑训练。在 Emotion-LLaMA 的实验中，我们预训练了 MAE 及 VideoMAE。

具体到 MERR 的训练格式，可能还需要一些后处理转化脚本，如您有需要可以在 MER-Factory 项目开启一个 issue，我们尽快为您实现。

感謝您的教導與回覆!我會再嘗試，如有問題會再MER-Factory項目上提問，再次感謝您的回覆