双模态（A,V）

[Featherwit1119]

作者您好，我觉得您的工作很有意义，我们很想复现您的工作，并进行拓展，不知您是否能提供音频和视频双模态的预训练参数和效果

[ZebangCheng]

感谢您对我们工作的关注。项目相关的资源我们都已开源到Google Driver上：

• https://drive.google.com/drive/folders/1d-Sg5fAskt2s6OOEUNXFaM2u-C055Whj?usp=sharing

[Featherwit1119]

您好，我不知道这两个里是否有

音频和视频两个模态的模型参数，我希望得到双模态的参数

[ZebangCheng]

这两个模态里面都有双模态的映射层的参数。你是不是在问多模态Encoder的参数？有一个图片Encoder的参数执行代码会自动下载，其它Encoder你可以从我们开源的Google Driver中下载：

https://drive.google.com/drive/folders/1WpQBV7XQsGnLr6B7bv4kKn4suW-o8fWO?usp=sharing

[Featherwit1119]

您好，因为我看readme里的MER2023挑战中咱们的模型有音频视频双模态的模型，但是您提供的pth文件只有三模态的模型参数和视觉加文本的双模态模型参数，所以想问问您能否提供该项目音频和视频双模态的模型的pth文件

[ZebangCheng]

抱歉，我前面理解错你们意思了。你们真正想关注的是Emotion-LLaMA只使用A，V两个模态得到0.8905分数的模型的权重？我们没有单独训练A，V两个模态的模型，我们只是在测试的时候，取消了文本字幕的输入。

即训练时是A，V，T三个模态的，测试的时候先测试A，V，T三个模态的分数，再用同一个模型参数测试A，V两个模态的分数。

[hertz-pj]

@ZebangCheng 是否支持只输入 (A, T)两个模态呢？

[ZebangCheng]

@ZebangCheng 是否支持只输入 (A, T)两个模态呢？

理论上Emotion-LLaMA上可以只输入 (A, T)两个模态，具体操作是将所有的视觉模态的特征赋值为0向量或者直接删除视觉特征相关的代码。但是我认为Emotion-LLaMA主要关注的特征就是视觉模态的特征，如果只使用(A, T)两个模态两个模态，效果会比较差。可以修改代码，主要关注(A, T)两个模态的特征，重新训练一个权重，针对(A, T)两个模态相关的任务。