关于演示demo

[xcffzzf]

我看到仓库中的代码似乎只使用了视频第一帧和全部的音频进行的编解码，请问是我理解有误吗？

[ZebangCheng]

我们编写demo相关代码的时候，为了方便，直接使用了视频的第一帧。你的理解是正确的。

[xcffzzf]

非常感谢您的回复！

您的工作对我非常有帮助！我是研究情感神经科学的一名研究生，最近几天我尝试去进行完整的推理，并提取每个视频的情绪表征。

我想知道真正的情绪表征是在哪一步的输出。是conversation.py 中 encode_img得到的（1，260，4096）吗？还是在这之后，与提示词一起输入到LLM中，输出文本前最后一层隐藏状态？如果是的话，我应该从哪里得到这个表征？

[ZebangCheng]

我想知道真正的情绪表征是在哪一步的输出。是conversation.py 中 encode_img得到的（1，260，4096）吗？还是在这之后，与提示词一起输入到LLM中，输出文本前最后一层隐藏状态？如果是的话，我应该从哪里得到这个表征？

按照我的理解，Emotion-LLaMA是将多模态Encoder提取的情感表征输入到大语言模型，然后输出文本（类别对应的字符 或者 一句话，一段描述等）。所以Emotion-LLaMA并没有去提取情绪表征。

虽然有的工作，会利用文本前最后一层隐藏状态来作为表征，来进行下一步的融合，但是我个人经验决定Emotion-LLaMA的最后一层隐藏层不适合作为情感表征。

我建议你直接使用Encoder提取的特征作为情感表征，对应encode_img中的video_features = video_features.to(device) # [1, 3, 1024]
这些情感表征是提前提取的：

    def get(self, video_name):
        # FaceMAE feature
        FaceMAE_feats_path = os.path.join(self.file_path, 'mae_340_UTT', video_name + '.npy')
        FaceMAE_feats = torch.tensor(np.load(FaceMAE_feats_path))

        # VideoMAE feature
        VideoMAE_feats_path = os.path.join(self.file_path, 'maeV_399_UTT', video_name + '.npy')
        VideoMAE_feats = torch.tensor(np.load(VideoMAE_feats_path))

        # Audio feature
        Audio_feats_path = os.path.join(self.file_path, 'HL-UTT', video_name + '.npy')
        Audio_feats = torch.tensor(np.load(Audio_feats_path))

        return FaceMAE_feats, VideoMAE_feats, Audio_feats

建议你使用HuBERT，VideoMAE，CLIP等模型提取情感表征，效果强，通用型好。

[xcffzzf]

感谢您的回复，我还有些疑问。在我看来，情感是一种高级语义。

在实验过程中，我只video_features（使用在别的回答中所给出的预训练模型提取的特征[1, 3, 1024]）进行情感推理。在没有prompt的情况下，推理结果几乎完全错误；在加上简单的没有泄露情感信息的prompt（使用几个单词描述事件情景）后，推理结果十分准确，并反映出了视频中的上下文信息。

因此我能否认为，video_features+prompt经过大语言模型之后才能捕获到真正的情感表征（即以文本形式表现的高级语义）？

[ZebangCheng]

可能我们对情感表征的理解不一样。我理解的情感表征是不同模态提取的特征（一般是1*1024维度），然后将这些特征通过简单的网络MLP进行“后融合”，按照softmax进行分类。

你这里提到的“特征[1, 3, 1024]）进行情感推理。在没有prompt的情况下，推理结果几乎完全错误”，这里的情感推理指的是将情感特征输入到大语言模型里面，然后输出字符吗？对于大语言模型来说，prompt上很重要的，需要告诉LLM具体的指令或者任务。

因此我能否认为，video_features+prompt经过大语言模型之后才能捕获到真正的情感表征（即以文本形式表现的高级语义）？

我觉得可以尝试提取LLM中不同层的特征进行测试。

[xcffzzf]

感谢您的回复。

我所说的 情感推理 确实是将情感特征输入到大语言模型里面，然后输出字符。

我是初次接触大模型，对于其中的结构很陌生，能麻烦您告诉我可以在项目中的哪些文件中可以找到LLM输出时不同层的特征吗？我尝试在调试中去寻找，溯源到了minigpt_base.py，但对其中的结构不太明白。

[ZebangCheng]

我是初次接触大模型，对于其中的结构很陌生，能麻烦您告诉我可以在项目中的哪些文件中可以找到LLM输出时不同层的特征吗？我尝试在调试中去寻找，溯源到了minigpt_base.py，但对其中的结构不太明白。

我之前尝试过输出最后一层的特征。应该是有一个隐藏空间hidden space，然后可以输出每个层的特征。但我没有尝试过 找到LLM输出时不同层的特征，具体内容我也忘记了。需要你参考其他工作或这方法进行查看了。

[xcffzzf]

好的，我再学习一下。