LLaSM: Large Language and Speech Model

开源，可商用的中英文双语语音-语言助手 LLaSM 以及中英文语音 SFT 数据集 LLaSM-Audio-Instructions，第一个支持中英文语音-文本多模态对话的开源可商用对话模型。

模型框架

基础演示

在线试玩

Talk is cheap, Show you the Demo.

• Demo 地址 / HuggingFace Spaces

资源下载

• HuggingFace模型下载：

  • LLaSM-Chinese-Llama-2-7B
  • LLaSM-Baichuan-7B

• 百度网盘下载:

  • LLaSM-Chinese-Llama-2-7B
  • LLaSM-Baichuan-7B

• 语言模型:

  • Chinese-Llama-2-7b
  • Baichuan-7B

• 数据集：LLaSM-Audio-Instructions

环境安装

# clone the repository
git clone https://github.com/LinkSoul-AI/LLaSM
cd LLaSM

# install package
conda create -n llasm python=3.10 -y
conda activate llasm
pip install --upgrade pip
pip install -e .

快速测试

export LLASM_DEVICE="cuda:0"
python infer.py \
    --input_audio_file PATH/TO/YOUR/AUDIO \
    --llasm_model PATH/TO/LLaSM/MODEL \
    --llasm_audio_tower PATH/TO/WHISPER/MODEL \
    --llm_type "Chinese_llama2" or "baichuan" \

TODO

• 如何训练
• int4 量化
• docker 部署

相关项目

• Chinese-Llama-2-7B
• Whisper
• baichuan-inc/Baichuan-7B

项目协议

Apache-2.0 license

微信交流群