v100显卡，加载量化模型Yi-34B-Chat-4bits，推理速度很慢

[zxdposter]

v100显卡，加载量化模型Yi-34B-Chat-4bits，推理速度很慢，要200秒左右，显存占了20G，还有10G空余
请问有办法解决吗？

model_id = '/home/chatglm/chatglm/model/base/Yi-34B-Chat-4bits'

nf4_config = GPTQConfig(
    bits=4,
    use_exllama=True,
    max_input_length=2048,
    use_cuda_fp16=True
)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="auto",
    quantization_config=nf4_config,
).eval()

tokenizer = AutoTokenizer.from_pretrained(model_id, use_fast=False, trust_remote_code=True)

DEVICE = "cuda"
DEVICE_ID = "0"
CUDA_DEVICE = f"{DEVICE}:{DEVICE_ID}" if DEVICE_ID else DEVICE
device_use = torch.device(CUDA_DEVICE)
model = model.to(device_use)

def chat(input):
    input_ids = tokenizer.apply_chat_template(conversation=[{"role": "user", "content": input}], tokenize=True,
                                              add_generation_prompt=True,
                                              return_tensors='pt')
    output_ids = model.generate(input_ids.to(device_use))
    response = tokenizer.decode(output_ids[0][input_ids.shape[1]:], skip_special_tokens=True)
    return response

time1 = time.time()
result = chat('你是谁')
print(f'耗时{time.time() - time1}', result)

输出结果
耗时194.49595594406128 我是零一万物开发的一个智能助手，我叫 Yi，我是由零一万物的研究员们通过大量的文本数据进行训练，学习了语言的各种模式和关联，从而能够生成文本、回答问题、翻译语言的。我可以帮助用户解答问题、提供信息，以及进行各种语言相关的任务。我并不是一个真实的人，而是由代码和算法构成的，但我尽力模仿人类的交流方式，以便更好地与用户互动。如果你有任何问题或需要帮助，请随时告诉我！