ImportError: cannot import name 'SamplerOutput' from 'vllm.sequence' (/root/miniconda3/lib/python3.11/site-packages/vllm/sequence.py

[badarrrr]

Is there an existing issue ? / 是否已有相关的 issue ?

• I have searched, and there is no existing issue. / 我已经搜索过了，没有相关的 issue。

Describe the bug / 描述这个 bug

1

To Reproduce / 如何复现

1

Expected behavior / 期望的结果

1

Screenshots / 截图

1

Environment / 环境

- OS:Ubuntu 20.04
- Pytorch:2.4.0 
- CUDA:12.1
- Device: [e.g. A10, RTX3090]

Additional context / 其他信息

按照通关宝典的方式先安装了vllm（版本为 vllm-0.6.1.post2），然后替换了minicpm3.py文件且改了__init__.py，运行code_interpreter.py 时报错 ：ImportError: cannot import name 'SamplerOutput' from 'vllm.sequence' (/root/miniconda3/lib/python3.11/site-packages/vllm/sequence.py

请问vllm需要的版本是多少？

[LDLINGLINGLING]

你好，我的vllm版本是:vllm 0.5.4+cu122
vllm-flash-attn 2.6.1
vllm_nccl_cu12 2.18.1.0.4.0