昇腾910b使用vllm部署，精度劣化严重 #116
Description
System Info / 系統信息
镜像使用：quay.io/ascend/vllm-ascend:glm5-openeuler，具体环境信息如下：
OS: openEuler 24.03 (LTS-SP2) (aarch64)
Versions of relevant libraries:
[pip3] numpy==1.26.4
[pip3] pyzmq==27.1.0
[pip3] torch==2.9.0+cpu
[pip3] torch_npu==2.9.0
[pip3] torchvision==0.24.0
[pip3] transformers==5.2.0.dev0
[pip3] triton-ascend==3.2.0
[conda] Could not collect
vLLM Version: 0.16.0rc2.dev3+g978a37c82 (git sha: 978a37c82)
vLLM Ascend Version: 0.14.0rc2.dev150+gff3a50d01 (git sha: ff3a50d01)
NPU:
+------------------------------------------------------------------------------------------------+
| npu-smi 25.3.rc1.2 Version: 25.3.rc1.2 |
+---------------------------+---------------+----------------------------------------------------+
CANN:
package_name=Ascend-cann-toolkit
version=8.5.0
innerversion=V100R001C25SPC001B232
compatible_version=[V100R001C15],[V100R001C18],[V100R001C19],[V100R001C20],[V100R001C21],[V100R001C23]
arch=aarch64
os=linux
path=/usr/local/Ascend/cann-8.5.0
Who can help? / 谁可以帮助到您？
No response
Information / 问题信息
- The official example scripts / 官方的示例脚本
- My own modified scripts / 我自己修改的脚本和任务
Reproduction / 复现过程
- 启动镜像
docker run \
--security-opt seccomp=unconfined \
--net=host \
--name vllm-ascend_nightly \
--shm-size=8g \
--device /dev/davinci3 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-it quay.io/ascend/vllm-ascend:glm5-openeuler bash- 启动vllm服务
vllm serve zai-org/GLM-OCR --port 8080- 解析图片：
Expected behavior / 期待表现
使用Transformers部署解析结果质量准，如下
<table border=\"1\"><tr><td>评级要素</td><td>分数</td></tr><tr><td>要素一：财富创造能力</td><td>4.31</td></tr><tr><td>(一)市场竞争力</td><td>4.05</td></tr><tr><td>(二)运营能力</td><td>4.61</td></tr><tr><td>(三)可持续发展能力</td><td>7.00</td></tr><tr><td>要素二：偿债来源与负债平衡</td><td>5.05</td></tr><tr><td>(一)偿债来源</td><td>4.65</td></tr><tr><td>(二)债务与资本结构</td><td>5.81</td></tr><tr><td>(三)保障能力分析</td><td>4.90</td></tr><tr><td>(四)现金流量分析</td><td>6.15</td></tr><tr><td>调整项</td><td>-0.45</td></tr><tr><td>基础信用等级</td><td>a+</td></tr><tr><td>外部支持</td><td>3</td></tr><tr><td>模型结果</td><td>AA+</td></tr></table>
使用vllm解析结果会有内容重复以及图片中不存在的内容，如下
<table border=\"1\"><tr><td>评级要素</td><td>分数</td></tr><td>要素一：财富创造能力</td><td>4.31</td></tr><tr><td>要素一：财富创造能力</td></tr><tr><td>（一）市场竞争力</td></tr><tr><td>（一）市场竞争力</td></tr><td>市场竞争力</td><td>4.28</td></tr><tr><td>市场竞争力</td><td>竞争能力</td><td>创新力</td></tr><td>相对强</td></tr><td>高</td><td></td></tr><td>资本能力</td></tr><td>创新能力</td><td>效率</td></tr><td>成长能力</td><td>□</td></tr><td>盈利能力分析</td></tr><td>成长能力</td><td>创新能力</td></tr><td>创新能力</td></tr><td>�</td></tr><td>创新</td><td>金融竞争力</td></tr><td>开发区</td><td>品牌效应</td></tr><td>创新</td></tr><td>创新能力</td></tr><td>区域分布</td><td>创新</td></tr><td>发展能力</td></tr><td>创新能力</td><td>提高</td></tr><td>抗偿债能力</td><td>新兴国家</td></tr><td>创新能力</td><td>在美国</td></tr><td>新兴经济国家</td></tr><td>创新能力</td></tr><td>所得税福利费用</td><td>政策</td></tr><td>创新</td></tr><td>绿色崛起</td><td>创新</td></tr><td>发展</td></tr><td>节能与控制作用</td><td>创新</td><td>年轻人</td></tr><td>继续创新</td></tr><td>品牌效应</td></tr><td>社会效益</td><td>创新</td></tr><td></td><td>创新</td></td><td>创新</td></tr><td>投资回报率</td></tr><td>MDI</td><td>青檬廉价</td></tr><td>房地产</td></tr><td>技术创新力量的影响</td></tr><td>创新</td><td>潜在吸引力</td><td>融资效率</td></tr></table>