昇腾310P3运行paddleocr出现coredump

[bravelywang123]

🔎 Search before asking

• I have searched the PaddleOCR Docs and found no similar bug report.
• I have searched the PaddleOCR Issues and found no similar bug report.
• I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

昇腾310P3运行paddleocr出现Coredump，操作步骤参考如下链接：(https://blog.csdn.net/qq_54958500/article/details/143500816?spm=1001.2014.3001.5502)

运行出错截图如下：

🏃‍♂️ Environment (运行环境)

CPU：Kunpeng
NPU：Ascend 310P
系统：麒麟4.19.90-52.22.v2207.ky10.aarch64
CANN版本：8.0.RC1
驱动版本：24.1.rc3

Python：3.9.21
paddle-custom-npu：3.0.0b2
paddleocr：2.8.1
paddlepaddle：3.0.0b1

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

1、拉取镜像
docker pull registry.baidubce.com/device/paddle-npu:cann80RC1-ubuntu20-aarch64-gcc84-py39
2、启动容器
docker run -it --name paddle-npu-dev -v $(pwd):/work
--privileged --network=host --shm-size=128G -w=/work
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi
-v /usr/local/dcmi:/usr/local/dcmi
-e ASCEND_RT_VISIBLE_DEVICES="0,1,2,3,4,5,6,7"
registry.baidubce.com/device/paddle-npu:cann80RC1-ubuntu20-$(uname -m)-gcc84-py39 /bin/bash
3、安装paddle NPU 插件包
pip install paddlepaddle -i https://www.paddlepaddle.org.cn/packages/nightly/cpu
pip install paddle-custom-npu -i https://www.paddlepaddle.org.cn/packages/nightly/npu
4、检查安装版本
python -c "import paddle_custom_device; paddle_custom_device.npu.version()"
5、下载图片
wget https://paddleocr.bj.bcebos.com/dygraph_v2.1/ppocr_img.zip
unzip ppocr_img.zip
6、运行如下代码

import cv2
from PIL import Image
from paddleocr import PaddleOCR, draw_ocr
import os
import numpy as np

import paddle
print(f"Current device: {paddle.device.get_device()}")
paddle.device.set_device("npu:0")
ocr = PaddleOCR(use_angle_cls=True, lang="ch", use_npu=True)
img_path = "/work/ppocr_img/imgs/11.jpg"
if not os.path.exists(img_path):
    print(f"Error: Image file {img_path} dost not exist.")
else:
    try:
        # 读取图像
        img = cv2.imread(img_path)
        if img is None:
            print(f"Error: Failed to load image {img_path}.")
        else:
            # 进行 OCR 处理
            result = ocr.ocr(img_path, cls=True)
            # img = np.asarray(img, dtype=np.float16)
            # print("Image shape: ", img.shape)
            # result = ocr.ocr(img, cls=True)
            # print("Result length: ", len(result))
            for idx in range(len(result)):
                res = result[idx]
                for line in res:
                    print(line)

            # 显示结果
            result = result[0]
            image = Image.open(img_path).convert('RGB')
            boxes = [line[0] for line in result]
            txts = [line[1][0] for line in result]
            scores = [line[1][1] for line in result]
            # im_show = draw_ocr(image, boxes, txts, scores, font_path='/usr/local/pd_ocr/ppocr_img/fonts/simfang.ttf')
            im_show = draw_ocr(image, boxes, txts, scores, font_path='/work/ppocr_img/fonts/simfang.ttf')
            im_show = Image.fromarray(im_show)
            im_show.save('result.jpg')
    except Exception as e:
        print(f"Error!")
        print(f"Error: {e}")

1)、PaddleOCR对象构建时设定use_gpu=True，出现coredump，日志如上面截图。
/root/Ascend/log日志如下，提示类型不支持：
[ERROR] OP(13821,python):2024-12-26-09:31:47.631.022 [cube_util.cpp:44][NNOP][CheckSocSupportDtype][13821] errno[161002] OpName:[aclnnConvolution_0] The soc version does not support bf16 / fp32 for calculations, please change the setting of cubeMathType or the Dtype of input tensor.
[ERROR] OP(13821,python):2024-12-26-09:31:47.631.173 [aclnn_convolution.cpp:1394][NNOP][Check][13821] errno[561000] OpName:[aclnnConvolution_0] check CheckCubeMathType(upperDtype, engine.params.cubeMathType) failed.
[ERROR] OP(13821,python):2024-12-26-09:31:47.631.180 [aclnn_convolution.cpp:1489][NNOP][CheckConvParams][13821] errno[561000] OpName:[aclnnConvolution_0] check ret == ACLNN_SUCCESS failed.
[ERROR] OP(13821,python):2024-12-26-09:31:47.631.186 [aclnn_convolution.cpp:2689][NNOP][aclnnConvolutionGetWorkspaceSize][13821] errno[161002] OpName:[aclnnConvolution_0] Check Param failed

将img修改为fp16类型，即修改推理代码如下：
img = np.asarray(img, dtype=np.float16)
result = ocr.ocr(img, cls=True)
运行未报错，但是完全没有输出结果，ascend日志未发现错误，运行日志如下截图：

2)、如设定use_gpu=False或不设置该参数，可以正常在CPU上运行，日志截图如下：

[jingsongliujing]

你这个是转的模型精度不对，ATC 转换的那步里,得手动指定一下精度,问题定位应该是模型转的精度和代码对不上，可以尝试一下

[bravelywang123]

你这个是转的模型精度不对，ATC 转换的那步里,得手动指定一下精度,问题定位应该是模型转的精度和代码对不上，可以尝试一下

没有转换模型，用来paddle npu插件：pip install paddle-custom-npu -i https://www.paddlepaddle.org.cn/packages/nightly/npu

[jingsongliujing]

这个插件只支持910B吧，建议推理还是转成相关的推理：可以参考昇腾官方给的实例整合一下：
分类模型：https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/ACL_PyTorch/contrib/cv/classfication/ch_ppocr_mobile_v2.0_cls

文本检测：https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/ACL_PyTorch/contrib/cv/detection

文本识别：https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/ACL_PyTorch/contrib/nlp

[GreatV]

根据您描述的 "昇腾310P3运行PaddleOCR出现coredump" 问题，结合提供的日志信息和运行环境，我们可以分析出以下问题的可能原因及解决方案：

---

问题分析

1. CANN版本与PaddleOCR不兼容：

   • 日志中提到：

     The soc version does not support bf16 / fp32 for calculations, please change the setting of cubeMathType or the Dtype of input tensor.
     

     这表明当前的昇腾CANN（8.0.RC1）版本可能不支持某些数学计算类型（例如bf16或fp32），导致在运行OCR推理任务时发生冲突。

2. 模型输入精度问题：

   • 在将输入图像转换为fp16后，虽然没有报错，但也没有输出结果。这可能是模型的输入数据类型与昇腾硬件的计算需求不匹配。

3. 代码配置问题：

   • 您在代码中设置了use_npu=True，但默认的PaddleOCR模型可能并未针对昇腾NPU进行优化，导致推理时发生错误。

4. 硬件或驱动支持不完整：

   • CANN日志中的错误可能还与驱动或硬件环境有关。如果驱动版本（24.1.rc3）与CANN版本不完全匹配，也可能导致问题。

---

解决方案

1. 检查和升级环境

• 确保CANN版本与驱动版本兼容：

  • 当前使用的是CANN 8.0.RC1和驱动24.1.rc3。建议检查华为官方文档，确保这两个版本是兼容的。
  • 如果可以，升级到更高的稳定版本，例如CANN 8.0正式版或更新版本。

• 检查PaddleOCR和PaddlePaddle版本：

  • 当前使用的是paddle-custom-npu==3.0.0b2和paddleocr==2.8.1。
    • 确保paddle-custom-npu的版本与CANN支持的PaddlePaddle版本一致。
    • 尝试升级到最新的PaddleOCR版本以获得更好的兼容性。

2. 修改代码适配NPU

• 显式设置输入数据类型：

  • 根据CANN日志，尝试将输入图像转换为fp16后运行代码，但需要确保模型也支持该数据类型。

    img = np.asarray(img, dtype=np.float16)  # 确保图像为fp16格式
    result = ocr.ocr(img, cls=True)         # 执行推理

• 强制指定设备：

  • 确认paddle.device.get_device()正确返回npu:0，并在初始化PaddleOCR时强制指定设备。

    paddle.device.set_device("npu:0")
    ocr = PaddleOCR(use_angle_cls=True, lang="ch", use_npu=True)

3. 使用优化后的模型

• 下载支持NPU的模型：

  • 默认的PaddleOCR模型可能并未针对昇腾NPU优化。
  • 下载NPU版本的PaddleOCR模型，或者使用工具将模型转为昇腾支持的格式（如OM模型）。

• 优化模型计算精度：

  • 手动调整OCR模型的计算精度为FP16（需要使用昇腾提供的工具或PaddleOCR的优化接口）。

4. 验证环境配置

• 检查是否安装正确的插件：

  • 确保已经安装了paddle-custom-npu插件并正确加载：

    pip install paddle-custom-npu -i https://www.paddlepaddle.org.cn/packages/nightly/npu
    python -c "import paddle_custom_device; paddle_custom_device.npu.version()"

    输出应返回当前的NPU插件版本。

• 验证NPU设备是否可用：

  npu-smi info

  确保显示设备信息，并且NPU设备状态正常。

5. 替代方案：在CPU上运行

• 如果短期内无法解决NPU问题，可以暂时在CPU上运行OCR任务：
  • 将use_npu设置为False或直接省略，确保推理运行在CPU上：

    ocr = PaddleOCR(use_angle_cls=True, lang="ch", use_npu=False)

---

参考链接

1. PaddleOCR Issues - 使用教程代码做中文OCR识别时出现coredump
2. PaddleOCR 官方文档
3. 昇腾CANN用户指南

---

如果按上述解决方案仍无法解决问题，请提供更多日志信息，例如：

• 完整的CANN日志。
• 使用的具体PaddleOCR模型路径。
  这样可以更精准地定位问题并提供进一步的解决方案。

---

Response generated by feifei-bot | chatgpt-4o-latest