【记录】.NET 利用 Native AOT 导出函数配合 python 的多进程模块大幅加速程序运行效率

[nilaoda]

前言

最近优化一个由 C# 编写的解密程序，经过一系列技巧优化后，提升幅度在 50% 左右，但还是达不到一个很好的速度（此时 CPU 占用率仅为 5% 左右），然而又不想用 C++ 重写一遍……

想到上一篇帖子的多进程加速，python 的 multiprocessing 模块实在是太方便了~ 既然如此，何不利用 Native AOT 来导出原生的 C 库，进而使用 python 进行调用呢？

编写类库

新建一个类库项目

起个名字

这里我用了 .NET8 ，最低可以是 .NET7

编辑 NativeLibraryTest.csproj 文件，开启 AOT 编译和允许使用 unsafe 代码：

<Project Sdk="Microsoft.NET.Sdk">

  <PropertyGroup>
    <TargetFramework>net8.0</TargetFramework>
    <ImplicitUsings>enable</ImplicitUsings>
    <Nullable>enable</Nullable>
    <PublishAot>true</PublishAot>
    <AllowUnsafeBlocks>true</AllowUnsafeBlocks>
  </PropertyGroup>

</Project>

编写调用程序，并使用 UnmanagedCallersOnly 显式声明导出函数名：

using System.Runtime.CompilerServices;
using System.Runtime.InteropServices;
using System.Text;

namespace NativeLibraryTest
{
    public class Class1
    {
        [UnmanagedCallersOnly(EntryPoint = "DecryptData")]
        public static unsafe void DecryptData(void* pData, uint dataSize, void* pKey, uint keySize)
        {
            byte[] encData = new byte[dataSize];
            fixed (byte* destDataPtr = encData)
            {
                // 从 pData 指针位置复制数据到 encData
                Unsafe.CopyBlockUnaligned(destDataPtr, pData, dataSize);
            }

            byte[] key = new byte[keySize];
            fixed (byte* destDataPtr = key)
            {
                // 从 pKey 指针位置复制数据到 key
                Unsafe.CopyBlockUnaligned(destDataPtr, pKey, keySize);
            }

            // 在这里调用正常的解密函数
            var decData = new Decryptor(key).GetDecryptedData(key, encData);

            fixed (byte* src = decData)
            {
                // 把 decData 中的数据复制到 pKey 指针位置
                Unsafe.CopyBlockUnaligned(pData, src, dataSize);
            }
        }
    }
}

在项目目录下执行以下命令进行编译：

dotnet publish -r win-x64 -c Release

等待编译完成后即可得到 NativeLibraryTest.dll，可以看到其导出函数：

python 调用

调用就很简单了，直接上代码：

from ctypes import *

def dec_for_bytes(key_data: bytes, in_data: bytes) -> bytes:
    # 加载C库
    mylib = cdll.LoadLibrary(r"NativeLibraryTest.dll")
    # 定义C函数的参数和返回类型
    mylib.DecryptData.argtypes = (POINTER(c_byte), c_int, POINTER(c_byte), c_int)
    mylib.DecryptData.restype = None

    # 将in_data数组转换为ctypes的数组类型
    data_array = (c_byte * len(in_data)).from_buffer_copy(in_data)
    # 将key_data数组转换为ctypes的数组类型
    key_array = (c_byte * len(key_data)).from_buffer_copy(key_data)

    # 调用C函数，传递指针和长度
    mylib.DecryptData(data_array, len(in_data), key_array, len(key_data))

    # 获取修改后的数据
    return data_array

速度对比

单进程解密：

多进程解密：