C#调用Python脚本训练并生成AI模型(以Paddle框架为例)

2023-10-30


在平常工程项目开发过程中常常会涉及到机器学习、深度学习算法方面的开发任务,但是受限于C#等语言官方并没有提供预编译包,因此需要通过嵌入代码、调用dll、调用exe等方式。本文总结C#调用Python脚本训练并生成AI模型的各种方法。
环境说明:

CPU:AMD5800 8core 16Thread
GPU:NVIDIA GTX1080Ti
OS:Windows10 专业版
Visual Studio 2019 : .NET SDK 6.0.402(x64)
Windows SDK:Windows 10.0.19041.685

一. C#调用通过IronPython语言移植

1.1 IronPython安装

IronPython 是一种在 NET 和 Mono 上实现的 Python 语言,用于将更多的动态语音移植到NET Framework上。
需要从Visual Studio上打开,安装方式:工具-> NuGet包管理器->管理解决方案的NuGet程序包->搜索框输入IronPython ->选择项目后点击安装在这里插入图片描述

1.2 示例代码

CSharpCallPython.cs(C#控制台程序)

using IronPython.Hosting;
using Microsoft.Scripting.Hosting;
using System;
 
namespace CSharpCallPython
{
    class Program
    {
        static void Main(string[] args)
        {
            ScriptEngine pyEngine = Python.CreateEngine();//创建Python解释器对象
            dynamic py = pyEngine.ExecuteFile(@"test.py");//读取脚本文件
            int[] array = new int[9] { 9, 3, 5, 7, 2, 1, 3, 6, 8 };
            string reStr = py.main(array);//调用脚本文件中对应的函数
            Console.WriteLine(reStr);
 
            Console.ReadKey();
        }
    }
}

Python文件test.py需要放在项目的bin/Debug也就是生成exe的目录下:
在这里插入图片描述
test.py

def main(arr):
    try:
        arr = set(arr)
        arr = sorted(arr)
        arr = arr[0:]
        return str(arr)
    except Exception as err:
        return str(err)

1.3 运行结果

在这里插入图片描述

1.4 特点

ironPython安装包仅适用于python脚本中不包含第三方模块的情况,且需要客户机上有Python环境

二. C#调用Python文件打包dll

2.1 步骤

2.1.1 Cython生成python脚本预编译头文件

新建一个目录,命名为"mytest2",在目录mytest2下面先编写一个名为dl.py的python源代码文件:

def str_add(str1, str2):
  return int(str1) + int(str2)

函数很简单,就是将两个字符串转换成int后相加。
在目录mytest2下面再编写一个名为run.pyx的PYX文件:

cdef public int str_add(const char* str1,const char* str2):
  return int(str1) + int(str2)

这两行的含义是将Python中的def改写为cdef,同时加入public的声明。
之后在conda环境中使用Cython运行run.pyx文件得到两个预编译头文件run.c和run.h:
在这里插入图片描述

2.1.2 创建windows项目并编写源文件

新建一个C++ 控制台程序,在源文件中新建一个名为DllMain.cpp 的文件,用于生成dll。在Visual Studio的项目栏头文件一列中加入run.crun.h两个文件:
在这里插入图片描述

DllMain.cpp

#include <Python.h>
#include <Windows.h>
#include "run.h"

extern "C"
{
    __declspec(dllexport) int __stdcall _str_add(const char* a, const char* b) //声明导出函数,类,对象等供外面使用
    {
        return str_add(a, b);
    }
}
BOOL WINAPI DllMain(HINSTANCE hinstDLL, DWORD fdwReason, LPVOID lpReserved) {
    switch (fdwReason) {
    case DLL_PROCESS_ATTACH:
        Py_Initialize();
        PyInit_run();  //dll初始化的时候调用,这是python3的写法,python2改成,initrun()。参见生成的run.h
        break;
    case DLL_PROCESS_DETACH:
        Py_Finalize();
        break;
    }
    return TRUE;
}

其中extern "C"这一部分相当于cpp编译器对.c文件编译时的特殊标识,相当于定义了一个区别于.cpp文件中的str_add函数(如果同名的话);PyInit_run()在run.c中有对应的函数定义。

2.1.3 配置项目属性

首先选择Release模式,平台选择活动(x64)
项目->属性->VC++目录->包含目录->中加入Conda虚拟环境的include路径:
在这里插入图片描述
项目->属性->VC++目录->库目录->加入Conda虚拟环境的libs路径`:
在这里插入图片描述

然后项目属性链接器->输入->附加依赖项->选择加入Conda虚拟环境的libs路径`:
在这里插入图片描述

配置属性->常规->配置类型->选择dll
在这里插入图片描述
C/C++->常规->附加包含目录->加入include目录在这里插入图片描述

2.1.4 运行项目生成dll

生成后的dll路径在项目名/x64/Realease中。
在这里插入图片描述

2.1.5 测试生成的dll

新建一个C++控制台项目,建立源文件Demo.cpp用于加载dll做测试。项目同样选择Release模式和**(活动)x64**平台:
Demo.cpp

#include <Windows.h>
#include <iostream>
#include <tchar.h>
using namespace std;
int main()
{
    typedef int(*pAdd)(const char* a, const char* b);
    // python_to_DLL.dll为你的dll名字,注意修改
    HINSTANCE hDLL = LoadLibrary(_T("E:\Fileresipority\project\LeiKe\Demo09\Demo09\Demo08.dll"));
    cout << "hDLL:" << hDLL << endl;
    if (hDLL)
    {
        // 获取DLL中需要调用的函数的地址
        pAdd pFun = (pAdd)GetProcAddress(hDLL, "_str_add");
        cout << "pFun:" << pFun << endl;
        const char* stra = "12";
        const char* strb = "22";
        if (pFun)
        {
            int i = pFun(stra, strb);
            cout << "i = " << i << endl;
        }
    }
    // 调用dll测试
    //将字符变成int然后相加
    system("pause");
    return 0;
}

C/C++->高级->编译为->选择编译为C++代码 :
在这里插入图片描述
编译运行后加载dll并输出结果:
在这里插入图片描述

2.2 限制

实现方式很复杂,并且受python版本、(python/vs)32/64位影响,而且要求用户必须有python运行环境

三. C#命令行调用.py文件执行

3.1 代码

AI模型这里使用Paddle框架的PaddleX工具快速训练并生成模型文件(以蔬菜分类为例),有关PaddleX的使用详见我的《深度学习》专栏。
Test.cs(C#控制台程序)

using System;
using System.Collections;
using System.Diagnostics;

namespace Test
{
    class Program
    {
        static void Main(string[] args)
        {
            Process p = new Process();
            string path = @"E:\Fileresipority\project\LeiKe\Demo02\Demo02\bin\Debug\reset_ipc.py";//待处理python文件的路径,本例中放在debug文件夹下
            string sArguments = path;
            p.StartInfo.FileName = @"D:\Anaconda\envs\paddle2.2\python.exe"; //PaddleX环境中对应python3.7的安装路径
            p.StartInfo.Arguments = sArguments;//python命令的参数
            p.StartInfo.UseShellExecute = false;
            p.StartInfo.RedirectStandardOutput = true;
            p.StartInfo.RedirectStandardInput = true;
            p.StartInfo.RedirectStandardError = true;
            p.StartInfo.CreateNoWindow = true;
            p.Start();//启动进程

            Console.WriteLine("执行完毕!");

            Console.ReadKey();
        }
    }
}

reset_ipc.py

import paddle
import paddlex as pdx
from paddlex import transforms as T



# 定义训练和验证时的transforms
# API说明:https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/apis/transforms/transforms.md
train_transforms = T.Compose(
    [T.RandomCrop(crop_size=224), T.RandomHorizontalFlip(), T.Normalize()])

eval_transforms = T.Compose([
    T.ResizeByShort(short_size=256), T.CenterCrop(crop_size=224), T.Normalize()
])

# 定义训练和验证所用的数据集
# API说明:https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/apis/datasets.md
train_dataset = pdx.datasets.ImageNet(
    data_dir='../vegetables_cls/',
    file_list='../vegetables_cls/train_list.txt',
    label_list='../vegetables_cls/labels.txt',
    transforms=train_transforms,
    shuffle=True)

eval_dataset = pdx.datasets.ImageNet(
    data_dir='../vegetables_cls/',
    file_list='../vegetables_cls/val_list.txt',
    label_list='../vegetables_cls/labels.txt',
    transforms=eval_transforms)

# 初始化模型,并进行训练
# 可使用VisualDL查看训练指标,参考https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/visualdl.md
num_classes = len(train_dataset.labels)
model = pdx.cls.MobileNetV3_large(num_classes=num_classes)

# 自定义优化器:使用CosineAnnealingDecay
train_batch_size = 32
num_steps_each_epoch = len(train_dataset) // train_batch_size
num_epochs = 10
scheduler = paddle.optimizer.lr.CosineAnnealingDecay(
    learning_rate=.001, T_max=num_steps_each_epoch * num_epochs)
warmup_epoch = 5
warmup_steps = warmup_epoch * num_steps_each_epoch
scheduler = paddle.optimizer.lr.LinearWarmup(
    learning_rate=scheduler,
    warmup_steps=warmup_steps,
    start_lr=0.0,
    end_lr=.001)
custom_optimizer = paddle.optimizer.Momentum(
    learning_rate=scheduler,
    momentum=.9,
    weight_decay=paddle.regularizer.L2Decay(coeff=.00002),
    parameters=model.net.parameters())

# API说明:https://github.com/PaddlePaddle/PaddleX/blob/95c53dec89ab0f3769330fa445c6d9213986ca5f/paddlex/cv/models/classifier.py#L153
# 各参数介绍与调整说明:https://paddlex.readthedocs.io/zh_CN/develop/appendix/parameters.html
model.train(
    num_epochs=num_epochs,
    train_dataset=train_dataset,
    train_batch_size=train_batch_size,
    eval_dataset=eval_dataset,
    optimizer=custom_optimizer,
    save_dir='output/mobilenetv3_large',
    use_vdl=True)

3.3 运行结果

在这里插入图片描述

3.4 特点

优点:适用于python脚本中包含第三方模块的情况,且执行速度只比在python本身环境中慢一点,步骤也相对简单。
缺点:需要用户有python环境

四. C#调用Python可执行exe

4.1 步骤

使用命令行进行传参取返回值

4.1.1 使用pyinstaller打包python程序

安装pyInstaller:

pip install pyInstaller

在这里插入图片描述
打包训练模型的py文件:

pyInstaller -F reset_ipc.py

在这里插入图片描述
打包的过程非常漫长,可见深度学习的python程序非常臃肿。
运行成功后在dist 目录下有reset_ipc.exe文件生成:在这里插入图片描述

4.1.2 在c#中调用此exe文件

Demo02.cs

namespace WpfTest2
{
    /// <summary>
    /// MainWindow.xaml 的交互逻辑
    /// </summary>在这里插入图片描述

    public partial class MainWindow : Window
    {
        public MainWindow()
        {
            InitializeComponent();
        }

        private void Button_Click(object sender, RoutedEventArgs e)
        {
            //string debugPath = System.Environment.CurrentDirectory;           //此c#项目的debug文件夹路径
            string pyexePath = @"E:\Fileresipority\project\LeiKe\dist\reset_ipc.exe";     
            //python文件所在路径,一般不使用绝对路径,此处仅作为例子,建议转移到debug文件夹下
            
            Process p = new Process();
            p.StartInfo.FileName = pyexePath;//需要执行的文件路径
            p.StartInfo.UseShellExecute = false; //必需
            p.StartInfo.RedirectStandardOutput = true;//输出参数设定
            p.StartInfo.RedirectStandardInput = true;//传入参数设定
            p.StartInfo.CreateNoWindow = true;
            p.StartInfo.Arguments = "2 3";//参数以空格分隔,如果某个参数为空,可以传入””
            p.Start();
            string output = p.StandardOutput.ReadToEnd();
            p.WaitForExit();//关键,等待外部程序退出后才能往下执行}
            Console.Write(output);//输出
            p.Close();        
        }
    }
}

在这里插入图片描述

打包显示成功了,但运行结果不太理想,事实证明打包深度学习的exe不是很容易:

在这里插入图片描述

4.2 特点

优点:无需安装python运行环境
缺点:
1、可能是因为要展开exe中包含的python环境,执行速度很慢
2、因为是命令行传参形式,需要手动传参:。
3、深度学习项目打包困难。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

C#调用Python脚本训练并生成AI模型(以Paddle框架为例) 的相关文章

  • HttpClient 像浏览器一样请求

    当我通过 HttpClient 类调用网站 www livescore com 时 我总是收到错误 500 可能服务器阻止了来自 HttpClient 的请求 1 还有其他方法可以从网页获取html吗 2 如何设置标题来获取html内容 当
  • .Net Core / 控制台应用程序 / 配置 / XML

    我第一次尝试使用新的 ConfigurationBuilder 和选项模式进入 Net Core 库 这里有很多很好的例子 https docs asp net en latest fundamentals configuration ht
  • 使用安全函数在 C 中将字符串添加到字符串

    我想将文件名复制到字符串并附加 cpt 但我无法使用安全函数 strcat s 来做到这一点 错误 字符串不是空终止的 我确实设置了 0 如何使用安全函数修复此问题 size strlen locatie size nieuw char m
  • Windows 窗体不会在调试模式下显示

    我最近升级到 VS 2012 我有一组在 VS 2010 中编码的 UI 测试 我试图在 VS 2012 中启动它们 我有一个 Windows 窗体 在开始时显示使用 AssemblyInitialize 属性运行测试 我使用此表单允许用户
  • Windows 10 中 Qt 桌面应用程序的缩放不当

    我正在为 Windows 10 编写一个简单的 Qt Widgets Gui 应用程序 我使用的是 Qt 5 6 0 beta 版本 我遇到的问题是它根本无法缩放到我的 Surfacebook 的屏幕上 这有点难以判断 因为 SO 缩放了图
  • 在 MacO 和 Linux 上安装 win32com [重复]

    这个问题在这里已经有答案了 我的问题很简单 我可以安装吗win32com蟒蛇API pywin32特别是 在非 Windows 操作系统上 我一直在Mac上尝试多个版本pip install pywin32 都失败了 下面是一个例子 如果你
  • .NET 选项将视频文件流式传输为网络摄像头图像

    我有兴趣开发一个应用程序 它允许我从 xml 构建视频列表 包含视频标题 持续时间等 并将该列表作为我的网络摄像头流播放 这意味着 如果我要访问 ustream tv 或在实时通讯软件上激活我的网络摄像头 我的视频播放列表将注册为我的活动网
  • 导入错误:没有名为 google.auth 的模块

    当我尝试导入时firebase admin in python 2 7我收到错误 导入错误 没有名为 google auth 的模块 这是Docker文件 https github com ammaratef45 Attendance bl
  • 如何在与应用程序初始化文件不同的文件中迭代 api 路由

    我有一个 apiroutes py 文件 其中定义了许多路由 例如 api route api read methods GET api route api write methods POST 其中 api 是导入 from import
  • 用 C 实现 Unix shell:检查文件是否可执行

    我正在努力用 C 语言实现 Unix shell 目前正在处理相对路径的问题 特别是在输入命令时 现在 我每次都必须输入可执行文件的完整路径 而我宁愿简单地输入 ls 或 cat 我已经设法获取 PATH 环境变量 我的想法是在 字符处拆分
  • 查找给定节点的最高权重边

    我在 NetworkX 中有一个有向图 边缘的权重从 0 到 1 表示它们发生的概率 网络连通性非常高 所以我想修剪每个节点的边缘 只保留最高概率的节点 我不确定如何迭代每个节点并仅保留最高权重in edges在图中 有没有一个networ
  • 将日期参数传递给对 MVC 操作的 ajax 调用的安全方法

    我有一个 MVC 操作 它的参数之一是DateTime如果我通过 17 07 2012 它会抛出一个异常 指出参数为空但不能有空值 但如果我通过01 07 2012它被解析为Jan 07 2012 我将日期传递给 ajax 调用DD MM
  • 全局变量是 None 而不是实例 - Python

    我正在处理Python 中的全局变量 代码应该可以正常工作 但是有一个问题 我必须使用全局变量作为类的实例Back 当我运行应用程序时 它说 back is None 这应该不是真的 因为第二行setup 功能 back Back Back
  • 已过时 - OpenCV 的错误模式

    我正在使用 OpenCV 1 进行一些图像处理 并且对 cvSetErrMode 函数 它是 CxCore 的一部分 感到困惑 OpenCV 具有三种错误模式 叶 调用错误处理程序后 程序终止 Parent 程序没有终止 但错误处理程序被调
  • 如何在sphinx中启用数学?

    我在用sphinx http sphinx pocoo org index html与pngmath http sphinx pocoo org ext math html module sphinx ext pngmath扩展来记录我的代
  • 如何禁止 celery 中的 pickle 序列化

    Celery 默认使用 pickle 作为任务的序列化方法 如中所述FAQ http ask github com celery faq html isn t using pickle a security concern 这代表一个安全漏
  • TypeError:无法使用抽象方法实例化抽象类 <...>

    这是我的代码 from abc import ABC from abc import abstractmethod class Mamifiero ABC docstring for Mamifiero def init self self
  • 如何使用 ReactiveList 以便在添加新项目时更新 UI

    我正在创建一个带有列表的 Xamarin Forms 应用程序 itemSource 是一个reactiveList 但是 向列表添加新项目不会更新 UI 这样做的正确方法是什么 列表定义 listView new ListView var
  • 来自 django 教程 was_published_recently.admin_order_field = 'pub_date'

    From Django 教程 https www jetbrains com help pycharm 2017 1 creating and running your first django project html d28041e21
  • 使用 Python 生成类似于 Messenger 或 kik 代码的圆形二维码

    我可以使用 Python 生成圆形 QR 码 就像 Facebook Messenger 或 kik 使用的那样吗 我访问了很多网站 但找不到这种类型的二维码 默认情况下 Python 生成方形 QR 码 但在我的项目中我想要圆形 QR 码

随机推荐

  • Python3,10行代码,训练聊天机器人,咱也能让机器人说多国语言。

    这里写目录标题 1 引言 2 代码实战 2 1 安装 2 2 ChatterBot介绍 2 2 实战 3 总结 1 引言 小屌丝 鱼哥 你还欠我点东西 小鱼 额 我还欠南北呢我 小屌丝 你确定不欠啊 小鱼 这还有确定 这是必须 一定 以及肯
  • Ai-WB2模组与手机建立基于Gatt的连接,实现在UART-Bluetooth LE透传模式下传输数据

    目录 前言 一 准备工作 二 使用步骤 1 正确烧录固件验证上电信息 2 配置蓝牙信息 3 手机打开nRF Connect连接蓝牙 4 数据传输 1 手机上报发送数据给模块 模块接收到的数据通过串口打印 2 模块发送数据至手机 联系我们 前
  • 时间格式化及操作(moment.js篇)

    moment js 获取当前时间 返回当前时间moment 时间对象 moment moment new Date 返回当前时间毫秒数 moment valueOf Date now new Date getTime new Date va
  • windows配置DNS

    文章目录 DNS SERVICE配置工作任务 1 安装及配置 DNS 服务 2 创建必要的ChinaSkills cn正向区域 添加必要的域名解析记录 3 配置TXT记录 配置主时间控制服务记录 配置域名反向PTR 4 为当前域网络创建反向
  • Leetcode——长度最小的子数组 / 最短无序连续子数组 / 和为k的连续子数组

    1 长度最小的子数组 1 暴力 使用两个 for 循环 一个 for 循环固定一个数字比如 m 另一个 for 循环从 m 的下一个元素开始累加 当和大于等于 s 的时候终止内层循环 顺便记录下最小长度 class Solution pub
  • fpga ram初始化文件coe与mif

    在FPGA设计中ram是最常用的ip 一般工程中会用到多个ram 使用文件初始化ram 可以为调试带来很多便利 下面就分别介绍一下 使用coe初始化xilinx fpga ram和使用mif文件初始化intel fpga ram的方法 xi
  • 机器学习第十章利用k-均值聚类算法对未标注数据进行分组

    文章目录 引言 10 1k 均值聚类算法 10 2使用后处理来提高聚类性能 10 3二分k 均值算法 10 4小结 引言 聚类是一种无监督的学习 它将相似的对象归到同一个簇中 簇内的对象越相似 聚类的效果越好 K 均值 K means K
  • unity读取Json文件

    这里说的unity读取Json文件 简单来说就是在发布或者未发布时场景里有些数据是通过读取一个或多个外部文件来方便进行操作的 这样做有什么好处呢 就是发布之后方便修改而无需重复再打包 话不多说 1 首先你需要新建一个类 using Syst
  • 计算机地址怎么填写,电脑服务器名称或地址怎么填

    使用宽带路由器的话一般建议手工指定电脑的IP地址和DNS等参数 下面学习啦小编为大家整理了电脑服务器名称或地址怎么填写的内容 欢迎参阅 正确填写电脑IP地址和DNS参数名称 如果你使用的是Windows 2000或Windows XP系统
  • ztree自定义图标(iconSkin,iconClose,iconOpen)

    设计图 先放上ztree的api http www treejs cn v3 api php 首先是ztree的初始化 js文件的初始化 var obj name 福建省 id 1 iconOpen openurl iconClose cl
  • 云原生服务无状态(Stateless)特性的实现

    文章目录 为何要使用无状态服务 无状态服务的实现方法 1 会话状态外部化 2 负载均衡 3 自动伸缩 4 容器编排 5 数据存储 6 安全性 示例 使用Spring Boot实现无状态服务 结论 欢迎来到云计算技术应用专栏 云原生服务无状态
  • Java数组(复习)

    Java数组 数组 数组是指一种容器 可以用来存储同种数据类型的多个值 数组容器在存储数据的时候 需要结合隐士转换考虑 例如 int类型的数组容器 可以存储byte short int类型的数组 double类型的数组可以存储 byte s
  • 如何取消edge浏览器最新版,新增标签页的广告呢?

    今天我打开edge浏览器 快乐的写我的代码 突然发现 新建标签页的时候竟然这样 简直气煞我也 我不允许简洁的生活出现这种事 难道我又要换回谷歌 但是谷歌不能在线备份书签 我已经丢了很多次啦 于是我找到了这个 使用edge官方的插件库安装之后
  • 【JavaWeb】练习三

    一 简答题 1 gt 简述servlet的生命周期 第一次访问某个servlet的时候 tomcat容器会创建servlet实例 紧接着会调用init方法进行初始化 然后执行service方法 在父类中的service方法中判断请求是get
  • 从java环境配置到成功使用VOSviewer

    本文的目的是分享如何快速安装和使用VOSviewer B站包括csdn很多信息都是分散的 找资源会浪费很多时间 本文帮助小白快速高效的安装VOSviewer 第一步 下载安装包 下载方法一 如果电脑当中没有配置过java环境 可以参考下面的
  • C# 通过文件结构直接生成xls(Excel)文件

    以下代码演示了 直接通过excel可以识别的文件结构生成xls文件的方法 这样就可以不引用麻烦的ole了 using System using System Collections Generic using System Text nam
  • 安信可ESP32-CAM修改Web网页源代码

    提示 文章写完后 目录可以自动生成 如何生成可参考右边的帮助文档 安信可ESP32 CAM修改Web网页源代码 前言 一 使用CyberChef将数组转义成 HTML 二 使用CyberChef将 HTML转义成数组 参考 前言 安信可ES
  • 毕业设计-基于机器视觉的虹膜图像人眼定位及分类算法-yolo

    目录 前言 课题背景和意义 实现技术思路 一 算法基础 二 EL YOLO模型 实现效果图样例 最后 前言 大四是整个大学期间最忙碌的时光 一边要忙着备考或实习为毕业后面临的就业升学做准备 一边要为毕业设计耗费大量精力 近几年各个学校要求的
  • 两个蓝牙模块HC-05的主从机匹配

    两个蓝牙模块HC 05的主从机匹配 1 HC 05蓝牙模块知识 1 1 两种工作模式 1 2 进入命令响应工作模式 1 3 什么叫做置高一次PIO11 1 4 怎么区分进了命令响应工作模式呢 1 5 串口调试助手发送AT命令格式 2 AT命
  • C#调用Python脚本训练并生成AI模型(以Paddle框架为例)

    目录 一 C 调用通过IronPython语言移植 1 1 IronPython安装 1 2 示例代码 1 3 运行结果 1 4 特点 二 C 调用Python文件打包dll 2 1 步骤 2 1 1 Cython生成python脚本预编译