python进程间通信

2023-10-26

进程间通信表示进程之间的数据交换。 为了开发并行应用程序,需要在进程间交换数据。 下图显示了多个子过程之间同步的各种通信机制 -
在这里插入图片描述

各种通信机制

队列

队列可以用于多进程程序。 多处理模块的Queue类与Queue.Queue类相似。 因此,可以使用相同的API。 Multiprocessing.Queue提供了进程间通信的线程和进程安全FIFO(先进先出)机制。

例子

下面是一个简单的例子,从python官方文档多处理了解Queue类的多处理概念

from multiprocessing import Process, Queue
import queue
import random
def f(q):
   q.put([42, None, 'hello'])
def main():
   q = Queue()
   p = Process(target = f, args = (q,))
   p.start()
   print (q.get())
if __name__ == '__main__':
   main()

执行上面示例代码,得到以下结果 -

[42, None, 'hello']
管道

它是一种数据结构,用于在多进程程序中的进程之间进行通信。Pipe()函数返回一对由管道连接的连接对象,默认情况下是双工(双向)。 它的工作原理如下 -
它返回一对代表管道两端的连接对象。
每个对象都有两个方法 - send()和recv(),以在进程之间进行通信。

例子

下面是一个简单的例子,摘自python官方文档多处理,以理解Pipe()函数的多进程概念

from multiprocessing import Process, Pipe

def f(conn):
   conn.send([42, None, 'hello'])
   conn.close()

if __name__ == '__main__':
   parent_conn, child_conn = Pipe()
   p = Process(target = f, args = (child_conn,))
   p.start()
   print (parent_conn.recv())
   p.join()

执行上面代码,得到以下结果 -

[42, None, 'hello']
管理器

Manager是一类多处理模块,它提供了一种协调所有用户之间共享信息的方式。管理器对象控制服务器进程,该进程管理共享对象并允许其他进程操纵它们。 换句话说,管理器提供了一种方法来创建可以在不同进程之间共享的数据。 以下是Manager对象的不同属性 -

  • 管理器的主要属性是控制管理共享对象的服务器进程。
  • 另一个重要属性是在任何进程修改它时更新所有共享对象。
例子

以下是使用管理器对象在服务器进程中创建列表记录,然后在该列表中添加新记录的示例。

import multiprocessing

def print_records(records):
   for record in records:
      print("Name: {0}\nScore: {1}\n".format(record[0], record[1]))

def insert_record(record, records):
   records.append(record)
      print("A New record is added\n")

if __name__ == '__main__':
   with multiprocessing.Manager() as manager:

      records = manager.list([('Computers', 1), ('Histoty', 5), ('Hindi',9)])
      new_record = ('English', 3)

      p1 = multiprocessing.Process(target = insert_record, args = (new_record, records))
      p2 = multiprocessing.Process(target = print_records, args = (records,))
      p1.start()
      p1.join()
      p2.start()
      p2.join()

执行上面代码,得到以下结果 -

A New record is added

Name: Computers
Score: 1

Name: Histoty
Score: 5

Name: Hindi
Score: 9

Name: English
Score: 3
管理器命名空间的概念

Manager类带有名称空间的概念,这是一种在多个进程间共享多个属性的快速方法。 命名空间不具有任何可以调用的公共方法,但它们具有可写的属性。

例子

以下Python脚本示例如何使用命名空间在主进程和子进程之间共享数据 -

import multiprocessing

def Mng_NaSp(using_ns):

   using_ns.x +=5
   using_ns.y *= 10

if __name__ == '__main__':
   manager = multiprocessing.Manager()
   using_ns = manager.Namespace()
   using_ns.x = 1
   using_ns.y = 1

   print ('before', using_ns)
   p = multiprocessing.Process(target = Mng_NaSp, args = (using_ns,))
   p.start()
   p.join()
   print ('after', using_ns)

执行上面示例代码,得到以下结果 -

before Namespace(x = 1, y = 1)
after Namespace(x = 6, y = 10)
Ctypes数组和值

Multiprocessing模块提供了Array和Value对象,用于将数据存储在共享内存映射中。 Array是从共享内存分配的Array和Value是从共享内存分配的ctypes对象。
Multiprocessing模块导入Process,Value,Array。

例子

下面的Python脚本是一个从python文档中获取的例子,它利用Ctypes Array和Value在进程间共享一些数据。

def f(n, a):
   n.value = 3.1415927
   for i in range(len(a)):
   a[i] = -a[i]

if __name__ == '__main__':
   num = Value('d', 0.0)
   arr = Array('i', range(10))

   p = Process(target = f, args = (num, arr))
   p.start()
   p.join()
   print (num.value)
   print (arr[:])

执行上面示例代码,得到以下结果 -

3.1415927
[0, -1, -2, -3, -4, -5, -6, -7, -8, -9]
顺序进程(CSP)

CSP用于说明系统与具有并行模型的其他系统的交互。 CSP是通过消息传递编写并发或编程的框架,因此它对于描述并发是有效的

Python PyCSP库

要实现在CSP中找到的核心原语,Python有一个名为PyCSP的库。 它使实现非常简短和易读,因此可以非常容易地理解它。 以下是PyCSP的基本流程网络 -
在这里插入图片描述

在上面的PyCSP过程网络中,有两个过程 - 进程1和进程2。这些过程通过传递消息通过两个通道 - 通道1和通道2进行通信

安装PyCSP

通过以下命令来安装Python的PyCSP库 -

pip install PyCSP
例子

下面的Python脚本是一个简单的例子,它可以并行运行两个进程。 它是在PyCSP库的帮助下完成的

from pycsp.parallel import *
import time
@process
def P1():
   time.sleep(1)
   print('P1 exiting')
@process
def P2():
   time.sleep(1)
   print('P2 exiting')
def main():
   Parallel(P1(), P2())
   print('Terminating')
if __name__ == '__main__':
   main()

在上面的脚本中,已经创建了两个函数,即P1和P2,然后用@process进行装饰,将它们转换为进程。执行上面代码后,得到以下输出结果 -

P2 exiting
P1 exiting
Terminating
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

python进程间通信 的相关文章

随机推荐

  • 怎么判断私网地址_如何判断一个IP地址是私有地址

    如何判断一个IP地址是私有地址 首先 我们得先了解什么是私有地址 本文所指的IP地址 皆是IPV4 一个IPV4地址 由四段组成 最大值为255 一个IP地址其实就是一个32位的bit串 每8位一段 所谓私有地址 就是非注册地址 只能做内网
  • char数组和指针问题

    这个问题是C 基础问题中相当折腾人的一个 死记硬背解决不了根本问题 记住还是要忘 需要仔细研究其本质 这两种方式就是数组和指针的方式 char a 6 abcde char b abcde 第一行声明了并初始化了一个char数组 第二行是声
  • 从传统软件开发到云原生转型:大数据和AI如何引领软件开发的新趋势

    文章目录 1 数据驱动的开发 2 智能化的用户体验 3 云原生的可扩展性 4 实时处理和决策 5 自动化和效率提升 6 持续集成和交付的加速 7 数据安全和隐私 8 持续学习和创新 个人主页 程序员 小侯 CSDN新晋作者 欢迎 点赞 评论
  • C语言:IP地址

    题目 include
  • C6385:从“buffer”中读取的数据无效: 可读大小为“recv()`72”个字节,但可能读取了“25”个字节。

    C 网络编程中接收结构体对象遇到的问题 想从客户端发送一个结构体对象到服务器 在网上查询后发现可以在客户端用memcpy把结构体拷贝到字符串上发送给客户端 再在客户端把字符串转化为结构体 具体代码如下 结构体 typedef struct
  • 算法知识之最长公共子序列问题(动态规划)

    最近朋友让帮做个关于动态规划的最长公共子序列的问题 翻看以前的笔记并完成该题后 顺便写这样一篇文章 希望对大家有所帮助 同时也帮助自己回顾该知识点 一 最长公共子序列的定义 子序列 若给定序列X x1 x2 xm 则另一序列Z z1 z2
  • 刷脸支付必定是站在时代舞台中央的新星

    2020年初这场突如其来的疫情 打乱了各行各业的节奏 据2019年中国刷脸支付技术应用社会价值专题研究报告预计 2022年刷脸支付市场规模将突破7 6亿人 这说明现在大家习惯的支付是扫码支付 而一两年后人们将形成全新的支付习惯 刷脸支付 疫
  • 【布局 Widget】 Flutter SizedBox

    Flutter Sizedbox 是一个 布局组件 用来给 child 添加 tight 约束的 也可以用来添加空白 width height是 Sizedbox 的参数 BoxConstraints get additionalConst
  • 用户名 不在 sudoers文件中,此事将被报告。

    sudo password for lkp lkp 不在 sudoers 文件中 此事将被报告 sudo命令可以让你以root身份执行命令 来完成一些我们这个帐号完成不了的任务 其实并非所有用户都能够执行sudo 因为有权限的用户都在 et
  • CTFshow web1~8 WP Write by SunnyDog

    文章目录 web签到题 查看源码 web2 SQL注入 web3 input伪协议 log注入 Web4 log注入 Web5 代码审计 Web6 SQL注入 但是过滤 Web7 SQL注入 Web8 脚本布尔盲注 web签到题 查看源码
  • 解决:c++: internal compiler error: Killed (program cc1plus)

    TOC 解决 c internal compiler error Killed program cc1plus 1 出现问题 博主在VMware虚拟机中安装sophus库 执行make命令时出现错误 如下图所示 2 分析问题 多方查找 确定
  • 文件自动化处理

    文件自动化处理 1 1 读写文件 1 1 1 文件与文件路径 1 1 2 当前工作目录 1 1 3 路径操作 1 1 3 1 绝对路径和相对路径 1 1 3 2 路径操作 1 1 3 3 路径有效性检查 1 1 4 文件及文件夹操作 1 1
  • 光线追踪算法

    文章目录 光线追踪算法 1 光线追踪算法介绍 2 光线追踪算法重要的公式 3 光线追踪算法在matlab中的应用实例 4 光线追踪算法在Lingo中的应用实例 5 个人感悟 光线追踪算法 1 光线追踪算法介绍 光线追踪算法是一种基于物理光线
  • Android--自定义数字输入框

    工具类 前台页面 keyboadview xml 键盘页面 Java后台 KeyboardPopupWindow 步骤 1 initView 每自定义一个数字输入框 方法内部的代码都要重写并绑定相应输入框控件 2 onKeyDown int
  • 城市扩张对生境质量影响评价与生态安全格局构建—以黄河流域“几”字弯为例

    1 亮点 以高生境质量为 源地 构建生态廊道 城市扩张对生境质量的影响是异质的 提出 几 字弯 两屏三廊七区 的生态格局 2 关键词 城市扩张 生境质量 生态安全格局 城市化 InVEST模型 MCR模型 可持续发展目标 干旱地区 3 摘要
  • awk命令详解

    http www cnblogs com serendipity archive 2011 08 01 2124118 html 简单使用 awk 对于文件中一行行的独处来执行操作 awk F print 1 4 使用 来分割这一行 把这一
  • 二维我的世界源代码(c++)

    include
  • C++ 多线程:互斥量(mutex)

    C 11中的互斥量 声明在
  • Linux命令_pstree & 显示进程树

    目录 1 语法 1 1 常用参数 2 常见用法 2 1 指定PID 2 2 指定用户 2 3 显示某个进程详细信息 2 4 指定查看某个进程的父进程 1 语法 pstree 参数 pstree 参数 PID pstree 参数 USER 1
  • python进程间通信

    进程间通信表示进程之间的数据交换 为了开发并行应用程序 需要在进程间交换数据 下图显示了多个子过程之间同步的各种通信机制 各种通信机制 队列 队列可以用于多进程程序 多处理模块的Queue类与Queue Queue类相似 因此 可以使用相同