python程序越跑越慢与内存泄漏

2023-11-02

问题:运行python程序的时候,在100轮以后时间从初始的3S一次,慢慢变为1分钟一次,越来越慢。

处理方法:查询资料得,这种问题的出现基本是由于程序内存泄漏。所以需要监测内存占用情况。

监测内存需要: memory_profiler 与   psutil 

1. pip install memory_profiler         pip install psutil 

2. 在需要监测的程序前放入装饰器, 更多用法见memory_profiler的文档: https://pypi.org/project/memory-profiler/

例:

from memory_profiler import profile

@profile
def my_func():
    a = [1] * (10 ** 6)
    b = [2] * (2 * 10 ** 7)
    del b
    return a

3. 运行  python -m memory_profiler test.py

就会出现如下结果:

Line #    Mem usage    Increment   Line Contents
======================

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

python程序越跑越慢与内存泄漏 的相关文章

  • scikit学习逻辑回归方程

    我已经在 iris 数据集上运行了逻辑回归 直到这段代码我才清楚 之后我想形成方程来对测试数据进行评分 该怎么做 我知道我可以使用预测函数对测试进行评分 但是我想查看参数和各自的权重 能否请你帮忙 from sklearn import d
  • ODFPy 文档 [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我需要操作ODF文件格式 开放文档格式 开放办公室的内部格式 我需要用Python来完成 ODFPy
  • 如何使用 lstm 执行多类多输出分类

    I have multiclass multioutput classification see https scikit learn org stable modules multiclass html https scikit lear
  • Python:用中值替换异常值

    我有一个 python 数据框 其中有一些异常值 如果这些值不存在的话 我想用数据的中值替换它们 id Age 10236 766105 11993 288 9337 205 38189 88 35555 82 39443 75 10762
  • Pandas:根据其他多级列对最里面的列进行分组排序

    考虑下面的 df In 3771 df pd DataFrame A a 11 B b 11 C C1 C1 C2 C1 C3 C3 C2 C3 C3 C2 C2 D D1 D2 D1 D3 D3 D2 D4 D4 D1 D2 D3 E v
  • pandas:使用运算符链接过滤 DataFrame 的行

    大多数业务在pandas可以通过操作符链接来完成 groupby aggregate apply等 但我发现过滤行的唯一方法是通过普通的括号索引 df filtered df df column value 这没有吸引力 因为它需要我分配d
  • 如何在 django 表单中设置自定义 HTML 属性?

    我有一个 Django 表单 它是页面的一部分 假设我有一个字段 search input forms CharField u Search word required False 我只能通过模板访问它 form search input
  • Plotly - 不同颜色的表面

    我正在尝试在 Plotly for Python 中绘制多个曲面 每个曲面具有不同的颜色 具体来说 表面显示了在相空间中不同点采取行动的预测奖励函数 由于我在每个点都有多个可能的操作 因此每个点都是不同的表面 我想对每个表面进行独特的着色
  • 如何在python包中包含.pyx文件

    我在我的包中使用了 cythonpyirt https github com 17zuoye pyirt 但是当我将其发布到 pypi 时 pyx 文件不包含在 tar gz 中 我认为这一定与安装文件有关 但是 我找不到解决这个问题的方法
  • Pandas Dataframe.to_csv 小数=',' 不起作用

    在 Python 中 我正在将 Pandas Dataframe 写入 csv 文件 并希望将小数分隔符更改为逗号 像这样 results to csv D Data Kaeashi BigData ProcessMining Voorbe
  • 如何计算具有较大中间值的总和

    我想计算 for n m两个值都是 1000 以内的整数 最终结果是一个不大于 1000 的数字n但中间值对于 python 来说太大了 无法处理 你怎么解决这个问题 我将函数定义如下 from scipy misc import comb
  • python请求:重试直到收到有效响应

    我想知道是否存在重试请求一定次数的常见模式 可能由于服务器错误或网络不良而失败 我想出了这个 并且我愿意在那里找到更好的实现 cnt 0 while cnt lt 3 try response requests get uri if res
  • Django 自定义查询集过滤器

    在 Django 中 是否有一种标准方法可以为查询集编写复杂的自定义过滤器 就像我能写的一样 MyClass objects all filter field val 我想做这样的事情 MyClass objects all filter
  • os.path.expanduser("~") 的替代方案?

    在Python 2 7 x中 os path expanduser Unicode 已损坏 这意味着如果 的扩展中包含非 ASCII 字符 则会出现异常 http bugs python org issue13207 http bugs p
  • VS Code Pylance 不突出显示变量和模块

    我正在使用带有 Python 和 Pylance 扩展的 VS Code 我遇到的问题是 Pylance 扩展没有对模块和数据框等内容进行语法突出显示 我希望顶部的模块为绿色 df 变量为蓝色 我正在使用默认的深色 颜色主题 这是我的 VS
  • Django 1.6:如何在视图中访问静态文件

    我已经尝试过解决方案here https stackoverflow com questions 11721818 django get the static files url in view这对我不起作用 我正在为 Python 创建一
  • Python 中的“finally”总是执行吗?

    对于Python中任何可能的try finally块 是否保证finally块总是会被执行吗 例如 假设我在except block try 1 0 except ZeroDivisionError return finally print
  • 纯Python库读写jpeg格式

    伙计们 我正在寻找 jpeg 写入 阅读会很好 但不是必需的 库的纯 python 实现 我只在以下位置创建了 TonyJPEG 库端口 http mail python org pipermail image sig 2004 Novem
  • FileAllowed 不显示错误消息

    我正在使用 WTForms 我正在对文件上传应用验证 并将其限制为仅 jpg png 和 pdf 格式 但是 如果我输入不正确 则不会出现错误消息 我按照这个教程https flask wtf readthedocs io en stabl
  • 媒体文件上的 404 - Django

    昨晚我将项目上传到 pythonanywhere com 我想在那里测试我的项目生产设置 在我允许的模型之一中用户上传JPG 团队徽标 上传过程运行良好 文件位于我的 MEDIA ROOT 中 问题是 当我尝试在模板中访问它 以将其显示在页

随机推荐

  • pip install 国内镜像源

    pip install XXX i https pypi tuna tsinghua edu cn simple 常见国内镜像源 清华 https pypi tuna tsinghua edu cn simple 阿里云 http mirr
  • 2021年MathorCup高校数学建模挑战赛—大数据竞赛A题二手车估价问题求解全过程文档及程序

    2021年MathorCup高校数学建模挑战赛 大数据竞赛 A题 二手车估价问题 原题再现 随着我国的机动车数量不断增长 人均保有量也随之增加 机动车以 二手车 形式在流通环节 包括二手车收车 二手车拍卖 二手车零售 二手车置换等环节的流通
  • windows 的文件在linux下格式不对的问题。

    执行一个脚本wifi check sh 时 一直是提示我 bash wifi check sh bin bash M bad interpreter No such file or directory 出现上面错误的原因之一是脚本文件是DO
  • 中国移动董宁:深耕区块链的第八年,我仍期待挑战丨对话MVP

    区块链技术对于多数人来说还是 新鲜 的代名词时 董宁已经成为这项技术的老朋友 董宁2015年进入区块链领域 现任中国移动研究院技术总监 区块链首席专家 作为 老友 董宁见证了区块链技术多个爆发式增长和平稳发展的阶段 他将这些过总结为 螺旋式
  • 详细拆解数字化业务转型关键步骤,如何避开5种常见陷阱?

    在如今这个数据驱动发展的时代 大数据 人工智能 云计算等新一代信息技术的应用在不断深化 促使不同行业的生产组织方式 工作流程 商业模式等都在发生颠覆性的转变 加之突如其来的新冠疫情 对实体经济造成了巨大的冲击 不少线下企业开始转型线上 寻求
  • what's ARM TCM memory?

    TCM Tightly Coupled Memory is one or multiple small dedicated memory region that as the name implies is very close to th
  • 如何在页面中添加地图

    如何在页面中添加地图 百度地图开放平台 在本节案例中 我会向大家展示如何在页面中添加地图 前置准备 首先这里我选择百度地图API 首先你需要申请成为百度开发者点这里 接着你需要填写一些项目内容 最后再实名认证 在通过上面的一顿操作后 这时候
  • SpringCloud整合Sa-token

    1 目的 之前写项目一致都使用的是 SpringSecurity 但总是感觉SpringSecurity用起来比较繁琐 所以就打算使用sa token 进行权限校验以及 登录验证 角色校验 集成比较简单 2 设计思路 整个项目 使用Spri
  • python中,数组 nums[:] 和nums有何区别?

    leetcode中有一道题 题目为 给你一个数组 nums 和一个值 val 你需要 原地 移除所有数值等于 val 的元素 并返回移除后数组的新长度 不要使用额外的数组空间 你必须仅使用 O 1 额外空间并 原地 修改输入数组 元素的顺序
  • 软件测试过程中的V模型,W模型,H模型

    V W H模型的详细介绍 1 V模型 2 W模型 3 H模型
  • Spring的注入方式的浅讲一

    spring的三种方式 网上讲法有很多 我选了个最通俗的 之后会不断整理这个博客系列 变得 深 一些 将其他人的讲法归类比较一下 找出道理和思路 第一部分肯定是简单的不能再简单地 非常适合新手 弄得自己好像不是新手一样 手动 滑稽 1 se
  • R语言与数据分析

    当今计算机系统要处理的数据类型变得多种多样 并且为了深入理解 需要对数据进行过滤 同时 开源应用变得越来广受欢迎 这一切都在改变着 R 这一用于统计分析与可视化的语言 随着时代的发展 R语言也在不断的衍变 并成为了当前很多大数据应用当中的一
  • ame 服务器无响应,ame 动态链接服务器

    ame 动态链接服务器 内容精选 换一换 华为云帮助中心 为用户提供产品简介 价格说明 购买指南 用户指南 API参考 最佳实践 常见问题 视频帮助等技术文档 帮助您快速上手使用华为云服务 修改云服务器信息 目前支持修改云服务器名称及描述
  • 利用 Livox-SDK 解析 lvx 文件并在 CloudCompare 中显示

    利用 Livox SDK 开发的程序 很早就完成了 今天把它们整理出来分享出来给大家 解析 lvx 文件 exe 下载地址 lvx 批量转 las 这是一个解析 lvx 文件的轻量级的控制台程序 支持 lvx 批量转 las 从 livox
  • SpringBoot整合MiniIo

    什么是MiniIo MiniIo是一款开源的 轻量级的 分布式的云存储服务 与其他云存储服务相比 MiniIo偏向于 自部署 的架构 也就是说 它更适合部署在自己的服务器上 而不是类似于阿里云 腾讯云等云服务商提供的云存储服务 MiniIo
  • 【问题及解决办法记录】python安装包出现retrying

    问题及解决办法记录 python安装包出现retrying 先说一下问题出现的前因 前几天spyder不知为啥总是打不开 试了很多网上的方法都不行遂重装 导致之前安的很多包没有了 今天在用Prompt安装的时候出现了下面这种情况 猜测应该是
  • eclipse运行web项目打不开网页,而用浏览器打开正常

    这时候是因为你科学上网了 关闭小飞机就行了
  • 用 Vue3+Canvas 开发了个塔防小游戏,感兴趣可以玩一玩

    LegendTD 项目地址 http codeape site 16666 源码 https github com ApeWhoLovesCode LegendTD 基本介绍 开发技术 Vue3 Canvas Ts 这是一款支持 pc端 和
  • IntelliJ IDEA 2018.3.2 永久破解

    1 下载破解需要的安装包 下载地址 http idea lanyus com jar JetbrainsCrack 3 1 release enc jar 2 将下载好后的jar包放在bin的目录下 如下图所示 如1所示 名字不一样 请注意
  • python程序越跑越慢与内存泄漏

    问题 运行python程序的时候 在100轮以后时间从初始的3S一次 慢慢变为1分钟一次 越来越慢 处理方法 查询资料得 这种问题的出现基本是由于程序内存泄漏 所以需要监测内存占用情况 监测内存需要 memory profiler 与 ps