JPA/Hibernate 提高批量插入性能

2023-12-12

我有一个数据模型,该模型在 1 个实体和 11 个其他实体之间具有一对多关系。这12个实体一起代表一个数据包。我遇到的问题与这些关系的“多”侧发生的插入数量有关。其中一些可以有多达 100 个单独的值,因此要将整个数据包保存在数据库中,最多需要 500 次插入。

我正在使用 MySQL 5.5 和 InnoDB 表。现在,通过测试数据库,我发现在处理批量插入时,它可以轻松地每秒执行 15000 次插入(使用 LOAD DATA 时甚至可以执行更多操作,但这对于本例来说并不实用)。

有没有什么方法可以使用 Hibernate 将这些单独的 500 个插入聚集成,比如说 - 5 个具有 100 个值的插入(对于每个有 100 个值的 5 个链接实体)?

按照要求:

@OneToMany(mappedBy="beat", cascade=CascadeType.ALL)
@OrderBy("miliseconds ASC")
public List<AmbientLight> lights;

我可能还应该提到一条重要信息 - 我正在使用玩!框架1.2.3


我已经通过对每个“组”插入使用 Hibernate Sessions 来解决这个问题。结果保存数据所需的时间减少了约 7 倍。过去保存一个“数据包”大约需要 2000 毫秒,现在完成同样的事情需要 200 到 300 毫秒。

只是重复一遍 - 这适用于玩!框架1.2.3- 我不确定这是否或如何适用于使用 Hibernate 的其他框架或应用程序。

    Session mySession = (Session) Pressure.em().getDelegate();

    for(int i = 0 ; i < data.size() ; i++){
        initializeFromJsonAndSave(data.get(i), mySession);
    }
    s.flush();
    s.clear();

'initializeFromJsonAndSave' 方法已更改,而不是调用对象的save()方法、调用mySession.save(myNewObject).

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

JPA/Hibernate 提高批量插入性能 的相关文章

  • 实体类的重建

    我尝试在 netbeans 8 0 1 上运行带有 hibernate spring 和 jpa 的 Web 应用程序 但现在我在编译应用程序时遇到了这个异常 以下是错误 Failed to execute goal org apache
  • 如何使用 Hibernate (EntityManager) 或 JPA 调用 Oracle 函数或过程

    我有一个返回 sys refcursor 的 Oracle 函数 当我使用 Hibernate 调用该函数时 出现以下异常 Hibernate call my function org hibernate exception Generic
  • 生成的序列以 1 开头,而不是注释中设置的 1000

    我想请求一些有关 Hibernate 创建的数据库序列的帮助 我有这个注释 下面的代码 在我的实体类中 以便为合作伙伴表提供单独的序列 我希望序列以 1000 开头 因为我在部署期间使用 import sql 将测试数据插入数据库 并且我希
  • QuerySyntaxException:无法找到类

    我正在使用 hql 生成 JunctionManagementListDto 类的实际 Java 对象 但我最终在控制台上出现以下异常 org hibernate hql internal ast QuerySyntaxException
  • Hibernate HQL:将对值作为 IN 子句中的参数传递

    我面临一个问题 如何使用 IN 子句将查询中的成对值的参数传递给 HQL 例如 select id name from ABC where id reg date in x y 并且参数是不同的数据类型string id 和reg date
  • JPA EntityManager 缓存

    我有一个实体定义如下 public class Version Id private Long id private String content Transient private Model model 据我所知 当find操作是在实体
  • Hibernate 缺乏对一对一和多对一关系的删除孤儿支持的解决方法?

    Hibernate 不支持一对一或多对一关系的 删除孤儿 级联 我最近发现了这一点 这让我非常头疼 我的模型中有几个类 它们的设计使得孩子在父母之外没有现实世界的意义 我只有一个用于父类的 DAO 而没有用于子类的单独 DAO 这有效 pa
  • hibernate总是自己删除表中的所有数据

    您好 我正在开发一个 spring mvc 应用程序 它使用 hibernate 连接到存储文件的 mysql 数据库 我有两个方法 一个方法添加我选择的特定文件路径中的所有文件 另一种方法调用查询以返回从 mysql 存储的文件列表 问题
  • 打开新EntityManager后线程锁

    我在使用 Spring JPA 事务时遇到一个非常奇怪的错误 该线程被锁定大约 16 分钟 然后继续 没有任何问题 情况如下 Transactional propagation Propagation REQUIRES NEW public
  • 无法在 Spring Boot 测试中模拟 persistenceContext

    我正在使用带有 Mockito 框架的 spring boot 测试来测试我的应用程序 存储库类 EntityManager 之一作为参考 我的班级如下所示 Repository Transactional Slf4j public cla
  • 限制 JPQL 中的结果数量

    如何限制从数据库检索结果的数量 select e from Entity e I need only 10 results for instance 您可以尝试像这样给出 10 个要显式获取的结果 entityManager createQ
  • 外部实体更改后索引不更新

    我目前正在开发一个项目 使用 JPA 2 1 保存数据并使用 hibernate search 4 5 0 final 搜索实体 映射类和索引后 搜索工作正常 但是 当我更改值时描述B 类从 someStr 到 anotherStr 数据库
  • 使用@Transactional(readOnly = true) 有什么优点?

    我是初学者 据我了解 Transactional只需确保类或方法的所有内部工作都用注释 Transactional将被包装在一个事务中 并且来自外部源的所有调用都将创建一个新事务 但是为什么我们实际上需要在下面的存储库中使用这些注释以及使用
  • 单元测试、集成测试还是设计中的问题?

    我编写了我的第一个单元测试 我认为它过于依赖其他模块 我不确定是否是因为 这是一个复杂的测试 我实际上已经编写了集成测试或 我的设计有问题 我首先要说的是 虽然我有大约 4 年的开发经验 但我从未学过 也没有人教过自动化测试 我刚刚使用 H
  • 在java中使用@Filter hibernate注解过滤集合

    我有两个休眠映射实体 A 和 B A 有 2 个实体 B 的集合 我想根据 B 中保存的属性过滤每个集合 如下面的代码所示 FilterDefs class A OneToMany mappedBy productType fetch Fe
  • 为什么 openSession 不起作用但 getCurrentSession 在 Spring Hibernate 中起作用

    我编写了一个示例 Spring Hibernate 应用程序 以了解 Spring Hibernate 集成的工作原理 这是我的 applicationContext xml
  • 将 hyperjaxb3 升级到 jpa 2.1

    我正在尝试在使用 maven jpa hibernate 和 hyperjaxb 的 eclipse 项目中升级到 JPA 2 1 当我尝试执行以下操作时出现以下错误Run As Run on Server从日食内部 java lang N
  • 多个罐子、单个持久单元解决方案?

    包括我在内的一些人一直在努力将不同模块 jar 中的实体合并到单个持久性单元中 尤其是JavaSE 例如这里JPA 2 0 自动从不同的 jar 添加实体类到 PersistenceUnit https stackoverflow com
  • 处理大数据表时应该如何使用Hibernate Mapping

    问题定义 我有一个包含大量数据 超过 100 000 行 的数据库表 表结构如下 AppID DocID DocStatus 1 100 0 1 101 1 2 200 0 2 300 1 每个 applicationID 可能有数千个文档
  • 从休眠乐观锁定异常中恢复

    我有一个这样的方法 Transactional propagation Propagation REQUIRES NEW public void doSomeWork Entity entity dao loadEntity do some

随机推荐

  • GnuPlot 中的线图,其中线宽是我的数据文件中的第三列?

    我有一个包含三列的数据文件 1 1 0 1 2 1 5 2 3 0 0 3 4 1 2 2 5 5 1 0 1 6 1 1 5 其中第一列是我的 X 值 第二列是我的 Y 值 第三列是线宽 我希望根据第三列线宽绘制每个线段 I tried
  • 升级到Xcode 10后出现问题:找不到构建输入文件

    我昨晚将 Xcode SDK 升级到版本 10 然后发现无法构建 我收到此错误 找不到构建输入文件 Users call01 Library Developer Xcode DerivedData Comp Lite Apps gytvmo
  • 如何在Python中使用turtle模块播放GIF?

    我想让 GIF 在海龟屏幕上播放 但它只显示静态图像 请解决这个问题 任何帮助将不胜感激 这是我的代码 import turtle import os resources bgpic r C Users intel Desktop xBDT
  • 以编程方式检测 iPhone 中的 Sim 卡是否可用

    您好 我正在使用 SMSComposer 想要从地址簿中向联系人发送短信 我想检测我的 iPhone 中是否有 SIM 卡 我有什么办法可以达到这个目的吗 我尝试了 REachability Classes 但它为您提供了有关 WWAN 和
  • 使用自定义选择颜色和边框创建分组 UITableviewCell

    我目前正在编写一个应用程序 它在分组表视图中使用不同的选择颜色 就边界而言 这非常有效 我可以使用这篇文章中的代码更改选择颜色 如何自定义分组表视图单元格的背景 边框颜色 BUT我还想在苹果使用的单元格周围添加漂亮的边框 我该如何使用这个边
  • 无法安装 HTTPBuilder

    我正在尝试安装HTTPBuilder像这样 Grab group org codehaus groovy modules http builder module http builder version 0 7 2 但是 我收到此错误 ja
  • 如何从像素缓冲区创建 Win32 HBITMAP

    我尝试从像素缓冲区创建 HBITMAP 并显示它 这是我创建 HBITMAP 的代码 char buffer 640 480 3 memset buffer 255 640 480 3 BITMAPINFO bm sizeof BITMAP
  • Django 查询集匹配所有相关对象

    假设我有一个从 Coconut 到 Swallow 的外键 即 一只燕子携带了许多椰子 但每个椰子只被一只燕子携带 现在假设我有一个从 husk segment 到 Coconut 的外键 现在 我有一个 husk segments 列表
  • 整数太大[重复]

    这个问题在这里已经有答案了 嗨 我无法理解为什么这不起作用 if Long parseLong morse 4545454545 System out println 2 其中莫尔斯只是一串数字 问题是它说整数太大 4545454545 但
  • 如何从 CSV 中提取命名列?

    我有一个包含大约 50 列的 csv 文件 但我只需要其中大约 10 列 我希望能够从该 csv 文件中提取所需的列到新的 csv 文件中 这篇文章的最佳答案如何删除 CSV 文件中的列 看起来它会完全满足我的需要 但这是我每天都需要做的事
  • 使用 GET 的 MVC AttributeRouting - 返回 405 - 不允许的方法

    我刚刚在研究一种新的控制器操作方法 我有点困惑为什么会看到 405 我已经在我的 API 上定义了几个 GET 属性方法 它们都按预期运行 举个例子 这工作得很好 GET entries page JsonExceptionFilter p
  • 与绘图线一起创建标签

    我问了一个有关自定义小部件的问题 但对我是否需要它以及应该如何进行感到困惑 我目前有这门课 public class GUIEdge public Node node1 public Node node2 public int weight
  • 从 GCP 连接到 Azure SQL 时出现 NoClassDefFoundError com/microsoft/aad/adal4j/AuthenticationException

    我的 Spark 项目位于 GCP 中的 data proc 上 并在 Spark 提交上运行驱动程序 当我尝试连接到 Azure SQL DB 时 它抛出以下异常 20 39 15 DOCKER Exception in thread m
  • 为什么无序流比有序流更快?

    我正在阅读 Richard Warburton 所著的 Java 8 书籍 并得出以下结论 某些操作在有序流上的成本更高 这个问题可以 可以通过消除排序来解决 为此 请调用流的unordered方法 我对此感到非常困惑 假设我们有Strea
  • Pandas 反向分割函数

    我有一个 Pandas Dataframe 其中有一列 如下所示 Car Make 0 2017 Abarth 124 Spider ManualConvertible 1 2017 Abarth 124 Spider AutoConver
  • 已过时 - 关键帧之间的 FFMPEG 解码伪影

    将问题标记为过时 因为使用已弃用的 avcodec decode video2 I m currently experiencing artifacts when decoding video using ffmpegs api On wh
  • 在 Tkinter 上显示标签一段固定的时间

    我正在使用 Tkinter 在 Python 2 7 中创建一个 GUI 应用程序 我有这段代码 vis Label pur text Purchase Added successfully font 8 vis place x 150 y
  • 如何将 Intel 80386 机器代码转换为汇编语言?

    我被赋予以下任务 考虑以下十六进制值序列 55 89 E5 83 EC 08 83 E4 F0 31 C9 BA 01 00 00 00 B8 0D 00 00 00 01 D1 01 CA 48 79 F9 31 C0 C9 C3 该字节
  • 将表 A 中的行移动到表存档中

    是否可以每周自动将 3 天前的行移动到 mysql 中另一个名为 Table Archive 的表中 表A例如 ID stringvalue Timestamp 1 abc 2011 10 01 2 abc2 2011 10 02 3 ab
  • JPA/Hibernate 提高批量插入性能

    我有一个数据模型 该模型在 1 个实体和 11 个其他实体之间具有一对多关系 这12个实体一起代表一个数据包 我遇到的问题与这些关系的 多 侧发生的插入数量有关 其中一些可以有多达 100 个单独的值 因此要将整个数据包保存在数据库中 最多