程序员经验分享-hwhale

SSIS 与 DTS 性能

2024-04-26

这么晚了才这么做似乎很疯狂，但是……

我正在使用 Rocket Software UniVerse 源和 SQL 目标重建一些 ETL 基础设施。旧的目标平台是 Windows Server 2003 上的 SQL 2000，新平台是 Windows Server 2012 上的 SQL 2012。在这两种情况下，都使用 ODBC 驱动程序连接到源。在新平台上一切似乎都工作正常，但包的执行时间却呈指数级减慢。例如，一个大约有 130 万行和 28 列的表使用 SQL 2000/DTS 大约需要一个小时，使用 SQL 2012/SSIS 需要超过 3.5 小时。两台SQL服务器都在Xen Server上虚拟化，2012年的服务器有更多的RAM和更多的vCPU，两台机器在磁盘基础设施上都不具有优势。在包执行期间，2012 服务器上没有指标（内存、磁盘 IO 等）出现红线（甚至接近红线）。

我读过几篇描述相同场景的论坛帖子，但似乎没有一个真正有适合我的解决方案。由于所有这些帖子都相当过时（大多数从 DTS 到 SSIS 的转换发生在 SQL 2005 年），我很好奇是否有任何更新的信息。

这些包是非常简单的表副本，没有转换。我使用“SELECT 列，列，.. FROM sourcetable”作为源连接，使用“表或视图 - 快速加载”作为目标。尽管我不能确定，但​​减速似乎是在等式的源端。

任何帮助表示赞赏。


研究的一种选择是降低数据流中的缓冲区大小。默认情况下，它设置为 10k 行。如果您的数据源速度较慢，则可能需要相当长的时间才能填满数据“桶”start将一批信息发送到目的地。虽然这似乎有悖常理，但降低该数字可以提高性能，因为 5k、1k 或 100 行数据会更快地填满存储桶。然后，当存储桶 2、3 等被填充时，该数据将通过数据流进行混洗并到达源中。

如果您有 SQL Server 源，则可以通过提示您想要快速的 N 行来优化查询，并将其与 SSIS 包的行大小保持一致。

See 罗布·法利的文章 http://sqlblog.com/blogs/rob_farley/archive/2011/02/17/the-ssis-tuning-tip-that-everyone-misses.aspx了解更多详情。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

sql

SSIS

ODBC

dts

universe

SSIS 与 DTS 性能 的相关文章

  • 使用多个小数点 (.) 对 Oracle 中的记录进行排序

    UPDATE 甲骨文版本10G 我有一个记录列表Oracle如下 这些其实是各种书籍的章节记录按以下格式生成 主主题 子主题 第一级部分 最后级部分 Sections 1 7 1 6 2 7 1 7 4 6 8 3 6 8 2 10 1 1

  • 如何在 WHERE 子句中最佳地使用 COALESCE() ？

    这是我的查询 select coalesce qa2 subject qa subject as question subject qa body select count from viewed items vi where coales

  • 字段名称来自表 1 上的 ID，但来自其他表上的名称

    这是一个 Firebird 数据库 第一张表 联系人 Company ID 职位名称 第二个表 Client id 公司名称 在联系人中 我希望 job title 字段包含 co name client id 和 company id 相

  • Laravel 5.4 上传原始文件名和扩展名

    通过表单提交文件时 如何将原始文件名 file jpg 上传到数据库 控制器 public function addCv Request request cv Cv create request gt all file request gt

  • 复制行并自动递增非身份键 ID 列的 INSERT INTO 语句

    给定一个包含三列的表 ID 主键 非自动递增 GroupID 一些价值 我正在尝试编写一个 SQL INSERT INTO 语句 该语句会将具有一个 GroupID 的每一行复制到一个新的 GroupID 中 起始表示例 ID GroupI

  • Oracle PL/SQL - NO_DATA_FOUND 异常是否对存储过程性能不利？

    我正在编写一个需要进行大量调节的存储过程 根据 C NET 编码中的常识 异常会损害性能 因此我也始终避免在 PL SQL 中使用它们 我在此存储过程中的调节主要围绕记录是否存在 我可以通过以下两种方式之一进行 SELECT COUNT I

  • 连接2个表区分大小写

    我有 2 个表 需要获取品牌代码的结果 例如 在数据库中 我有两个不同的品牌 但它们的代码是相同的 只有小写和大写不同 例如 代码名称 关于耐克 和阿迪达斯 如何在代码上内连接 2 个表以分别获取这 2 个表 现在 在内连接之后我得到了这

  • 在 CASE 语句中使用 CAST 时出现数据转换错误

    运行以下命令时出现错误 将数据类型 nvarchar 转换为 float 时出错 declare completeCommand nvarchar max x paramVal nvarchar 100 paramName nvarchar

  • 返回动态列集

    我创建了以下函数来根据该函数的参数返回列集 CREATE OR REPLACE FUNCTION getColumns IN column1 text IN column2 text IN column3 text IN column4 t

  • oracle sql中where条件的动态数量

    我需要为报告工具中的提示编写一条sql 我得到变量中用 分隔的多个值的列表 并且这些值的数量可以变化 例如1 abc def eg2 abc def xyz 现在我需要在oracle中编写这种形式的sql 逻辑上 select someth

  • SQL Server 2000 - 将查询分成 15 分钟的块

    我有一个连续时间数据集 我想使用 sql 将其分成 15 分钟的块 如果我能帮忙的话 我不想必须创建一个新表才能做到这一点 i e 时间 计数09 15 109 30 309 45 010 00 210 15 3 有谁知道我该怎么做 我认为

  • 在oracle sql中创建日期差异的自定义函数，排除周末和节假日

    我需要计算两个日期之间的天数decimal 不包括周末和节假日 by 使用自定义函数在 Oracle SQL 中 网站上也有类似的问题 然而 正如我所看到的 它们都没有要求使用自定义函数将输出作为十进制 我需要小数的原因是为了之后能够使用

  • 如何按月（“年”和“月”）对表进行分区并自动创建每月分区？

    我正在尝试按两者对表进行分区Year and Month 我将通过其进行分区的列是具有 ISO 格式 20150110 20150202 等 的日期时间类型列 例如 我有 2010 年 2011 年 2012 年的销售数据 我希望数据按年份

  • 在 RDBMS 中何时使用三元关系而不是聚合？

    我想知道什么时候可以表示实体集和三元关系之间的关系 我明白聚合的好处 但是如果实体集和关系集之间的关系中没有属性 为什么还要使用聚合呢 例如 一名研究生 具有学生编号和姓名 正在从事一个项目 具有 pid 开始日期和结束日期 并且学生从事的

  • 如何解决postgresql中group by和聚合函数的问题

    我正在尝试编写一个查询来划分两个 SQL 语句 但它显示了我 ERROR column temp missed must appear in the GROUP BY clause or be used in an aggregate fu

  • PL/SQL 触发器问题

    我正在尝试编写一个触发器来填充包含员工更新工资信息的表 我现在遇到一个无法解决的问题 这是要填充的表 drop table SalUpdates cascade constraints create table SalUpdates Sal

  • 无效号码错误！似乎无法绕过它

    Oracle 10g 数据库 我有一张桌子叫s contact 这个表有一个字段叫做person uid This person uid字段是 varchar2 但包含某些行的有效数字和其他行的无效数字 例如 一行可能有一个person u

  • 在 Postgres 中以周为单位分割间隔

    这是另一个关于日期的 SQL 问题 我正在使用 PHP 和 Postgres 构建一个日历应用程序 它将显示几天 几周甚至几个月的事件 每个事件都有开始日期和结束日期 按范围选择它们不是问题 然而 如果 Postgres 可以在每周的第一天

  • 如何从 PySpark 中某个表中找到的多个表中获取所有数据？

    我正在使用 pyspark SQL 我有一个包含三列的表 MAIN TABLE DATABASE NAME TABLE NAME SOURCE TYPE 我想从 DATABASE NAME 和 TABLE NAME 列中的主表下找到的实际数

  • 将文件名存储在变量中并在 SSIS 中使用该文件名创建表

    我在 SSIS 的一个文件夹中只有几个 excel 源文件 我想从这些 Excel 文件中提取数据并加载到 SQL 表中 我的问题是我想一一保存所有文件名 并想创建与文件名完全相同的 SQL 表 然后要加载相应表中的每个Excel文件 请帮

随机推荐

热门标签