通过使用不同条件运行相同查询创建多个平面文件

2023-12-31

我的数据库表中有 1000 万个客户号码。我想每次为前 100 万客户运行查询并将该数据保存在 .csv 文件中。我如何使用 SSIS 包做到这一点? 前任 ,

第一次:

选择名字、姓氏、客户 ID 来自客户 其中客户 ID 介于 1 到 1,000,000 之间

现在获取结果并将数据存储在本地的 test1.csv 文件中。

第二次:

选择名字、姓氏、客户 ID 来自客户 其中客户 ID 介于 1,000,001 到 2,000,000 之间

现在获取结果并将数据存储在本地的 test2.csv 文件中。

最多10次

1000 万客户数量应该是动态的,,它不是固定的,下次可能是 2000 万,所以我们必须在数据库上运行相同的查询 20 次。

谢谢, 桑杰


这是一个算法 OTTOMH

  • 对表进行行计数并将其存储到名为 TotalRows 的变量中

  • 将 TotalRows 除以 20 并将其存储到名为 IncrementValue 的变量中。

  • 使用名为 RowCounter 的变量创建一个 FOR 循环,该变量从 0 到 TotalRows 按 IncrementValue 递增

  • 创建一个名为 SelectQuery 的变量,并将评估表达式设置为 true,并使用 RowCounter 和 IncrementValue 创建适当的 Select 语句

  • 创建一个名为 OutputFileName 的变量,并将评估表达式设置为 true,并使用 RowCounter 和 IncrementValue 创建文件名

  • 创建一个名为 OutputFilepath 的 FlatFile 类型的连接管理器,并将其指向您希望其写入的所需文件夹

  • 在连接管理器的表达式中,使用所需的文件夹路径和变量 FileName 创建动态连接字符串

  • 在 for 循环内使用 DataFlow 并添加 OleDB 数据源和平面文件目标

  • OLEDB数据源查询应该是一个变量,将其设置为变量SelectQuery
  • 将平面文件目标指向 OutputFilepath

run it

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

通过使用不同条件运行相同查询创建多个平面文件 的相关文章

  • 由于某些权限问题,尝试执行 SSIS 包时 SQL 代理作业失败

    我在 sql server 2012 上部署了 ssis 包 此后安排了一个 sql 作业每周运行这个 ssis 包 当我第一次开始一项工作时 它失败并出现以下错误 工作失败了 该作业由用户 MyDomain MyUserName 调用 这
  • 如何删除SSIS中数据流任务中的列?

    I use SQL Server 2016我很忙DataFlow task In my DataFlow task I use Multicast component因为某些原因 在我的中创建一个新的流程后DataFlow 我需要删除新流程
  • 使用 C# 执行 SSIS 包时出错

    我尝试执行一个非常简单的SSIS封装使用C 直接在 Visual Studio 2015 中启动时 此包运行良好 SSIS 包的名称是 Lesson 1 dtsx 我尝试使用开始这个过程C 使用以下代码 using System using
  • 带有 SSIS 包的 SQL Server 作业 - 无法解密受保护的 XML 节点“DTS:Password”,错误为 0x8009000B

    我有一个运行 SSIS 包的 SQL 服务器作业 该作业有 9 个步骤 每个步骤都从不同的数据库中提取数据 连接字符串被定义为每个步骤中的参数 当我运行作业时 我收到以下错误 Executed as user USER MYSERVER M
  • 指定在 SSIS XML 导入期间如何生成主键

    问题是我将数据导入到关系表中 其中数据源是 XML 文件 XSD 架构 XML 源有多个输出 节点之间的关系由 SSIS 在 order id 列中创建 生成的主键值不在 XML 中 在订单详细信息中 我们获得外键 order id 文件被
  • 使用 SQL 代理运行 SSIS 包时出现问题 - 失败并显示“DTSER_FAILURE(1)”

    我有一个存储在 MSDB 数据库中的 SSIS 包 当我执行它时它工作正常 它将在 SA 帐户下运行或使用 Windows 安全性 我想安排此作业与 SQL Agent 一起运行 但是当我这样做时 我收到一个奇怪的错误 并且我尝试的任何配置
  • 使用执行 SQL 任务的参数映射

    我正在尝试创建一个临时表并将数据插入到 foreach 循环容器内的执行 SQL 任务内的临时表中 这是sql任务 IF OBJECT ID TEMPDB DBO TEMP IS NOT NULL DROP TABLE TEMP GO CR
  • 更新 SSIS OLEDB 目标中的行

    我有一个数据流过程 其中有一个 OLEDB 源和一个 OLEDB 目标 如下所示 源合并来自两个临时表的数据并返回结果集 例如 50K 行 这 50K 行也存在于目标表中 但是旧数据 SELECT FROM staging1 UNION S
  • Netezza 使用 SSIS 从 Sql 服务器增量加载

    我正在尝试使用 SSIS 从 Sql server 2008 到 Netezza Nps6 进行增量加载 使用 Netezza 5 x 版本 OLEDB 驱动程序 我在用Table or View Fast Load选项与Maximum i
  • SSIS 包损坏,错误为 0xC00CE504

    我有一个损坏的 SSIS 包 并显示错误消息 由于错误 0xC00CE504 名称以无效字符开头 第 13 行第 2 列 无法加载 XML 当加载包并且文件无法打开或无法正确加载到 XML 文档时会发生这种情况 这可能是由于向 LoadPa
  • SQL Server 查询返回多行

    我目前正在开发一个 SSIS 包 该包将表从一个数据库提取到另一个数据库 两个数据库中的表都使用同一列作为主键 我提取数据的 select 语句是一个简单的 select 语句 当我运行该包时 我收到一条错误 指出存在重复的主键值 我检查了
  • SSIS将字符串变量保存到文本文件

    看起来应该很简单 但到目前为止我还没有找到一种方法将存储在 SSIS 字符串变量中的值保存到文本文件中 我研究过在数据流内部使用平面文件目标 但这需要数据流源 关于如何做到这一点有什么想法吗 使用脚本任务 我刚刚尝试过这个 我创建了一个文件
  • 安装 SSDT VS 2015 17.3 和 17.4 时出错 - 系统找不到指定的文件

    我已在 VS 2017 上成功安装 SSDT 2017 但是 我们有一些较旧的 SSIS 包和 SSRS 报告 我需要 VS SSDT 2015 我安装了 VS 2015 Enterprise 我正在尝试安装 SSDT 2015 17 3
  • 敏感 SSIS 包参数字符串中的特殊字符导致包无效

    我的 SSIS 包上有一个敏感字符串参数 用于存储远程服务器的密码 但是 当字符串值包含大括号时 作业代理会在配置该步骤的包参数时引发错误 Microsoft SQL Server Management Studio 在命令行参数中检测到错
  • 将文件名存储在变量中并在 SSIS 中使用该文件名创建表

    我在 SSIS 的一个文件夹中只有几个 excel 源文件 我想从这些 Excel 文件中提取数据并加载到 SQL 表中 我的问题是我想一一保存所有文件名 并想创建与文件名完全相同的 SQL 表 然后要加载相应表中的每个Excel文件 请帮
  • 访问 SSIS 脚本任务静态构造函数中的可配置值

    我有一个 SSIS 包 其中包含需要第 3 方程序集的脚本任务 由于不允许我将此程序集放置在 SSIS 服务器上的 GAC 中 因此我在运行时在脚本任务的静态构造函数中绑定该程序集 这article https blogs msdn mic
  • SSIS ForEach File 循环 - 将文件名插入表

    我正在构建一个 SSIS 包 使用 VS 2017 来从特定文件夹加载一堆 CSV 文件 使用 ForEach File 循环效果很好 数据流任务具有平面文件源和 OLE DB 目标 我希望能够将文件名以及 CSV 文件中的数据保存在同一个
  • SSIS - 将参数传递给 ADO .NET 源查询

    我知道早些时候已经有人问过这个问题 大多数答案都不相关 谷歌了一下 显示解决办法是在 数据流任务 中配置表达式并设置查询 然而 在 ADO NET 源中 当我尝试预览输出时 我不断收到 Must declare the variable 它
  • SSIS使用列位置而不是名称导入Excel文档

    我想知道是否可以通过按位置引用列来使用 SSIS 导入 Excel 文档 例如 导入列 A D M AA 等 我问这个问题是因为我需要从第三方加载多个 Excel 文档 每个文档在相应的列中包含相同的数据类型 但每个文档的列名称不同 Tha
  • 跳过行:将数据从 SSIS 导出到 Excel 文件

    我正在尝试使用 SSIS 将数据从 SQL Server 数据库导出到 Excel 文件中 我希望从第 6 行插入数据 第 5 行有标题 我可以映射标题名称Excel 目标编辑器 通过编写 SQL 命令到 SQL 表头 SELECT FRO

随机推荐

  • UWP ListView 触摸拖动行为

    使用触摸触发 ListView 项目的拖放操作时 WinRT Windows 8 8 1 和 UWP Windows 10 应用之间的行为似乎已发生变化 在 WinRT 中 向左或向右 撕裂 项目会导致其分离 从而启动拖动行为 在 UWP
  • WebAPI中DependencyResolver.SetResolver和HttpConfiguration.DependencyResolver有什么区别

    我有现有的项目 它使用 AutoFac 作为 IoC 在注册代码中我有这些行 var resolver builder Build DependencyResolver SetResolver new AutofacDependencyRe
  • 使用 Hammer.js 和 .on() 绑定事件

    Hammer js http eightmedia github com hammer js 向我的网络应用程序添加了 javascript 触摸和手势支持 我的问题在于将 hammer 与 DOM 元素一起使用 这些元素在文档准备好后调用
  • WPF VirtualizingStackPanel 可提高性能

    我想要一个关于如何实现 virtualizingstackpanel 的简单描述ItemsControl这是数据绑定到ObservableCollection在我的 MVVM 中 我有一个ItemsControl选项卡控件中每个选项卡的实例
  • java 的 makefile

    我不明白我的 makefile 做错了什么 JAVA SRCS wildcard tasks src java JAVA CLASSES subst src build JAVA SRCS java class JFLAGS cp jar
  • Maven 搜索 site.xml 缺少的英语语言环境

    在使用 Maven 构建项目期间 我在更新其父项目的版本后遇到生成 javadoc 的问题 2016 08 18 16 06 44 559 INFO lt lt lt maven javadoc plugin 2 10 3 aggregat
  • 模拟 div 覆盖另一个 div 时的颜色变化

    我有一个固定的 div 它可以滚动某些元素 当div位于某个div上方时 我不希望它具有特定的颜色和特定的图像 当它位于另一个 div 上时 我希望它改变颜色 基本现场演示 http jsfiddle net c2a4jg95 8 我很确定
  • VBA打开工作簿,退出代码

    我尝试使用打开 xlsm 类型的工作簿 Private Function readFiles ByVal lv path As String ByRef lx wrkShDes As Worksheet On Error GoTo Erro
  • Perl 6 有无限的 Int 吗?

    我有一个任务 我想找到距离目标最近的字符串 因此 编辑距离 而不是同时生成它们 我想我应该使用高水位线技术 我猜是低水位线 同时初始化最近的编辑距离Inf这样任何编辑距离都会更近 use Text Levenshtein my string
  • ASP.Net Core Blazor:如何根据标头值加载不同的 _Host.cshtml 文件

    我想加载一个 Host cshtml基于请求中的标头的 ASP NET Core Blazor 项目 服务器端 Blazor 中的文件 例如 客户端连接到example com并被重定向到 Host cshtml特定于租户 A 的文件 另一
  • 在Python中关闭窗口并打开文本编辑器时保持脚本运行[重复]

    这个问题在这里已经有答案了 众所周知 愚人节即将到来 所以我想我应该写一个很好的脚本来恶作剧某人 这是众所周知且令人恐惧的 MEMZ 病毒的无害版本 我目前拥有的脚本 import webbrowser import time def pr
  • AngularJS 幻灯片过渡在 Safari ios 9 上损坏

    我有以下 css 类 用于在路线更改开始时左右滑动我的 ng view 这些在大多数浏览器 手机等上都工作得很好 直到现在 在ios 9下动画不太工作 它不再从左到右滑动 但视图在滑动时从小尺寸增长到全尺寸 效果相当不愉快 欢迎任何帮助 C
  • 如何创建按月份分组的年度条形图

    我在尝试使用 和 创建条形图时遇到了困难DataFrame按年份和月份分组 使用以下代码 我尝试在创建的图像中绘制数据 而不是返回第二个图像 我还尝试将图例移至右侧并将其值更改为相应的月份 我开始感受到通过groupby命令 虽然没有得到我
  • 如何抑制“缺乏具体实施”的警告?

    我该怎么做才能防止编译器抛出以下警告 缺少 setter MyClass field 和 getter 的具体实现 我的班级 field 在下面的代码上 import package mock mock dart class MyClass
  • Django IntegrityError - NOT NULL 约束失败

    我遇到的错误表明我正在尝试提交一个必填字段为空的表单 Error django db utils IntegrityError NOT NULL constraint failed bug report bug project id 我的代
  • C# 枚举 - 如何比较值

    我如何比较这个枚举的值 public enum AccountType Retailer 1 Customer 2 Manager 3 Employee 4 我试图在 MVC4 控制器中比较此枚举的值 如下所示 if userProfile
  • 如何避免多次 if null 检查[重复]

    这个问题在这里已经有答案了 可能的重复 Deep Null 检查 有更好的方法吗 https stackoverflow com questions 2080647 deep null checking is there a better
  • laravel Rest api 中的身份验证和用户管理

    我正在为移动应用程序编写一个 REST API 我不知道如何在我的应用程序中对用户和管理员进行身份验证 我有一张名为 users 并且有一个名为 的字段isAdmin 那是0 or 1 现在当管理员发送帖子时 用户可以看到帖子 您如何推荐a
  • 在android中创建从上到下到状态栏和工具栏的线性渐变

    I want to add a Linear gradient color to Status Bar and Toolbar I am able to add gradient to status bar and toolbar with
  • 通过使用不同条件运行相同查询创建多个平面文件

    我的数据库表中有 1000 万个客户号码 我想每次为前 100 万客户运行查询并将该数据保存在 csv 文件中 我如何使用 SSIS 包做到这一点 前任 第一次 选择名字 姓氏 客户 ID 来自客户 其中客户 ID 介于 1 到 1 000