ssis中动态表创建和加载数据

2024-02-01

我对 ssis 有一点疑问,文本文件具有基于位置的位置数据,需要在 sql server 中动态创建表并使用 ssis 包加载相关位置数据, 源文本文件具有如下所示的示例数据

编号 |名称 |地点 1 | abc |海德 2 |巴努|陈 3 |杰|邦 4 |哈里|海德 5 |纳尼 |海德 6 |班提|邦 7 |卡利 |陈

基于此文本文件加载,我们需要动态创建位置表并加载相关数据。因为有时文本文件中可能有更多位置,这种情况我们需要动态创建表并加载它。请告诉我如何使用来完成此任务ssis.我们需要 foreach 循环容器,但不知道如何实现这个。请告诉我解决这个问题


1)DFT任务(获取不同的位置和各自的表名称)

  • 创建第一个 DFT 以从文件中获取不同的位置。添加聚合转换并将输入列指定为位置,然后选择操作作为 GroupBy,这将为您提供文件中的不同位置
  • 然后,添加派生转换以获取位置及其各自的表名称 表名 - (DT_STR,50,1252)("dbo.LocationList" + 位置) 位置 - (DT_STR,50,1252)位置
  • 添加记录集目标并将 TableName 和 Location 值存储在对象类型的变量(名称 = Locations)中

2)Foreach循环容器任务(创建表并存储数据)

  1. Foreach 循环容器配置 -

    • 选择枚举器作为“Foreach ADO 枚举器”
    • 选择源变量作为“位置”
    • 枚举器模式 - 第一个表中的行
    • 在变量映射中,分别在两个变量“location”和“Locationtable”中获取位置和相应的表名称。
  2. 在容器中添加 SQL 任务(如果不存在则创建表)

    • 提供 SQL 源表达式为 -

    "如果 Object_Id('" + @[User::Locationtable] + "') IS NULL 创建表 " + @[用户::位置表] + " ( id 整数, 名称 Varchar(50) )”

  3. 在容器中添加DFT任务(将数据导入到各自的表中)

    • 添加平面文件源以从同一源文件获取加载数据
    • 添加条件分割并添加表达式“location == @[User::location]”以获得匹配的输出
    • 添加 OLEDB 目标并将访问模式设置为“OpenRowset using FastLoad From Variable”
    • 选择变量“用户::位置表”

注意 - 您需要为“User::Locationtable”变量提供默认值,该变量具有数据库中存在的表名称并且具有相同的架构,以便您可以映射第二个 DFT 任务中的列。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

ssis中动态表创建和加载数据 的相关文章

  • 通过 OleDb ACE 访问 Excel 2007 二进制文件 (.xlsb)

    我发现 Excel 2007 二进制格式 扩展名为 xlsb 非常完美 适合我的需求 因为它加载速度快且非常紧凑 我交付一个 Excel 中的一堆报告包含大量数据 这些报告是 实际上正在加载一个 IS 包 所以我假设转换为这种格式 请阅读有
  • 在SSIS中使用执行进程任务和WinSCP进行SFTP传输

    我有一个User file txt文件放置在 WinSCP 根文件夹 USERDATA 中 我正在尝试将其下载到给定位置C User Local Executable C Program Files x86 WinSCP WinSCP ex
  • 无法在VS2010/SQL Server 2012中使用SSIS SSDT

    我在本地计算机上安装了完整版本的 Sql Server 2012 并从安装包 和更新 安装了 SSDT 然后 我打开 SSDT Visual Studio 应用程序并安装 Microsoft 的 SSDT 包 该包似乎工作正常 但是 当我尝
  • SSIS - 多表插入

    我正在使用 SSIS 将数据从 MS Access 复制到 SQL Server 我只会复制一次 这不是重复的任务 只有一张源表 Table Source 我想将数据插入两个表 Table1 和 Table2 Table1 包含一个主键 它
  • SSIS 错误 - 无法执行事务操作,因为有正在处理此事务的待处理请求

    在执行 ssis 包时 出现以下错误 The transaction operation cannot be performed because there are pending requests working on this tran
  • C# - 转换日期时间格式 yyyy-MM-dd [关闭]

    很难说出这里问的是什么 这个问题是含糊的 模糊的 不完整的 过于宽泛的或修辞性的 无法以目前的形式得到合理的回答 如需帮助澄清此问题以便重新打开 访问帮助中心 help reopen questions 我正在尝试将日期时间格式从 dd M
  • 枚举DataFlow脚本组件中的RecordSet作为数据源

    这是一个 SSIS 相关问题 我有一个设置为对象类型的变量 一个数据流将一些过滤的行导入到记录集中 并且该记录集存储在对象变量中 在完全独立的数据流中 我需要使用该记录集作为源 所以我创建了一个脚本组件并告诉它它将是一个数据源 我将其设置为
  • SSIS Forloop:根据迭代次数为变量名称赋值

    我正在尝试使用 For 循环容器为最多 10 个不同的变量赋值 变量1 变量2 变量10 基于迭代次数 我需要循环根据一个变量迭代一定次数 该变量已根据查询的结果集分配了一个整数值 该部分工作得很好 我不知道如何告诉 for 循环使用哪个变
  • SSIS将字符串变量保存到文本文件

    看起来应该很简单 但到目前为止我还没有找到一种方法将存储在 SSIS 字符串变量中的值保存到文本文件中 我研究过在数据流内部使用平面文件目标 但这需要数据流源 关于如何做到这一点有什么想法吗 使用脚本任务 我刚刚尝试过这个 我创建了一个文件
  • SSIS - 删除行

    我是 SSIS 新手 需要这方面的帮助 我找到了一个article http consultingblogs emc com jamiethomson archive 2006 09 12 SSIS 3A00 Checking if a r
  • 在非 SSIS 服务器上运行 SSIS 包时出现错误[重复]

    这个问题在这里已经有答案了 我正在 SSDT 2012 中工作 我创建了一个 DTSX 包 并将其部署到未安装 SSIS 的 SQL Server 我的理解是这应该有效 但是我不断收到以下错误 要在 SQL Server Data Tool
  • Foreach 循环编辑器中缺少枚举器

    我在一台新笔记本电脑上 在 Visual Studio 2015 中的 SQL Server Integration Services 包上工作 在以前版本的 Visual Studio 中 枚举器配置部分中有几个选项 如下所示 在 VS
  • 查找 SSIS 包上次修改/部署日期 - SQL Server

    我想通过执行 SQL 查询找到 SSIS 包的最后修改日期 例如 下面的查询按降序返回过程的最后修改日期 我期待对 SSIS 包进行同样类型的查询 可以从DB获取这些信息吗 select name create date modify da
  • 通过SSIS动态创建Excel表

    在 SSIS 中使用执行 SQL 任务 创建的 Excel 文件 包含多个列和不同的数据类型 这里的问题是 INT Money 列在 Excel 中显示为文本列 即使 Excel 表是使用 Int Money 数据类型创建的 我尝试过使用双
  • 在 SSIS 流中使用临时表失败

    我有一个 ETL 过程 可将约 40 个表从源数据库 Oracle 10g 提取到 SQL Server 2014 开发人员版 临时环境 我的提取过程 确定暂存中的最新行 从源中选择所有较新的行 将结果插入 TEMPTABLE 将 TEMP
  • 将文件名存储在变量中并在 SSIS 中使用该文件名创建表

    我在 SSIS 的一个文件夹中只有几个 excel 源文件 我想从这些 Excel 文件中提取数据并加载到 SQL 表中 我的问题是我想一一保存所有文件名 并想创建与文件名完全相同的 SQL 表 然后要加载相应表中的每个Excel文件 请帮
  • SSIS 表达式生成器 - 如何查找字符的最后一次出现

    我的价值观是这样的 D DM 250 Insert Jobs QA UAT 14 FILE A UpdateInsert dts D DM 250 Insert Jobs QA UAT Something DaisyChain 14 stu
  • 如何修复 SSIS“文件/进程不在路径中”警告?

    SSIS 附带了许多解决数据获取和集成问题的任务 但它缺少的一项任务是用于通过 HTTP 下载文件的 HTTP 任务 为了解决这个问题 我安装了Wget http gnuwin32 sourceforge net packages wget
  • 数据转换器 SSIS 数据流组件中相应列的转换数据类型应该是什么?

    我们的一台服务器上有普通的 Microsoft SQL Server 2008 我们决定在文件系统上创建 DTSX 文件 以便我们可以使用 BIDS 2008 打开 DTSX 文件 一种 SSIS 控制流组件 它从 Microsoft SQ
  • 当没有文件可供下载时,如何避免 SSIS FTP 任务失败?

    我正在使用 SQL Server 2005 并在 SSIS 中创建 ftp 任务 有时会有文件需要通过 ftp 传输 有时则不会 如果没有文件 我不希望任务或包失败 我已将从 ftp 任务到下一个任务的箭头更改为 完成 以便包运行 我已将允

随机推荐

  • MySQL 中的枚举是否需要为 NOT NULL?

    可以说我有这个 ALTER TABLE asdf ADD field ENUM Y N DEFAULT N 是否需要在末尾添加 NOT NULL 因为它只能是 Y 和 N EDT 根据评论 如果我知道软件总是将其设置为 N 或 Y 并且被硬
  • HttpGet 属性的路由名称 asp.net core 2 中基本通用控制器类的名称

    我有一个通用控制器 它有几个派生的控制器类 但我不知道如何处理 HttpGet路线名称因为它需要常数 HttpGet id Name should not hard coded here for derived class public v
  • iPhone sdk 中提供不同类型的 CATransition 类型

    有谁知道可用 CATransition 的不同类型名称的链接 如同涟漪 迅疾 我想知道所有可用的名称 这些是可用的类型 kCATransitionFade kCATransitionMoveIn kCATransitionPush kCAT
  • 一个 HTML 文件中存在多个不同的页面

    有没有办法让多个不同的 HTML 页面包含在一个 HTML 文件中 例如 假设我有一个有两个页面的网站 Page 1 click here for page 2 and Page 2 click here for page 1 我是否可以创
  • InkCanvas 到位图

    我在将画布保存为 BMP 文件 或任何其他类型 时遇到问题 我试图像这样保存我的 InkCanvas int margin int canvas Margin Left int width int canvas ActualWidth ma
  • Swagger 漂亮的 HTML 代码在哪里?

    只有uglyHTML 页面可下载 HTML HTML2 和动态都丑陋 但该网站 例如 已编辑https app swaggerhub com apis user project version 以及许多其他 提供漂亮的 HTML 界面 如何
  • 使用 C 替换文件中的单词

    如何使用以下命令将文件中的单词替换为另一个单词C 例如 我有一个文件 其中包含 my friend name is sajid 我想替换这个词friend with 祖父 使得该文件更改为 my grandfather name is sa
  • R 中的 Excel YIELD 函数

    我试图弄清楚 Excel 中的 YIELD 函数如何运行其计算 以便我可以在 R 中创建一个使用类似输入的类似函数 以下是有关该函数的 Excel 文档 http office microsoft com en us excel help
  • 如何从 _layout SharePoint 页面使用网站母版页?

    我想在我的 SharePoint 12 hive template layouts TelephoneBookList test aspx 文件中使用母版页文件 如果有意义的话 就是网站的母版页文件 但是 每当我将 MasterPageFi
  • Mysql:每月记录数(包括零)

    我正在尝试计算表中的记录并按日期对它们进行分组 我当前的查询如下所示 SELECT count MONTH time as month YEAR time as year FROM myTable GROUP BY month year O
  • 使用 Swing 和 Graphics2D 在 Java 中旋转轮子?

    我正在研究一个可以绕中心旋转轮子的课程 轮子是使用graphics2d创建的 但我无法确切地弄清楚如何让轮子绕中心旋转 目前 轮子旋转 但不完全围绕原点旋转 我的最终目标是创建一个具有多种颜色的轮子以及围绕它的程序 但我主要关心的是让旋转轮
  • 我用的plyr对吗?我似乎使用了太多内存

    我有以下有点大的数据集 gt dim dset 1 422105 25 gt class dset 1 data frame gt 在不执行任何操作的情况下 R 进程似乎占用了大约 1GB 的 RAM 我正在尝试运行以下代码 dset lt
  • Jenkins job DSL 插件 - 隐藏参数

    我正在使用詹金斯隐藏参数插件 https wiki jenkins ci org display JENKINS Hidden Parameter Plugin但我找不到像使用其他参数那样在 DSL 中编写它的语法 例如 https jen
  • ImportError:使用 Jupyter Notebook 时没有名为 numpy 的模块 - Google Cloud Dataproc

    在 Google Dataproc 上启动 Jupyter Notebook 时 导入模块失败 我尝试使用不同的命令安装模块 一些例子 import os os sytem sudo apt get install python numpy
  • 使用 Python、文件

    我有一些需要读取的数据文件 我知道我应该使用 Dataset 但是有没有一种方法可以下载这些文件 而无需手动下载 而是通过其 URL 来下载 在我的例子中会是什么样子 我正在使用 conda python 和 netCDF4 无论我做什么
  • 如何在 Yii2 中进行多次 UPSERT?

    我正在使用 Yii2 高级模板 我必须在 MySql 数据库中插入 1000 到 2000 条记录 是否可以制作多个UPSERT 查询 in Yii2 请帮助我提供您的建议 答案 谢谢 从版本 2 0 14 开始 您可以使用 upsert
  • pandas:添加具有其他两列中任意一列的值的新列

    pd DataFrame A None 2 None None 3 4 B 1 2 3 4 5 6 A B 0 NaN 1 1 2 2 2 NaN 3 3 NaN 4 4 3 5 5 4 6 如何添加列C这将从列中获取值A如果不是 NaN
  • 如何将车辆品牌的 NCIC 代码值转换为 DCCIS 代码值?

    业务分析师告诉业务规则这已经改变了 现在他们希望我首先检查 计数 以查看是否有多个 NcicCode 在 VehicleMakeMapping 查找文档中 与 MncisCode 在输入文档中 匹配 如果 VehicleMakeMappin
  • Xcode 5.1 构建 opencv 在 64 位模拟器上失败

    我将 Xcode 更新到 5 1 使用 opencv 框架 2 4 的 iOS 应用程序项目中出现了许多错误 我的电脑是 macbook air 和 OSX 10 9 2 当我编译我的项目时 当我使用 Iphone Retina 3 5 英
  • ssis中动态表创建和加载数据

    我对 ssis 有一点疑问 文本文件具有基于位置的位置数据 需要在 sql server 中动态创建表并使用 ssis 包加载相关位置数据 源文本文件具有如下所示的示例数据 编号 名称 地点 1 abc 海德 2 巴努 陈 3 杰 邦 4