程序员经验分享-hwhale

从平面文件向 SQL Server 插入数百万条记录有哪些陷阱？

2024-02-24

我即将开始编写一个 Windows 窗体应用程序，该应用程序将打开一个以竖线分隔且大小约为 230 mb 的 txt 文件。然后，该应用程序会将这些数据插入到 sql server 2005 数据库中（显然这需要快速发生）。我在这个项目中使用 c# 3.0 和 .net 3.5。

我并不是要这个应用程序，只是在这里提供一些公共建议和潜在的陷阱建议。从我收集到的网站来看，SQL 批量复制是先决条件，有什么我应该考虑的（我认为仅使用表单应用程序打开 txt 文件将是一项艰巨的任务；也许将其分解为 blob 数据？）。

谢谢，如果有人需要，我会编辑问题以使其清晰。


你必须写一个winforms应用程序吗？使用 SSIS 可能会更容易、更快。有一些内置任务特别可用批量插入任务 http://denster.spaces.live.com/Blog/cns!125D53A08EC75357!1210.entry.

另外，值得检查SQL Server 2005 中的平面文件批量导入方法速度比较。 http://weblogs.sqlteam.com/mladenp/articles/10631.aspx

更新：如果您是 SSIS 新手，请查看其中一些网站以帮助您快速入门。 1）SSIS 控制流基础知识 http://www.jumpstarttv.com/ssis-control-flow-basics_201.aspx 2) SQL Server 集成服务入门 http://www.developer.com/db/article.php/3635316

这是另一个如何：将Excel文件导入SQL 2005 http://www.builderau.com.au/program/sqlserver/soa/How-to-import-an-Excel-file-into-SQL-Server-2005-using-Integration-Services/0,339028455,339285948,00.htm.

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

c

sqlserver

sqlserver2005

SSIS

bulkinsert

从平面文件向 SQL Server 插入数百万条记录有哪些陷阱？ 的相关文章

  • 在 C 语言中，为什么数组的地址等于它的值？

    在下面的代码中 指针值和指针地址与预期不同 但数组值和地址则不然 怎么会这样 Output my array 0022FF00 my array 0022FF00 pointer to array 0022FF00 pointer to a

  • 在 C++ 代码中转换字符串

    我正在学习 C 并开发一个项目来练习 但现在我想在代码中转换一个变量 字符串 就像这样 用户有一个包含 C 代码的文件 但我希望我的程序读取该文件并插入将其写入代码中 如下所示 include

  • Selenium - C# - Webdriver - 无法找到元素

    在 C 中使用 selenium 我试图打开浏览器 导航到 Google 并找到文本搜索字段 我尝试下面的 IWebDriver driver new InternetExplorerDriver C driver Navigate GoT

  • 如何安全地使用保留的 SQL 名称？

    我正在使用 Cakephp 3 使用 sqlserver 作为数据源服务器 我确信我的数据库连接没有问题 因为 home ctp 提示我已连接到我的数据库 并且我还使用迁移插件来创建我的表 似乎使用它没有问题这些工具 但是在我烘焙 MVC

  • 为什么这个 makefile 在“make clean”上执行目标

    这是我当前的 makefile CXX g CXXFLAGS Wall O3 LDFLAGS TARGET testcpp SRCS main cpp object cpp foo cpp OBJS SRCS cpp o DEPS SRCS

  • JavaScript 错误：MVC2 视图中的条件编译已关闭

    我试图在 MVC2 视图页面中单击时调用 JavaScript 函数 a href Select a JavaScript 函数 function SelectBenefit id code alert id alert code 这里 b

  • Unity手游触摸动作不扎实

    我的代码中有一种 错误 我只是找不到它发生的原因以及如何修复它 我是统一的初学者 甚至是统一的手机游戏的初学者 我使用触摸让玩家从一侧移动到另一侧 但问题是我希望玩家在手指从一侧滑动到另一侧时能够平滑移动 但我的代码还会将玩家移动到您点击的

  • 来自嵌入图像的 BitmapSource

    我的目标是在 WPF 窗口上重写 OnRender 方法中绘制图像 someImage png 它是嵌入资源 protected override void OnRender System Windows Media DrawingCont

  • 测量进程消耗的 CPU 时钟

    我用 C 语言编写了一个程序 它是作为研究结果创建的程序 我想计算程序消耗的确切 CPU 周期 精确的循环次数 知道我怎样才能找到它吗 The valgrind tool cachegrind valgrind tool cachegrin

  • 如何在 Javascript 中连接 C# ActiveX 事件处理程序

    我尝试使用几个代码片段将 ActiveX 对象与 Javascript 事件处理程序挂钩 我无法确定为什么事件处理程序没有被调用 带有项目的 Github 存储库 https github com JesseKPhillips Csharp

  • 我们可以通过指针来改变const定义的对象的值吗？

    include

  • 读取依赖步行者输出

    I am having some problems using one of the Dlls in my application and I ran dependency walker on it i am not sure how to

  • .NET 和 Mono 之间的开发差异

    我正在研究 Mono 和 NET C 将来当项目开发时我们需要在 Linux 服务器上运行代码 此时我一直在研究 ASP NET MVC 和 Mono 我运行 Ubuntu 发行版 想要开发 Web 应用程序 其他一些开发人员使用 Wind

  • 如何重置 SQL Server 中表的 IDENTITY 列？ [复制]

    这个问题在这里已经有答案了 我怎样才能重置我的IDENTITY我已经填充的表中的列 我尝试过类似的方法 但它不起作用 WITH TBL AS SELECT ROW NUMBER OVER ORDER BY profile id AS RN

  • 在哪里可以找到 Microsoft.Build.Utilities.v3.5

    如何获取 Microsoft Build Utilities v3 5 我正在使用 StyleCop 4 7 Stylecop dll 中的 StyleCop msbuild 任务似乎依赖于 Microsoft Build Utilitie

  • 如何编写一个接受 int 或 float 的 C 函数？

    我想用 C 语言创建一个扩展 Python 的函数 该函数可以接受 float 或 int 类型的输入 所以基本上 我想要f 5 and f 5 5 成为可接受的输入 我认为我不能使用if PyArg ParseTuple args i v

  • 如何获取带有某个属性注释的所有属性？

    我刚刚从 Roslyn 开始 我想找到所有用属性名称 OneToOne 注释的属性 我启动了 SyntaxVisualizer 并能够获取对该节点的引用 但我想知道是否有更简单的方法来实现此目的 这就是我所拥有的 var prop docu

  • ContentDialog Windows 10 Mobile XAML - 全屏 - 填充

    我在项目中放置了一个 ContentDialog 用于 Windows 10 上的登录弹出窗口 当我在移动设备上运行此项目时 ContentDialog 未全屏显示 并且该元素周围有最小的填充 在键盘上可见 例如在焦点元素文本框上 键盘和内

  • 如何为有时异步的操作创建和实现接口

    假设我有数百个类 它们使用 计算 方法实现公共接口 一些类将执行异步 例如读取文件 而实现相同接口的其他类将执行同步代码 例如将两个数字相加 为了维护和性能 对此进行编码的好方法是什么 到目前为止我读到的帖子总是建议将异步 等待方法冒泡给调

  • 如何在 ASP.NET Core 中注入泛型的依赖关系

    我有以下存储库类 public class TestRepository Repository

随机推荐

  • 如何读取haskell类型签名？

    所以我把这个声明放在我的ghci上 jkl x f y f map y x 我把这个放回去了 jkl Num b gt b gt b gt t gt b gt t 但当我读到它时我很困惑 根据我的理解 jkl 是 num 类型 它采用 b

  • 如何用 gulp-rev 的输出替换 index.html 中列出的文件名？

    我在用着gulp rev https www npmjs org package gulp rev 构建我可以设置的静态文件永不过期 http developer yahoo com performance rules html expir

  • 使用服务帐户访问 Google Analytics API

    我可以使用客户端应用程序中的服务帐户访问 Google Analytics 数据吗 如果没有 是否有其他方法可以达到相同的结果 必须完全是客户端的 并且不能要求用户进行身份验证 因此需要使用服务帐户 是的 你可以在https code go

  • 用于 DOM 的 Gecko API

    Gecko 是否公开了直接使用其 DOM 的 API 我正在寻找像 HtmlElement 这样的类 可用于构建 遍历 HTML 内容树 我正在尝试将 Gecko 作为桌面应用程序中的 Web 浏览器控件托管 并且更喜欢直接 API 而不是

  • NuGet Pack：忽略默认包含

    这与我通常读到的问题相反 即人们试图获取 NuGet 包中包含的文件 我试图stop文件被自动包含 我正在创建一个预编译的 MVC 视图模板库 使用 RazorGenerator Mvc less文件和 JavaScript 来根据需要支持

  • 如何为 Flutter 中禁用的文本表单字段标签设置颜色主题？

    我想在我的 Flutter 应用程序中禁用文本字段的标签上应用一个主题 因为我现在的灰色很难阅读 我想将其应用到我的整个应用程序 所以我想使用主题 但是 我没有找到任何解决方案可以让我自定义标签的文本样式仅当文本表单字段被禁用时 如何在 F

  • Thunderbird 议程本机系统通知？ [关闭]

    Closed 这个问题是与编程或软件开发无关 help closed questions 目前不接受答案 几周来我一直在寻找这个问题的答案 我想我可能会直接问这个问题 我在 Windows 10 上使用 Thunderbird 102 6

  • 使用 PHP 5.5 在 Amazon EC2 上安装 pdo_mysql

    我创建了一个 Amazon Linux AMI 2013 09 02 服务器并安装了以下内容 yum install php55 php55 mbstring php55 soap php55 gd php55 mcrypt php55 p

  • 在 Procfile 中启动多个工作进程（开发环境与 Heroku）

    我有一个简单的 Procfile 内容如下 web bundle exec rails server thin p PORT worker bundle exec rake jobs work 在 Heroku 上 这将启动 N 个工作任务

  • Java HashMap 数组大小

    我正在阅读Java 8 HashMap的实现细节 谁能告诉我为什么Java HashMap初始数组大小具体是16 16岁有什么特别之处 为什么总是两个人的力量 谢谢 2 的幂之所以到处出现 是因为当用二进制表示数字时 就像在电路中一样 2

  • 我们如何为 pom.xml 创建一个 build.gradle 等效文件来构建和部署 AEM 代码？

    我正在尝试创建一个构建 gradle文件 例如完整的 pom xmlAEM Maven 原型 https github com Adobe Marketing Cloud aem project archetype or 懒骨头模板 htt

  • 将 id 分开并存储在两个不同的数组中

    NSString string vlaue Highlight 1234 1235 1236 1237 Issuer 100 101 102 103 我需要将 1234 1235 1236 1237 存储在一个数组中 100 101 102

  • 自动激活Maven中的父插件

    是否可以在父 POM 中定义一个已停用的插件 并且当子项目继承此插件时 它会自动激活 我猜您想在父 pom 中配置该插件 但仅在继承的项目中使用它 Maven 有一个专门的部分 在pluginManagement 中配置你的插件 但在你需要

  • 超线程/SMT 是一个有缺陷的概念吗？

    HT SMT 背后的主要思想是 当一个线程停止时 同一核心上的另一个线程可以选择该核心的其余空闲时间并透明地与之一起运行 2013 年 英特尔放弃了 SMT 转而采用乱序执行 Silvermont 处理器核心 因为他们发现这可以提供更好的性

  • 如何在JSP中访问请求属性？

    目前我使用 and then 但是我想知道是否可以使用 EL 或 JSTL 而不是使用 scriptlet 来完成同样的操作 EL表达式 requestScope Error Message JSP EL 中有几个隐式对象 看表达语言 ht

  • 如何使用 Javascript 截断/切片/修剪字符串中的最后一个字符？

    我有一根绳子 12345 00 我希望它返回12345 0 我看过trim 但看起来它只是修剪空白并且slice我不明白这是如何运作的 有什么建议么 您可以使用子串 https developer mozilla org en US doc

  • 如何获取具有唯一属性的对象列表

    背景 我有一个list This list有很多对象 每个对象都有一个id 现在对象有不同的类型 objects Aobject Bobject Cobject where gt gt gt Aobject Bobject True gt

  • 在 Go 中，我们可以使用每个键的锁来同步映射的每个键吗？

    在 Go 中 我们可以使用每个键的锁来同步映射的每个键吗 地图级全局锁总是需要的吗 文档说任何对地图的访问都不是线程安全的 但如果有一把钥匙 那么可以单独上锁吗 不完全是 但如果您只是从地图上读取指针并修改所指对象 那么您就没有修改地图本身

  • 我可以使用从其他项目链接的文件夹中的视图吗？

    我在一个解决方案中有多个 MVC 项目 按照这个接受的答案 Visual Studio 项目中文件夹的 添加为链接 https stackoverflow com questions 3610845 add as link for fold

  • 从平面文件向 SQL Server 插入数百万条记录有哪些陷阱？

    我即将开始编写一个 Windows 窗体应用程序 该应用程序将打开一个以竖线分隔且大小约为 230 mb 的 txt 文件 然后 该应用程序会将这些数据插入到 sql server 2005 数据库中 显然这需要快速发生 我在这个项目中使用

热门标签