共享组件(有码):将文件中数据导入到DataTable

2023-05-16

(08-11-29日更新,增加了Xls和Xlsx文件导入支持)

1. 功能:
1.1. 自由配置文件格式:生成的DataTable的主键、文件内容中是否有表头、列分隔符、列是否可空、列中数据类型(String型可加长度限制)、列是否导进DataTable(过滤文件中的列,不读入DataTable);
1.2. 支持TXT、CSV、XLS、XLSX四种格式;
1.3. 生成错误信息报告:支持读到N条错误数据后,终止文件解析(N在config文件中配置);
1.4. 解析大文件时,支持行读;
1.5. 支持传入文件名或者Stream(例如Web上传后直接取得数据流)

 

2. 使用示例:

2.1 数据文件(数据保存成DemoDataFile.txt)

happyhippy|other info| 1984 - 9 - 11 |
test|unuseful info|
9999 - 12 - 30 | 0

或(带表头信息的数据):

雇员姓名|无用信息不用导入|生日|薪水
happyhippy|other info|
1984 - 9 - 11 |
test|unuseful info|
9999 - 12 - 30 | 0

 

2.2 配置定义 

ContractedBlock.gif ExpandedBlockStart.gif Code
<?xml version="1.0" encoding="utf-8" ?>
<DataTableSchema>
  
<FileType Ext="csv" HasHeader="true"/>
  
<FileType Ext="txt" CellSplit="," HasHeader="true"/>
  
<FileType Ext="xls" HasHeader="true"/>
  
<FileType Ext="xlsx" HasHeader="true"/>
  
<Columns>
    
<Column Name="EmployeeName" Type="System.String" Length="50" Description="雇员姓名" PrimaryKey="true"></Column>
    
<Column Name="Birthday" Type="System.DateTime" Description="生日" AllowNull="true"></Column>
    
<Column Name="Salary" Type="System.Decimal" Description="薪水" AllowNull="false"></Column>
  
</Columns>
</DataTableSchema>

各个属性代表的意思:
FileType节点:CellSplit:列分隔符;HasHeader:文件内容中是否有表头(如果设成了true,则文件中的表头必须跟配置文件中的列的Description字段一致);
Column节点:PrimaryKey:指定生成的DataTable的主键(默认false);AllowNull:设定是否可空(默认true);Type:列中数据类型(无默认值,必须指定;String型须加长度限制);Used:列是否导进DataTable(默认true)

 

2.3 导入结果

 

 

2.4 调用示例代码(4种读取方式)

ContractedBlock.gif ExpandedBlockStart.gif Code
XmlDocument dom = new XmlDocument();
dom.Load(
"demoSchema.xml"); //可以将配置定义放在数据库或其他地方
string schema = dom.InnerXml;

ImportTxtFile(schema);
ImportXlsFile(schema);

        
private static void ImportXlsFile(string schema)
ExpandedBlockStart.gifContractedBlock.gif        
{
            
string fileFullName = "Excel.xls";
            DataTable resultDT 
= null;
            
try
ExpandedSubBlockStart.gifContractedSubBlock.gif            
{
                
//法1:传入文件名,按schema中的配置进行解析
                resultDT = ImportHelper.Import(fileFullName, schema);

                
//法2:文件流解析
                using (Stream fileStram = new FileStream(fileFullName, FileMode.Open, FileAccess.Read))
ExpandedSubBlockStart.gifContractedSubBlock.gif                
{
                    resultDT 
= ImportHelper.Import(fileStram, schema, FlatFileType.XLS);
                }


                
//法3:如果数据量大,可以进行行读:
                using (FlatFileReader reader = FlatFileReader.GetFlatFileReader(fileFullName, schema))
ExpandedSubBlockStart.gifContractedSubBlock.gif                
{
                    reader.CheckHeadRow();
                    
int totelCount = 0//记录读了多少行
                    while (reader.Read())
ExpandedSubBlockStart.gifContractedSubBlock.gif                    
{
                        
if (reader.ReadRow(totelCount + 1))
                            totelCount
++;
                        
if (totelCount % 500 == 0//每批读500条记录
ExpandedSubBlockStart.gifContractedSubBlock.gif
                        {
                            resultDT 
= reader.GetResultTable();//接下来可以对resultDT进行处理
                            reader.ClearResultTable();
                        }

                    }

                    
if (totelCount % 500 > 0)
ExpandedSubBlockStart.gifContractedSubBlock.gif                    
{
                        resultDT 
= reader.GetResultTable(); //最后一批记录
                        
//接下来可以对resultDT进行处理
                    }


                    
if (reader.ErrorInfoTable != null && reader.ErrorInfoTable.Rows.Count > 0)
                        
throw new ErrorFileException("解析文件出错", reader.ErrorInfoTable);
                }

            }

            
catch (ErrorFileException efex)
ExpandedSubBlockStart.gifContractedSubBlock.gif            
{
                DataTable errorInfoTable 
= efex.ErrorInfoDataTable;//存储了错误信息的DataTable
            }

        }


        
private static void ImportTxtFile(string schema)
ExpandedBlockStart.gifContractedBlock.gif        
{
            
string fileFullName = "DemoDataFile.txt";
            DataTable resultDT 
= null;
            
try
ExpandedSubBlockStart.gifContractedSubBlock.gif            
{
                
//法1:传入文件名,按schema中的配置进行解析
                resultDT = ImportHelper.Import(fileFullName, schema);

                
//法2:文件流解析
                using (Stream fileStram = new FileStream(fileFullName, FileMode.Open, FileAccess.Read))
ExpandedSubBlockStart.gifContractedSubBlock.gif                
{
                    resultDT 
= ImportHelper.Import(fileStram, schema, FlatFileType.TXT);
                }


                
//法3:如果数据量大,可以进行行读:
                using (FlatFileReader reader = FlatFileReader.GetFlatFileReader(fileFullName, schema))
ExpandedSubBlockStart.gifContractedSubBlock.gif                
{
                    reader.CheckHeadRow();
                    
int totelCount = 0//记录读了多少行
                    while (reader.Read())
ExpandedSubBlockStart.gifContractedSubBlock.gif                    
{
                        
if (reader.ReadRow(totelCount + 1))
                            totelCount
++;
                        
if (totelCount % 500 == 0//每批读500条记录
ExpandedSubBlockStart.gifContractedSubBlock.gif
                        {
                            resultDT 
= reader.GetResultTable();//接下来可以对resultDT进行处理
                            reader.ClearResultTable();
                        }

                    }

                    
if (totelCount % 500 > 0)
ExpandedSubBlockStart.gifContractedSubBlock.gif                    
{
                        resultDT 
= reader.GetResultTable(); //最后一批记录
                        
//接下来可以对resultDT进行处理
                    }


                    
if (reader.ErrorInfoTable != null && reader.ErrorInfoTable.Rows.Count > 0)
                        
throw new ErrorFileException("解析文件出错", reader.ErrorInfoTable);
                }

            }

            
catch (ErrorFileException efex)
ExpandedSubBlockStart.gifContractedSubBlock.gif            
{
                DataTable errorInfoTable 
= efex.ErrorInfoDataTable;//存储了错误信息的DataTable
            }

        }


 

3. 源代码下载:Happyhippy.ImpotFile.rar 

4. 程序结构:

 

5. 遗留问题:
5.1. CSV读取方式中,禁止将内容转换成数字;

转载于:https://www.cnblogs.com/happyhippy/archive/2008/10/29/1321758.html

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

共享组件(有码):将文件中数据导入到DataTable 的相关文章

  • 本地调试spark报org.apache.hadoop.io.nativeio.NativeIO$Windows.createFile...

    本地调试spark xff0c saveAsText 报错 org apache hadoop io nativeio NativeIO Windows createFileWithMode0 Ljava lang String xff1b
  • Element表格分页数据选择+全选所有完善批量操作

    后台管理系统中的列表页面 xff0c 一般都会有对列表数据进行批量操作的功能 xff0c 例如 xff1a 批量删除 批量删除等 之前项目中只是简单的用到Element框架中常规的属性 事件 在一次机缘巧合下 xff0c 了解到一个公司内部
  • idea本地调试web报“There is no configured/running web-servers found! Please, run any web-config”...

    为什么80 的码农都做不了架构师 xff1f gt gt gt 本文永久更新地址 xff1a https my oschina net bysu blog 3051091 1 按照网上的各种配置 如下图 还是不行 2 网上还说要先run才行
  • Visual Studio Code语言设置为中文

    1 Visual Studio Code下载安装 https code visualstudio com 2 语言设置 2 1 快捷键 Windows Linux 快捷键是 xff1a ctrl 43 shift 43 p macOS 快捷
  • 查看zookeeper注册中心是否有注册服务

    为什么80 的码农都做不了架构师 xff1f gt gt gt 查看zookeeper注册中心是否有注册服务可以在服务器上看 xff0c 也可以在dubboadmin看哦 1 在服务器上看 xff1a 1 xff09 查找zookeeper
  • matplotlib 设置图形大小时 figsize 与 dpi 的关系

    matplotlib 中设置图形大小的语句如下 xff1a fig 61 plt figure figsize 61 a b dpi 61 dpi 其中 xff1a figsize 设置图形的大小 xff0c a 为图形的宽 xff0c b
  • iOS- SQLite3的基本使用

    iOS 简单说说iOS移动客户端SQLite3的基本使用 1 为什么要使用SQLite3 xff1f 大量数据需要存储 管理数据 xff0c 存储数据 SQLite是一种关系型数据库 xff08 也是目前移动客户端的主流数据库 xff09
  • Daily Scrum: 2012/12/8

    成员角色今天工作明天计划王安然PM Dev已请假 xff0c 开会 继续开会 黄杨PM Dev已收拾skynet的小问题并且通过测试 xff08 312 xff09 xff0c 编写武器项cracker xff08 313 xff09 完成
  • 【Python】控制鼠标点击

    from pymouse import PyMouse m 61 PyMouse a 61 m position 获取当前坐标的位置 print a m move 50 500 鼠标移动到 x y 位置 a 61 m position pr
  • C++ 标准程序库std::string 详解

    现在一般不再使用传统的char 而选用C 43 43 标准程序库中的string类 xff0c 是因为string标准程序和char 比较起来 xff0c 不必担心内存是否足够 字符串长度 等等 xff0c 而且作为一个类出现 xff0c
  • Lighttpd 搭建 Web 服务器

    背景 xff1a 公司项目用到了lighttpd xff0c 由于自己没有接触过 xff0c 所以做下记录 简介 xff1a Lighttpd 是一个德国人领导的开源Web服务器软件 xff0c 其根本的目的是提供一个专门针对高性能网站 x
  • lua中.和:的区别

    2019独角兽企业重金招聘Python工程师标准 gt gt gt lua中 和 都可以用于方法的声明和调用 和table配合使用 和 最大的不同点 xff0c 就是 xff1a 会把调用者自身 xff0c 传入到函数中 如下代码 xff1
  • 一个很有意思的玩意:FlightGear,开源飞机模拟器

    你一定很想知道开F22战机是什么感觉 xff0c 甚至梦想有一天自己也能驾驭着飞机在空中飞翔 现实生活中 xff0c 做飞行员可不是一件简单的事 xff0c 既然如此 xff0c 我们就别想那么多 xff0c 但有了FlightGear这个
  • 第二学期无人机操作师结业复习测试

    无人机操作师结业复习测试 姓名 xff1a 学号 xff1a 得分 xff1a xff08 本套试卷考试时间为90分钟 xff0c 共分选择题 判断题 填空题 问答题四大部分 xff0c 总分100分 xff09 一 选择题 xff08 共
  • 误删linux文件恢复

    Linux下文件误删除 xff0c 使用extundelete恢复测试过程 extundelete下载官网地址 xff1a https pkgs org download extundelete 给虚拟主机添加一块磁盘 xff0c 磁盘为
  • POJ训练计划1459_Power Network(网络流最大流/Dinic)

    解题报告 这题建模实在是好建 xff0c xff0c 好贱 xff0c 给前向星给跪了 xff0c 纯dinic的前向星居然TLE xff0c sad xff0c xff0c 回头看看优化 xff0c 矩阵跑过了 2A xff0c sad
  • WIN10下微信崩溃(已经是最新版)的解决方法

    问题症状 xff1a WIN10下运行最新版微信 xff08 CrashVersion 61 1644560715 xff09 微信运行错误 你的微信崩溃次数较多 xff0c 建议使用最新版本 xff0c 点击 34 确定 34 到官网 h
  • golang ----map按key排序

    实现map遍历有序 1 key有序 思路 xff1a 对key排序 xff0c 再遍历key输出value 代码如下 xff1a 既可以从小到大排序 xff0c 也可以从大到小排序 package main import 34 fmt 34
  • egg(102)--egg之用户登录 以及登录时候涉及的一些安全问题

    router router get 39 login 39 initMiddleware controller default pass login router post 39 pass doLogin 39 initMiddleware
  • 火狐浏览器添加MetaMask钱包和本地开启私有链开发

    火狐浏览器添加MetaMask钱包 因为对其配置了代理工具 xff0c 所以直接使用谷歌引擎搜索MetaMask钱包即可 第一次使用 xff0c 立即开始设置 点击我同意 xff0c 进行密码的创建 牢记助记词 xff0c 助记词及其关键

随机推荐

  • Cordova 打包签名 Android release app 过程详解及cordova创建app

    很久之前就想写这篇博客 xff0c 但是一直没有时间 xff0c 今天抽空来整理一下 xff0c 总结一下cordova的创建 打包 签名apk 对于cordova所需的打包环境 xff0c 如node cordova的安装 xff0c 这
  • MySQL【Update误操作】回滚

    1 2 3 4 5 6 7 8 9 10 11 12
  • dart常用正则表达式

    电话号码 xff1a 1开头 xff0c 后面10位数字 static bool isPhone String input RegExp mobile 61 new RegExp r span class hljs string 34 1
  • Less编写函数(mixin/@functions)的小技巧分享

    技术背景 开发移动端Web项目的时候 xff0c 有一种弹性布局的方案是基于rem开发项目 简单来说 xff0c 应用淘宝 lib flexible xff08 虽说有新方案vw xff0c 暂时先不讨论 xff09 后 xff0c 会根据
  • 中科院总共有多少计算机研究所?

    我说的都是招计算机的所哈 北京的 xff1a 中科院计算所 中科院软件所 中科院网络中心 中科院信息工程学院 xff08 其实就是中科院研究生本部 xff09 中科院计算与通信工程学院 中科院自动化所 中科院高能所 还有光电 生物的两个所招
  • iOS objc_setAssociatedObject 关联对象的学习

    今天看了FDTemplateLayoutCell的源码 xff0c 类别里面相当频繁使用了关联对象 xff0c 做笔记 xff01 xff01 xff01 学套路 主要函数 xff1a void objc setAssociatedObje
  • 迭代器、生成器

    迭代器 通过迭代器取值优缺点 xff1a 优点 xff1a 不依赖索引 xff0c 完成取值 缺点 xff1a 不能计算长度 xff0c 不能指定位取值 只能从前往后逐一取值 可迭代对象 可迭代对象 有 iter 方法的对象 xff0c 调
  • 使用androidstudio 分析内存泄漏

    分析内存泄漏 http www jianshu com p c49f778e7acf 转载于 https www cnblogs com sunfb p 5086317 html
  • 详解BASIC认证

    Basic 认证是HTTP 中非常简单的认证方式 xff0c 因为简单 xff0c 所以不是很安全 xff0c 不过仍然非常常用 本文详细讲解BASIC认证的过程及原理 BASIC认证流程 xff1a 在HTTP协议进行通信的过程中 xff
  • 孙子兵法全文及翻译

    第1章 始计 兵者 xff0c 国之大事 xff0c 死生之地 xff0c 存亡之道 xff0c 不可不察也 故经之以五事 xff0c 校之以计 xff0c 而索其情 xff1a 一曰道 xff0c 二曰天 xff0c 三曰地 xff0c
  • Ubuntu安装Google浏览器

    下载谷歌浏览器 直接使用Ubuntu自带的火狐浏览器进行下载 默认下载到 tmp临时文件夹里面 xff0c 考虑到权限问题 xff0c 需要将其移动到 Downloads文件夹下面使用命令 sudo mv goo xff08 Tab xff
  • ArcGIS中的多个栅格波段合成一幅影像

    此处用到了ArcGIS栅格处理中的Composite Bands工具 xff08 Data Management Tools gt Raster gt Raster Processing xff09 具体操作如下图所示
  • Sourcetree 更新git账号密码

    删除Sourcetree 缓存文件 只需要删密码文件 xff0c 文件位置 xff1a Mac xff1a Library Application Support SourceTree Windows xff1a C Users USERN
  • Vue.js仿一个购买火车票的app

    项目地址 预览的时候如果是用电脑预览的话请切换手机端预览地址源码地址 xff08 欢迎点赞 lt xffe3 xffe3 gt xff09 项目描述 主要技术 使用vue js实现单页应用使用vue Router处理路由使用vuex实现数据
  • k8s ingress获取真实IP地址配置

    背景 业务架构 xff1a Client gt WAF gt LB gt ECS gt 容器 问题 xff1a 在容器中获取不到真实的客户端公网IP 抓包分析 1 在ECS上的抓包分析 xff0c 看到WAF已经将 真实客户端地址放到了 x
  • 华为视频终端默认的Web页面用户名和密码是多少

    在将华为视频会议系统安装好之后我们需要进终端web管理页面设置 xff0c 但是很多朋友并不知道默认的用户名和密码是多少 xff0c 今天我们就来说说华为视频会议终端默认的web页面默认的用户名密码是多少吧 华为视频会议终端9030 800
  • 缺省vlan的简单介绍

    什么是缺省vlan xff1f 首先要理解什么是vlan xff1f 简单点说vlan就是可以把一个LAN划分成多个逻辑的LAN VLAN xff0c 每个VLAN是一个广播域VLAN内的主机间通信就和在一个LAN内一样 xff0c 而VL
  • 解决:The declared package does not match the expected package

    2019独角兽企业重金招聘Python工程师标准 gt gt gt 这个问题让人挺头疼 xff0c 看网上答案很多 xff0c 但是这个比较靠谱 xff0c 原理也说清楚了 xff0c 并且已经解决了我的问题 xff1a Maven 61
  • IOS破解软件,比较全的网站。

    转载于 https blog 51cto com 14259888 2369621
  • 共享组件(有码):将文件中数据导入到DataTable

    08 11 29日更新 xff0c 增加了Xls和Xlsx文件导入支持 1 功能 xff1a 1 1 自由配置文件格式 xff1a 生成的DataTable的主键 文件内容中是否有表头 列分隔符 列是否可空 列中数据类型 String型可加