程序员经验分享-hwhale

大型数据集的报告工具/查看器

2024-06-26

我有一个数据处理系统，可以根据其处理的数据生成非常大的报告。我所说的“大”是指该系统的“小”执行在转储到 CSV 文件中时会产生大约 30 MB 的报告数据，而大数据集大约为 130-150 MB（我确信有人有更大的想法） “大”，但这不是重点......；）

Excel 以数据列表的形式为报表使用者提供了理想的界面：用户可以即时过滤和分段数据，以查看他们感兴趣的具体细节（因为他们对许多数据并不真正感兴趣）。数千行，他们知道如何应用多个过滤器来获取他们想要的数据） - 他们还可以向报告添加注释和标记，创建图表、图形等...他们知道如何完成所有这些，而且更容易只要我们给他们数据，他们就可以做到。

Excel 非常适合小型测试数据集，但它无法处理这些大型测试数据集。有谁知道有一个工具可以提供与 Excel 数据列表类似的界面 - 能够动态创建和更改多个字段的过滤器；但可以处理更大的文件吗？

我尝试的下一个工具是 MS Access，发现 Access 文件膨胀得很厉害（30 MB 输入文件导致大约 70 MB Access 文件，当我打开该文件、运行报告并关闭它时，文件大小为 120-150 MB ！），导入过程很慢并且非常手动（目前，CSV 文件是由运行主进程的同一 plsql 脚本创建的，因此我几乎不需要干预）。我还尝试了一个 Access 数据库，该数据库将表链接到存储报告数据的数据库表，而且速度要慢很多倍（出于某种原因，sqlplus 可以在一分钟内查询并生成报告文件，而 Access 则需要 2-相同数据需要 5 分钟）

（如果有帮助的话，数据处理系统是用 PL/SQL 编写的，并在 Oracle 10g 上运行。）


在这种情况下，Access 将是一个很好的工具，因为与 excel 不同，它没有实际的行限制。困难的部分是当人们习惯了自定义过滤器的强大功能后，让他们摆脱对 Excel 的依赖。在 access 中很有可能得到与此近似的东西，但它永远不会完全相同，除非您将 Excel 控件嵌入到表单中。

至于手动部分，您可以使用VBA编写数据库脚本来导入文件。例如，假设您的主要任务是将夜间的文件转储到每晚都有新文件的文件夹中。您可以创建一个“看门狗”访问数据库，其中打开一个带有“OnTimer”事件的表单，该事件每隔几分钟查看该文件夹，当它找到新文件时，就会开始导入。当您的用户早上上班时，数据已经加载。

至于膨胀，是的，这可能是一个问题，但是您所需要做的就是快速压缩和修复文件，它就会缩小它。

EDIT:

您可以通过选项设置要在关闭时压缩的访问数据库。我记不清它在哪里了，在工作中我们只能访问 97（但奇怪的是 Office 2003）。另一种选择是通过代码进行压缩。这是一个解释如何操作的链接

http://forums.devarticles.com/microsoft-access-development-49/compact-database-via-vba-24958.html http://forums.devarticles.com/microsoft-access-development-49/compact-database-via-vba-24958.html

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

sql

Excel

msaccess

report

reportviewer

大型数据集的报告工具/查看器 的相关文章

  • 原则 2 使用 LIKE 进行查询

    我有这个查询代码 repository em gt getRepository AcmeCrawlerBundle Trainings query repository gt createQueryBuilder p gt where p

  • SQL 中的 Snowflake 脚本 - 如何迭代 SHOW 命令的结果？

    我正在查看新的 SQL Snowflake 脚本 预览版 但我不知道如何迭代SHOW命令 特别是当某些列是小写时 https docs snowflake com en developer guide snowflake scripting

  • 如何创建针对不同渠道不同的数据库序列？

    我们有一个要求 即需要为不同的渠道维护不同的数据库序列 例如 ABC SQN1 XYZ 1 序列号需要根据通道递增 有没有办法我们可以实现它 Thanks 你的问题不清楚 请更详细地描述要求 我知道你想要一些序列并有条件地增加它们 这样 c

  • 如何使用Cluecumber生成报告？

    如何使用生成自动化测试报告克卢坎伯 https github com trivago cluecumber report plugin 将 Cluecumber 插件添加到您的 pom 文件中 截至撰写本文时 最新版本是 2 3 4 但这可

  • 有没有办法刷新 Oracle 中 PL/SQL 的输出？

    我有一个从 shell 脚本中调用的 SQL 脚本 需要很长时间才能运行 目前它包含dbms output put line不同点的声明 这些打印语句的输出会出现在日志文件中 但仅在脚本完成后才会出现 有什么方法可以确保脚本运行时输出出现在

  • 哪个 SQL 语句更快？ （有与在哪里......）

    SELECT NR DZIALU COUNT NR DZIALU AS LICZ PRAC DZIALU FROM PRACOWNICY GROUP BY NR DZIALU HAVING NR DZIALU 30 or SELECT NR

  • 根据多列删除重复项

    我使用以下内容列出了重复项 select s MessageId t from Message s join select ToUserId FromUserId count as qty from Message group by ToU

  • 检查行是否存在，Laravel

    我有以下数据库结构 items id name user id users table id name user favorites table id user id item id 在我的项目永久链接页面上 我有一个 添加到收藏夹 按钮

  • excel vba范围单元格错误对象定义[重复]

    这个问题在这里已经有答案了 我一直在 Excel 中开发一个宏 该宏对一张工作表 次要 中的表格进行排序 当满足条件时 它应该将该表中的数据添加到第二张工作表 Sheet1 中的另一个表格中 但是我一直运行时出现 1004 错误 对象未定义

  • 编写 MySQL 查询以获得所需结果

    我正在使用 MySQL 数据库 风险因素有四种类型 严重 高 中 低 表包含如下数据 id uaid attribute value time risk factor 1 1234 Edge Exist 16123 NONE 2 1234

  • 在 CodeIgniter、SQL 中调用布尔值的成员函数 result()

    我试图根据搜索关键字查看 data results 中有哪些数据 但每次都会出现上述致命错误 有人可以帮助我吗 我的控制器 public function execute search search term this gt input g

  • Sql Server 2008 强制日期从 dd/MM/yyyy 到 MM/dd/yyyy

    我在 sql server 2008 上遇到了一个奇怪的问题 我试图用dd MM yyyy格式写入sql server 2008 但是插入日期后它会自动转换为MM dd yyyy 注意 我的电脑时钟格式是dd MM yyyy 我的报告查看器

  • 具有多个表的 SQL select 语句

    给出以下两个表 Person table id pk first middle last age Address table id pk person id fk person id street city state zip 如何创建返回

  • 当 COUNT(*) 为 NULL 时，GROUP BY 返回 0

    这是我原来的查询 SELECT CAST IndexedDate as varchar COUNT AS Logins FROM Table WHERE EventType Login AND IndexedDate gt DATEADD

  • End using 是否关闭打开的 SQL 连接

    如果我将 SQLConnection 包装在 using 中 我应该关闭它还是最终 using 处理它 using cn as new system data sqlclient sqlconnection cn open do a bun

  • 在 VBScript 中的 SQL 字符串中使用 Excel 命名范围

    我已经在这里和谷歌上搜索过 但仍然无法解决我的问题 我正在尝试在我的中等效地使用 Excel 的命名范围 vbs文件 下面的代码可以在 excel 中的 VBA 中运行 但我无法让它在 vbs file ThisWorkbook Sheet

  • 在 Windows 服务中使用 OleDb 从 Excel 读取数据？

    免责声明 我知道这是一种不好的做事方式 这是我们与客户的唯一选择 Problem 我们需要每隔 x 时间从 Excel 文件读取数据 数据通过第三方 Excel 插件不断变化 应用程序的环境是 Windows XP SP1 和 Net 2

  • 剥离 OLE 标头信息 (MS Access / SQL Server)

    我有一个 C 应用程序需要支持二进制数据库内容 图像等 当使用 MS Access 或 MS SQL Server 时 此数据被包装在 OLE 对象内 如何去除此 OLE 标头信息 请注意 我不能只查找特定标签的开头 因为内容可以是 png

  • Excel幂查询——聚合连续“传递”重叠时间间隔

    我正在尝试使用 Excel 强力查询将下面给出的表 1 聚合到表 2 目标是将同一组的连续时间间隔合并到一行中 对于像事件 5 和事件 6 这样的直接重叠 这非常容易 但这种方法仅合并事件 1 和 2 以及 2 和 3 从而产生两个条目 参

  • 为什么即使代码运行良好，VBA 也会显示“（未响应）”？

    我在许多不同的 VBA 程序中都遇到过这个问题 所以我想我可能在 Excel 或 VBA 编辑器中设置了一些不正确的设置 老实说 在网上搜索了很多之后我还是一无所知 基本上 我将运行一段正常的代码 并且应用程序 Excel 和 VBA 编辑

随机推荐

  • 如何设置验证消息的顺序？

    我们使用 错误消息 XPage 本机 控件向用户显示验证错误 有用 通过根据需要设置字段并输入字段错误消息来完成验证 没什么特别的 现在的要求是将错误消息设置为与表单中出现的顺序相同的顺序 这可能吗 我想我可以创建一个自定义验证器 Java

  • 如何根据单元格中输入的文本内容增加jtable中行的高度

    我有一个可编辑的jtable 当用户用文本写入单元格时 如果输入的文本更适合单元格的大小 则表格中的行的高度必须增加以适应用户输入的新文本 您能告诉我如何根据输入的文本行增加行的高度吗 有人能帮我吗 我尝试将 JTextArea 添加到一行

  • 我在不使用互联网或 GPS 的情况下获得电话间隙地理定位中的（纬度、经度）坐标？

    当我在电话间隙地理定位中尝试示例程序时 我在没有互联网或 GPS 的情况下在我的三星 Pop 中获取当前位置的纬度和经度 我不知道当我的设备中的 wifi 和 gps 被禁用时 它如何获取当前位置的坐标 海拔高度和时间戳 请帮助我

  • Google Places 在 extjs4 中自动完成

    我在服务器端使用 extjs4 和 Spring 我需要将 Google Places 自动完成功能集成到 extjs4 表单之一中 有什么办法可以做到这一点吗 我不确定我们是否可以将 Google 自动完成与 extjs 集成 我已经搜索

  • RegistrationsController#create 中的 ActionController::InvalidAuthenticityToken

    您好 我正在使用 Devise 进行用户身份验证 突然我的新用户注册无法正常工作 这是我收到的错误 ActionController InvalidAuthenticityToken Rails root home example app

  • 为什么 PHP 变量以 $ 符号开头？

    有没有人思考过这个问题 为什么我们必须写 var name value 并不是var name value 是的 我知道这是 PHP 使用的语法规则 但为什么它是 标志符号 因为 PHP 是基于 Perl 的 Perl 使用 虽然 Perl

  • 为什么我不能用这个循环从 bash 历史记录中删除多个条目

    这个循环将显示我想要做的事情 但是如果我删除echo从中 它实际上不会删除任何内容 history grep 0 5 0 9 ls cut c1 5 while read id do echo history d id done 我添加了缩

  • Python数学域错误[重复]

    这个问题在这里已经有答案了 我正在编写一个程序来求解二次方程并打印根 在进入主程序之前 我只是想求平方根 我收到的错误是 数学域错误 如果有人能给我一些帮助来解释为什么它不起作用 那就太好了 import math a int sys ar

  • 为什么我在这里得到一个空的注释数组

    根据doc http download oracle com javase 6 docs api java lang reflect Method html getDeclaredAnnotations 28 29并对此answer htt

  • Android ListView，启动新活动

    嘿有人可以告诉我如何通过按列表视图中的项目来启动活动吗 我有一个预感 EDIT 我想我已经修复了它 因为我没有收到错误消息 但是当我开始此活动 视频 时 应用程序崩溃并想要强制关闭 问题是什么 请帮忙 D 这是源代码 com alpha l

  • 有人可以解释一下以下内存分配 C 程序的性能行为吗？

    在我的机器上 时间 A 和时间 B 交换取决于是否A是 定义或未定义 这会改变两个的顺序 callocs 被称为 我最初将此归因于寻呼系统 奇怪的是 当mmap被用来代替calloc 情况更加奇怪 两个循环花费的时间相同 正如预期的那样 作

  • InnoDB vs. MyISAM 插入查询时间

    我有一个大型 MySQL 表 约 1000 万行 6 5G 用于读取和写入 它是MyISAM 由于MyISAM 的所有表写入锁 我获得了很多锁 我决定尝试迁移到 InnoDB 推荐用于读 写表 它只锁定写入时的特定行 转换后 我测试了插入语

  • Swift上传文件到PHP服务器

    因此 我将文件从 swift 上传到 PHP 服务器 POST 请求按预期到达 带有标头和所有内容 但我无法从中获取任何内容 FILES 它只是一个空数组 我显然在 Swift 方面做错了什么 这是我的代码 func testUpload

  • CMake的execute_process和任意shell脚本

    CMake s execute processcommand 似乎只让你执行一个进程 而不是你可以输入命令 shell 的任意行 问题是 我想使用管道 文件描述符重定向等 但这似乎不可能 另一种选择对我来说会非常痛苦 我认为 我应该怎么办

  • 导出的 DLL 函数未按词法排序？

    嗯 今天我遇到了一个奇怪的事情 我不久前编写了自己的 GetProcAddress 版本 用于从远程进程获取函数地址 显然我花了很多时间阅读 PE 架构来找出解决这个问题的最佳方法 根据 PECOFF v8 规范 我认为这是最新的官方规范

  • 无法为非报亭应用程序提交具有自动续订订阅的应用程序[关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我在提交带有自动更新订阅的非报亭应用程序时从未遇到过问题 但当我尝试提交应用程序进行审核时 我刚刚开始看到此错误 免费和自动续订的应用内购

  • 如何快速将云Firestore中的数据保存到变量中？

    我想将文档中的特定字段保存到变量中 到目前为止我的代码 func getDocument path String field String nil gt some Any var returnVar Any DEFAULT VAL var

  • 以编程方式断开和重新连接显示器

    问题 以编程方式断开和重新连接显示器的最佳方法是什么 目标 关闭显示器上的视频输出 黑屏 无背光 然后重新打开 想象一下从显示器上拔下视频线 然后重新插入 我的尝试 Get the monitor to disable uint iDevN

  • TfidfVectorizer 赋予停用词较高的权重

    给出以下代码 import pandas as pd from sklearn feature extraction text import TfidfVectorizer import urllib request the lib tha

  • 大型数据集的报告工具/查看器

    我有一个数据处理系统 可以根据其处理的数据生成非常大的报告 我所说的 大 是指该系统的 小 执行在转储到 CSV 文件中时会产生大约 30 MB 的报告数据 而大数据集大约为 130 150 MB 我确信有人有更大的想法 大 但这不是重点

热门标签