程序员经验分享-hwhale

内存映射 - 部分基于磁盘的算法

2024-02-29

对于可溢出数据结构（即队列），是否有任何好的资源或书籍？

当存储大型对象时，它可能会填满所有内存，但是如果您可以将该队列结构中最常用的项目保留在内存中，并将其余项目保留在磁盘上（有点像分页）。

同样，这个问题也适用于其他结构，例如链表、数组、哈希表等。


有的是缓冲树 http://www.brics.dk/RS/96/28/BRICS-RS-96-28.pdf（PDF，0.6 MB）：

“......开发了一个高效的外部优先级队列并且 （一维）范围树的批量动态版本 和线段树。”

and

“......让我们能够设计高效的外部存储器算法 以简单的方式从已知的内部算法， 这样算法的所有 I/O 特定部分都是 隐藏在数据结构中。”

它是作为更广泛的治疗的一部分而提到的 主题可免费在线获取 书 ”外部存储器的算法和数据结构 http://www.cs.duke.edu/~jsv/Papers/Vit.IO_book.pdf” 作者：Jeffrey Scott Vitter（PDF，1 MB）。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

datastructures

memorymanagement

Disk

内存映射 - 部分基于磁盘的算法 的相关文章

  • 如何在 Windows 7 中模拟内存不足的情况

    我有一个用 C 编写的应用程序 运行良好 但有时在现场会出现错误 我们认为这些错误是由于内存不足或与垃圾收集器的交互造成的 如果有人感兴趣 这里有描述 无法将 NHibernate Impl ExpandedQueryExpression

  • 同步不经常更新的哈希图的最佳方式

    我有一个在应用程序中使用的 HashMap 数据是在应用程序初始加载期间从数据库填充的 然后它始终只是读取并且从不更新 会有多个线程不断地读取数据 由于数据永远不会更新 因此我们目前不使用任何同步 仅使用 HashMap 我们现在定义的方式

  • 链接到大地址感知 DLL

    假设我有一个使用 LARGEADDRESSAWARE 链接器标志集构建的 DLL 现在我有一个动态链接到该 DLL 的应用程序 这是否会使我的应用程序具有大型地址意识 如果不是 那么为任何 DLL 设置此标志是否有意义 讨论here htt

  • 根据多个值过滤字典列表

    我有一个字典列表 我想根据多个条件进行过滤 该列表的简化版本如下所示 orders name v price 123 location Mars name x price 223 location Mars name x price 124

  • 演员邮箱溢出。斯卡拉

    我目前正在与 scala 的两位演员合作 一 producer 产生一些数据并将其发送到parcer 生产者发送一个HashMap String HashMap Object List Int 通过消息 以及this标记发件人 parcer

  • 节点*链表中的下一个

    我是数据结构和算法的新手 我遇到了以下代码 typedef struct node int data node next 谁能告诉我为什么我们要声明节点 next next 不能声明为 int next 吗 因为你希望能够做到n gt ne

  • 本地时间的内存需要释放吗？

    void log time t current time 0 tm ptm localtime current stuf 只是想确定 我是否需要在方法结束时释放 tm 指针分配的内存 不 你不应该释放它 该结构是静态分配的 检查文档 htt

  • 如何释放字符串未使用的容量

    我正在程序中处理很多字符串 这些字符串数据在读入我的程序后的整个生命周期内都不会改变 但由于 C 字符串保留了容量 因此浪费了大量肯定不会被使用的空间 我尝试释放这些空间 但没有成功 以下是我尝试过的简单代码 string temp 123

  • 在 Python 中进行模糊键查找的最佳方法？

    我遇到一个问题 我需要在哈希映射中进行模糊查找 即返回与最接近查询的键相对应的值 在我的例子中是通过 Levenshtein 距离测量的 我目前的方法是子类化dict使用特殊的查找方法计算所有键的编辑距离 然后返回得分最低的键的值 基本上是

  • 如何使用 Java 引用释放 Java Unsafe 内存？

    Java Unsafe 类允许您按如下方式为对象分配内存 但是使用此方法在完成后如何释放分配的内存 因为它不提供内存地址 Field f Unsafe class getDeclaredField theUnsafe Internal re

  • [[NSMutableDictionary alloc] initWithObjects:...] 和 [NSMutableDictionary DictionaryWithObjects:...] 之间的区别？

    仍在学习 Objective C iPhone SDK 我想我知道为什么这不起作用 但我只是想确认一下 In awakeFromNib 如果我使用 NSMutableDictionary alloc initWithObjects 它实际上

  • mprotect 之后 malloc 导致分段错误

    在使用 mprotect 保护内存区域后第一次调用 malloc 时 我遇到分段错误 这是执行内存分配和保护的代码片段 define PAGESIZE 4096 void paalloc int size Allocates and ali

  • 如何有效地找到距给定点最远的点（从一组点中）？

    我正在寻找一种算法或数据结构来解决以下问题 给你一组点 S 然后你会得到另一个点形式的 Q 查询 对于每个查询 找到集合中距离给定点最远的点 集合中最多有 10 5 个点和 10 5 个查询 所有点的坐标都在 0 到 10 5 范围内 我想

  • Objective C (iphone) 关于发布的问题

    如果我创建一个视图 并将其添加为子视图并将其添加到数组中 是否必须释放它两次 UIView cat UIView alloc initWithFrame someFrame self view addSubview cat self ani

  • 如何通过替换为空页映射来取消映射 mmap 文件

    Linux 用户空间有没有办法用空页面 映射自 dev null 或者可能是一个空页面 重复映射到从文件映射的页面的顶部 对于上下文 我想找到这个 JDK bug 的修复 https bugs openjdk java net browse

  • 大数据使用什么数据结构

    我有一个包含一百万行的 Excel 工作表 每行有 100 列 每行代表一个具有 100 个属性的类的实例 列值是这些属性的值 哪种数据结构最适合在这里使用来存储数百万个数据实例 Thanks 这实际上取决于您需要如何访问这些数据以及您想要

  • 为什么 std::allocator 在 C++17 中丢失成员类型/函数？

    一边看着std 分配器 http en cppreference com w cpp memory allocator 我看到成员 value type pointer const pointer reference const refer

  • 公式的后序遍历

    在数据结构中 我将按顺序转换和预排序公式转换为树 不过 我不太擅长后期订购 对于给定的公式x y z a b c 我想出了 divide x c y z a b 在大多数情况下 这似乎很合适 除了左子树中的 是牌组中的小丑 在后序遍历中 最

  • 有没有一种简单的方法来准备 Fortran 代码以进行并行调用

    我想使用 OpenMP 在 C 程序中并行求解多个大型 ODE 系统 由于某些原因 我需要使用 ODE 求解器 但我只能找到 Fortran 90 子例程 而且代码太大 无法简单地将其转换为 C 我知道 Fortran 广泛使用静态内存 因

  • 应用对数来导航树

    我曾经知道一种使用对数从树的一片叶子移动到树的下一个 有序 叶子的方法 我认为它涉及获取 当前 叶子的位置值 排名 并将其用作从根向下到新目标叶子的新遍历的种子 一直使用对数函数测试来确定是否沿着右或左节点向下到达叶子 我已经不记得如何运用

随机推荐

  • 如何将程序限制为单个实例

    我有一个 C 控制台应用程序 我想限制我的应用程序一次仅运行一个实例 我如何在 C 中实现这一目标 我会用一个Mutex http msdn microsoft com en us library system threading mute

  • 引导 gem5 X86 Ubuntu 完整系统模拟

    我需要在 gem5 上运行相对较新版本的 x86 磁盘映像 从 开始本指南 http www lowepower com jason creating disk images for gem5 html我使用了带有 Kernel v3 2

  • 实施到我的应用程序的深层链接后，应用程序图标不出现

    我正在 Android Studio 中开发一个应用程序 它运行得很好 但是在实现了到我的启动活动的深层链接后 我的应用程序没有出现在菜单中的应用程序图标 我知道该应用程序已安装 因为它出现在 设置 gt 应用程序 中 我知道问题出在man

  • 如何将 python 字符串转换为 ucs2 十六进制？

    我一直在寻找这个 但找不到 尽管它看起来很简单 我需要在 url 中发送 ucs2 十六进制字符串 但我不知道如何将 python 字符串转换为 ucs2 十六进制 有什么想法吗 gt gt gt encode utf16 b xff xf

  • 将视频字幕与文本转语音同步

    我尝试创建一个文本视频 其中的文本通过文本转语音进行叙述 为了创建视频文件 我使用VideoFileWriter of Aforge Net如下 VideoWriter new VideoFileWriter VideoWriter Ope

  • R 中通过列值的排列进行聚合

    背景 我正在处理出发地 目的地数据 我想计算每对城市之间的比例流量 但是 我发现很难按每对城市聚合数据 因为这些城市对涉及列条目的排列 我可以使用大量 for 循环和条件通过暴力来完成此操作 但这需要很长时间才能计算 具体来说给定以下形式的

  • 在 React-Redux 中实时重新排序列表的最佳方法？

    I m currently build an app that have a realtime list the view of list as bellow picture 当触发以下操作之一时 此列表将实时更新 有消息更新 update

  • 如何以角反应形式保存价值？

    当用户导航到不同的组件 例如隐私策略 并返回表单时 我希望在角度表单输入字段中保留值 当用户从隐私政策返回到表单时 他应该看到之前输入的数据 单击 保存 按钮后如何保留数据 当用户单击 保存 按钮时 我们调用下面的方法 它会删除旧密钥并将新

  • 计算移动平均/滚动函数的快速方法，允许自定义权重

    一个可以用TTR SMA or TTR EMA 但这些不允许自定义权重 我想出的一种解决方案是使用data table frollapply library data table x lt data table type rep 1 100

  • 从另一个程序分配特定的内存地址，并更改它的值

    最近我请假几天 想做一个用 C 处理内存地址的小程序实验 我想看到的是 当前正在运行的程序 我们称之为程序 A 创建了一个指向堆中 int 对象的指针 是否可以被另一个程序看到并被修改 程序 B 所以对于程序A 这是我的基本代码 Progr

  • Scala 的 Cake Pattern 可以在 Haskell 中实现吗？

    使用 Scala 中的许多较新的语言功能 可以实现可组合组件系统并使用 Martin Odersky 在论文中描述的所谓的 Cake 模式创建组件可扩展的组件抽象 http lampwww epfl ch odersky papers Sc

  • 使用icalendar 通过 Python 解析 iCal feed

    我正在尝试使用 python 中的icalendar lib 来解析具有多个事件的提要 summary description 等工作正常 但对于 dtstart 和 dtend 它返回我 icalendar prop vDDDTypes

  • C# MVC 4 ViewModel 不接受 null DateTime

    我在学习 C 和 mvc4 时遇到了一些麻烦 问题出现在我的应用程序的过滤器部分 我有一个 ViewModel 它获取数据库的 Listar Produtos 列表 以及一些用于搜索选项的字段 我打算做的是让过滤器接受任何字段 即使它是空值

  • 无法保存到数据库或从中检索（正确的信息）

    我使用以下命令 成功 将数据保存到数据库 try Save the new Client now Profile profile new Profile Salutation Salutation FirstName FirstName M

  • 事务隔离级别很好的解释[关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi

  • 获取WM_KEYDOWN消息中lParam参数的第30位

    我需要获取随 WM KEYDOWN 消息传递的 lParam 参数的第 30 位 这一点如所写here http msdn microsoft com en us library ms646280 28v vs 85 29 aspx让我知道

  • gnuplot 中的文件名完成未完成边界

    我使用 gnuplot 很长时间了 我总觉得有一个问题是它没有关闭 在选项卡上完成文件名 例如 gnuplot gt p fo

  • IllegalStateException 编译 Clojure-Contrib

    我正在尝试使用 Maven 编译我自己的 clojure contrib 版本 但出现以下异常 Exception in thread main java lang IllegalStateException Can t dynamical

  • iOS 6 像消息一样共享，而不是像照片那样共享（UIActivityViewController 和 UIDocumentInteractionController）

    在 iOS 6 中 点击照片应用中的操作按钮会显示标准的 UIActivityViewController 在消息中执行相同的操作会提供一组不同的选项 在我看来 它就像使用 UIDocumentInteractionController a

  • 内存映射 - 部分基于磁盘的算法

    对于可溢出数据结构 即队列 是否有任何好的资源或书籍 当存储大型对象时 它可能会填满所有内存 但是如果您可以将该队列结构中最常用的项目保留在内存中 并将其余项目保留在磁盘上 有点像分页 同样 这个问题也适用于其他结构 例如链表 数组 哈希表

热门标签