gnu sort - 默认缓冲区大小

2024-03-03

我已阅读全文文档 http://www.gnu.org/software/coreutils/manual/html_node/sort-invocation.html#sort-invocation对于 gnu sort 并在线搜索,但我找不到 --buffer-size 选项的默认值(它决定程序运行时使用多少系统内存)。我猜它是根据系统总内存以某种方式确定的? (或者也许在程序开始执行时可用的内存上?)。我怎样才能确定这一点?

update:我进行了一些实验,似乎当我没有指定特定的 --buffer-size 值时,它最终会使用很少的内存,因此运行速度非常慢。不过,如果能够更好地理解到底是什么决定了这种行为,那就太好了。


我深入研究了 coreutils sort 源代码并发现了这些函数:default_sort_size http://git.savannah.gnu.org/cgit/coreutils.git/tree/src/sort.c#n1445 and sort_buffer_size http://git.savannah.gnu.org/cgit/coreutils.git/tree/src/sort.c#n1491.

事实证明--buffer-size (sort_size在源代码中)不是target缓冲区大小而是maximum缓冲区大小。如果不--buffer-size值被指定,则default_sort_size函数用于确定安全的最大缓冲区大小。它根据资源限制、可用内存和总内存来执行此操作。函数总结如下:

size = MIN(SIZE_MAX, resource_limit) / 2;
mem  = MAX(available_memory, total_memory / 8);

if ( size > total_memory * 0.75 )
    size = total * 0.75;

buffer_max = MIN(mem, size);
buffer_max = MAX(buffer, MIN_SORT_SIZE);

另一个功能,sort_buffer_size,用于确定为给定输入文件分配多少内存。函数总结如下:

if (sort_size is set)
    size_bound = sort_size;
else
    size_bound = default_sort_size();

buffer_size = line_bytes + 2;

for each input_file
    if (input_file is regular)
        file_size = input_file_size;
    else
        if (sort_size is set)
            return sort_size;
        else
            file_size = guess;

    worst_case = file_size * worst_case_per_input_byte + 1;

    if (worst_case overflows || size + worst_case >= size_bound)
        return size_bound;
    else
        size += worst_case;

return size;

可能是最重要的一点sort_buffer_size功能是,如果您从 STDIN 或管道对数据进行排序,它将自动默认为sort_size (i.e. --buffer-size)(如果已提供)。否则,对于常规文件,它将根据文件大小进行一些粗略计算,并且仅使用sort_size作为上限。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

gnu sort - 默认缓冲区大小 的相关文章

随机推荐

  • r 中的动态变量命名

    structure list Metrics structure c 1L 2L 3L 4L 5L 6L 1L 2L 3L 4L 5L 6L 1L 2L 3L 4L 5L 6L 1L 2L 3L 4L 5L 6L Label c LINES
  • 在未越狱的 iOS 设备上启用/禁用 Wifi

    我的内部应用程序需要这个 我想在 ios 设备上切换 wifi 任何框架都可用 我尝试了以下代码 但它没有为我提供任何帮助 这不会改变我的 wifi 设置 Class BluetoothManager objc getClass Bluet
  • 更改index.html nginx kubernetes部署

    我有这样的部署 我能够在我的一个 Pod 上编辑索引页面 但如何将其提交到部署映像 因此 当我扩展应用程序时 所有新的 Pod 都将具有相同的图像并编辑了索引 这对我有用 apiVersion v1 kind Pod metadata na
  • 使用 Id 以外的属性查询 DocumentDB

    我想查询 DocumentDB 数据库中的文档 我想使用 LINQ 处理 DocumentDB 查询并想要查询 facebookUsername 字段 如果我使用下面的代码来查询标准 Id 字段 它工作正常 但是当我尝试使用 faceboo
  • PHP 中是否可以声明静态方法和非静态方法?

    我可以将对象中的方法声明为静态方法和非静态方法 并且与调用静态方法的名称相同吗 我想创建一个具有静态方法 send 和调用静态函数的非静态方法的类 例如 class test private text public static funct
  • 如何使用callkit获取来电号码

    如何使用 Call Kit 框架以编程方式获取来电电话号码 我尝试使用 cxcallobserver 类 但没有用 任何建议最有帮助 使用 CallKit 的呼叫阻止和识别功能 iOS 10 中的新增功能 时 要阻止或识别的电话号码会在来电
  • 不在异步方法中等待任务的注意事项

    我正在开发一个 Web API 项目 该项目使用 Azure 的托管缓存服务将数据库结果缓存在内存中 以缩短响应时间并减少数据库的重复流量 当尝试将新项目放入缓存时 有时会抛出特定于缓存的异常 代码为DataCacheErrorCode R
  • 如何使用 Paramiko 运行 sudo? (Python)

    我尝试过的 invoke shell then channel send su然后发送密码导致不是root invoke shell 进而channel exec command导致 通道已关闭 错误 transport open sess
  • python * 运算符的正确名称?

    操作员的正确名称是什么 as in function args 解压 解压 还有别的吗 在 Ruby 和 Perl 6 中 这被称为 splat 我认为大多数人 如果你这么称呼的话 那些社区会明白你的意思 The Python教程 docs
  • SQL Server 2000 - 调试死锁

    我正在寻找有关如何调试和解决 SQL Server 2000 数据库中的死锁问题的建议 有人建议我使用跟踪标志 1024 和 3605 我发现它们可以提供以下信息 1024 此跟踪标志返回参与死锁的锁的类型以及受影响的当前命令 3605 此
  • 如何让背景图像跨越网格布局

    我有一个网格布局 假设第一行有 2 行 2 列 第二行有 3 列 它们之间的网格间隙为 10px 给每个网格一个背景图像是没有问题的 但是 如果我希望它们都具有相同的背景图像 该背景图像从左上角网格开始并继续 跨越直到右下角网格 所有网格上
  • 递归Kaatsuba 乘法不起作用?

    我正在尝试实施唐叶乘法 https en wikipedia org wiki Karatsuba algorithm通过递归调用 下面的代码应该可以工作 但我一直得到错误的答案 有什么想法吗 public static long kara
  • Java RandomString类[重复]

    这个问题在这里已经有答案了 可能的重复 HangMan RandomString 类 https stackoverflow com questions 13818297 hangman randomstring class 以下是方向 创
  • 将 UITableView 添加到现有 ViewController

    我正在尝试添加一个UITableView到现有的UIViewController以编程方式 My run h文件有这个 interface runTests UIViewController
  • 将 process.env.NODE_ENV 与 String 进行比较

    为什么当我比较这两个时我得到false const production process env NODE ENV production 即使当我设置process env NODE ENV到生产我仍然得到false value Why E
  • 获取python项目使用的所有模块/包

    我有一个 python GUI 应用程序 现在我需要知道应用程序链接到的所有库 这样我就可以检查所有库的许可证兼容性 我尝试过使用 strace 但 strace 似乎会报告所有包 即使应用程序未使用它们 而且 我尝试了 python Mo
  • 如何更改 mysql 表列默认值?

    我有一个带有 type 列的表timestamp默认值current timestamp并更新至current timestamp每次更新时 我想删除此列上的 更新时 功能 怎样写alter语句呢 我尝试了以下方法 ALTER TABLE
  • 模块在角度模块中没有导出成员错误

    我想创建一个功能模块来处理上传的前端 上传组件 html没有错误
  • 从 Eclipse 插件使用 Jython

    当从 Eclipse 插件运行时 我很难让 jython 正常工作 我有一个简单的对象工厂 它加载符合 Java 接口的 python 模块 所有这些在独立模式下都可以正常工作 然而 当我将其打包为 Eclipse 插件时 我根据一些变量收
  • gnu sort - 默认缓冲区大小

    我已阅读全文文档 http www gnu org software coreutils manual html node sort invocation html sort invocation对于 gnu sort 并在线搜索 但我找不