Map[..] 上的 Scala map() 比 mapValues() 慢得多

2024-02-18

在我编写的 Scala 程序中,我有一个scala.collection.Map将字符串映射到一些计算值(详细来说是Map[String, (Double, immutable.Map[String, Double], Double)]- 我知道这很丑,应该(并且将会)被包裹起来)。现在,如果我这样做:

stats.map { case(c, (prior, pwc, denom)) => {
  println(c)
  ...
  }
}

大约需要 30 秒才能打印出大约 50 倍的值c! The println只是一个测试语句 - 我需要的实际计算甚至更慢(我在完全沉默 1 分钟后中止)。但是,如果我这样做:

stats.mapValues { case (prior, pwc, denom) => {
  println(prior)
  ...
  }
}

我没有遇到这些性能问题......任何人都可以解释为什么会发生这种情况吗?我是否没有遵循一些重要的 Scala 准则?

谢谢您的帮助!

Edit:

我进一步调查了这种行为。我的猜测是瓶颈来自于访问Map数据结构。如果我执行以下操作,我会遇到相同的性能问题:

classes.foreach{c => {
  println(c)
  val ps = stats(c)
  }
}

Here classes is a List[String]外部存储 Map 的键。无权访问stats(c)不会发生性能损失。


mapValues实际上返回原始地图上的视图,这可能会导致意外的性能问题。从this http://blog.bruchez.name/2013/02/mapmap-vs-mapmapvalues.html博客文章:

...这里有一个问题:map 和 mapValues 在一个不那么微妙的方面是不同的 方式。与地图不同,mapValues 返回原始地图上的视图。这 视图保存对原始地图和 变换函数(此处为 (_ + 1))。每次返回的地图 查询(view)时,先查询原图,然后 对结果调用转换函数。

我建议阅读该文章的其余部分以了解更多详细信息。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Map[..] 上的 Scala map() 比 mapValues() 慢得多 的相关文章

  • 如何更改 SparkContext.sparkUser() 设置(在 pyspark 中)?

    我是新来的Spark and pyspark 我使用 pyspark 之后我rdd处理中 我试图将其保存到hdfs使用saveAsTextfile 功能 但我得到一个 没有权限 错误消息 因为 pyspark 尝试写入hdfs使用我的本地帐
  • 如何在 Apache Spark 中基于列的子集实现“ except ”?

    我正在 Spark 中使用两个模式 table1 and table2 scala gt table1 printSchema root user id long nullable true item id long nullable tr
  • 实现一个scala集合,以便map、filter等产生正确的类型

    我正在尝试实施一个默认值映射 https stackoverflow com questions 3187411 designing a convenient default valued map in scala 我想要过滤器 地图等De
  • Scala SBT 和 JNI 库

    我正在编写一个简单的应用程序Scala通过以下方式使用 leveldb 数据库leveldbjni图书馆 我的build sbt文件看起来像这样 name Whatever version 1 0 scalaVersion 2 10 2 l
  • 从继承的受保护 Java 字段创建公共访问器

    我怎样才能完成以下工作 class Foo extends javax swing undo UndoManager increase visibility works for method override def editToBeUnd
  • Twitter Future 与 Scala Future 相比有何优势?

    我知道 Scala Future 变得更好的很多原因 有什么理由改用 Twitter Future 吗 除了 Finagle 使用它这一事实之外 免责声明 我在 Twitter 负责 Future 的实施 一点背景知识 在 Scala 有一
  • Scala - Java = ? (或者 Clojure - Java = ?)

    开发人员可以在不懂 Java 的情况下使用 Scala 吗 开发人员可以在不懂 Java 的情况下使用 Clojure 吗 注意 例如 我是一名 C 开发人员 我在不了解任何 VB 的情况下使用 NET 当然 WF 4 0 使用 VB 进行
  • 映射存在类型列表

    我有一个要映射的存在类型对象的列表 像这样的东西 sealed abstract class IntBox val v Int case object IB1 extends IntBox 1 case object IB2 extends
  • 如何在 Scala 中编写 Pig UDF

    我正在尝试在 Scala 中编写 Pig UDF 使用 Eclipse 我已将 pig jar 添加为 java 构建路径中的库 这似乎解决了以下 2 个导入问题 导入 org apache pig EvalFunc 导入 org apac
  • 如何从spark管道逻辑模型中提取变量权重?

    我目前正在尝试学习 Spark Pipeline Spark 1 6 0 我将数据集 训练和测试 导入为 oas sql DataFrame 对象 执行以下代码后 生成的模型是oas ml tuning CrossValidatorMode
  • Scala Function.tupled 和 Function.untupled 等效于变量 arity,或者使用元组调用变量 arity 函数

    昨晚我试图围绕接受和调用通用函数做一些事情 即类型在调用站点上已知 但可能因调用站点而异 因此定义应该是跨参数通用的 例如 假设我有一个函数f A B C gt Z 其实这样的还有很多fs 我事先不知道 所以我无法确定类型或数量A B C
  • 如何设计具有相互依赖的测试的 Specs2 数据库测试?

    有没有一些首选的方法来设计Specs2 http etorreborre github com specs2 测试 有很多测试取决于之前测试的结果 下面 您将找到我当前的测试套件 我不喜欢var位于测试片段之间 不过 它们是 需要的 因为某
  • 用惯用的 Scala 更新大型数据结构

    我已经尝试 Scala 一段时间了 并且经常遇到支持不可变数据结构的建议 但是当你有一个像这样的数据结构时3D 场景图 大型神经网络或任何具有大量需要频繁更新的对象的东西 对场景中的对象进行动画处理 训练神经网络 这似乎是 运行时效率极低
  • 如何将 scala 列表转换为 javascript 数组?

    有更简单的方法吗 document ready function var jsArray if scalaList null for id lt scalaList jsArray push id 很简单 如下所示 import play
  • 如何在 Apache Spark 中通过 DStream 使用特征提取

    我有通过 DStream 从 Kafka 到达的数据 我想进行特征提取以获得一些关键词 我不想等待所有数据的到达 因为它是可能永远不会结束的连续流 所以我希望以块的形式执行提取 如果准确性会受到一点影响 对我来说并不重要 到目前为止 我整理
  • 多个 scala 库导致 intellij 出错?

    我正在使用 intellij 14 和 scala 2 11 6 使用 homebrew 安装并使用符号链接 ln s usr local Cellar scala 2 11 6 libexec src usr local Cellar s
  • Scala:如何将可变参数指定为类型?

    代替 def foo configuration String String 我希望能够写 type Configuration String String def foo configuration Configuration 主要用例是
  • Scala 宏的位置怎么了?

    我试图获取宏参数的原始输入字符串 但返回的位置似乎有点偏离 考虑这个宏 例如 object M import scala reflect macros Context import language experimental macros
  • HashPartitioner 是如何工作的?

    我阅读了文档HashPartitioner http spark apache org docs 1 3 1 api java index html org apache spark HashPartitioner html 不幸的是 除了
  • 高效序列化案例类

    对于我正在工作的图书馆 我需要提供一个高效 便捷 typesafe序列化 scala 类的方法 理想的情况是用户可以创建一个案例类 并且只要所有成员都是可序列化的 它似乎也应该如此 我准确地知道序列化和反序列化阶段的类型 因此不需要 也不能

随机推荐

  • 如何使用 ffmpeg 从 YUV 视频中提取帧(或特定帧)

    这是从a中提取帧的代码MP4视频 ffmpeg i above marathon 250 mp4 images 03d bmp但相同的代码不适用于YUV格式化视频 有谁知道如何从中提取帧YUV格式化视频 它不起作用 因为 yuv 文件没有标
  • SVG矢量图形可以转换为PNG文件格式以便在Fireworks中使用吗?

    众所周知 有很多网站出售免版税图形 有些网站出售矢量图形 svg 或为您提供下载矢量图形的选项 我没有支持 SVG 的图形编辑器 目前 我正在使用旧版本的 Fireworks 我无法打开 SVG 文件类型 我也买不起 PhotoShop 或
  • 使用 WebClient 和 WebRequest 之间的编码差异?

    在获取一些随机的西班牙报纸索引时 我没有使用 WebRequest 正确获取变音符号 它们产生了这个奇怪的字符 同时使用 a 从同一个 uri 下载响应WebClient我得到了适当的回应 为什么会出现这种差异化呢 var client n
  • 通过调整浏览器大小来缩放 KineticJS Stage?

    最近发现了 KineticJS 因为我一直在尝试将我的 Flash 技能转换为 HTML Canvas 这是一个非常令人印象深刻的工具 问题 如果我使用像 Bootstrap 这样的前端 并且我有一个页面 其中包含几个包含 KineticJ
  • 在排序函数中处理 nils

    我不知道如何处理nils我的排序函数得到了 当我检查这个时 table sort一些电话后崩溃 if a nil then return false elseif b nil then return true end 出现此错误 用于排序的
  • SailsJS 中的 API 版本控制

    基于这个问题 我已经禁用了嵌套控制器和蓝图 我的问题是这样的 API 控制器 v1 UserController js 路线 js POST v1 user register v1 UserController createUser 策略
  • 在 Javascript for 循环声明中声明 var

    我确定我已经阅读过有关此问题的讨论 但找不到 简而言之 在循环声明内声明 for 循环的增量是否有缺点 这有什么区别 function foo for var i 0 i lt 7 i code 和这个 function foo var i
  • 如何模拟图像上传到Google App Engine Blobstore

    我正在使用 create upload url 将图像上传到 GAE blobstore uploadURL blobstore create upload url upload 为了对gae代码进行单元测试 您可以模拟图像上传吗 或者我应
  • Ehcache 与静态地图缓存实现

    我有几个表 其中的条目很少 并且它们永远不会动态更改 所以我想将整个表缓存在内存中以减少数据库的负载 我可以通过静态地图并将地图填充到静态块中轻松实现这一点 我想知道 Ehcache hibernate 是否可以以更有效的方式实现同 样的功
  • 在 data.table 中多次使用 :=

    我经常发现自己使用以下方法进行一长串链式计算 在同一个数据表上 例如 像这样的东西 test data table 1 10 1 10 1 10 1 10 test V1 V1 2 test V2 V1 V2 test V3 V2 V3 t
  • 使用 jQuery / AJAX 解码 JSON

    我正在尝试使用 jQuery 解码 JSON 这是我得到的结果 例如一个班级 这里有一个学生 Students Name John Grade 17 TotalClass 17 TotalCount 1 这就是我所做的 j ajax typ
  • 哪些 Web 框架和语言的开发时间最短?

    我正在尝试将一些网络开发想法付诸实践 不幸的是 我将是唯一的开发人员 因此我专注于获得一个良好的可调试 可测试的设置 以便我可以快速开发应用程序 您会推荐哪些语言 开发风格和框架来实现快速开发 上次我检查 RoR 是下一件大事 但那是很久以
  • 无法单独构建 Flutter Web 和 Flutter Mobile 应用

    我正在构建一个 flutter 项目 并且在将 Web 和移动代码集成到单个项目中时遇到问题 我想在我的移动代码中使用 Moor 和 Moor FFI 但即使我的 web main dart 和移动代码 main dev dart 的入口点
  • 使用 Flask-Session 扩展在 Flask 会话中未设置密钥

    现在我正在使用 Flask 第三方库Flask 会话 https flask session readthedocs io en latest 我没有运气让会议正常进行 当我连接到我的网站时 出现以下错误 运行时错误 会话不可用 因为没有密
  • 是否可以使用迭代器将向量分成 10 个组?

    I have let my vec 0 25 collect
  • g++版本兼容性

    这是一个特定的海湾合作委员会相关问题 我有一个用 g 4 1 2 编译的库 我想提供给用户 用户可以在他们的代码中使用我们的 API 并链接我们的库来创建最终的可执行文件 我的问题与 g 版本兼容性有关 我们的一些用户使用 g 4 4 3
  • 如何在同一域中托管我的 API 和 Web 应用程序?

    我有一个Rails API 和一个Web 应用程序 使用express 彼此完全分开且独立 我想知道的是 我必须单独部署它们吗 如果我这样做 我怎样才能使我的 api 处于mysite com api和网络应用程序mysite com 我见
  • 如何在 Haskell 的 TChan 上的生产者/消费者情况下限制生产者?

    我们有一些东西在 TChan 上倾销值 然后由消费者处理这些值 但消费者无法跟上 因此当生产者在通道上倾倒大量内容时 我们会使用大量内存 但消费者却无法跟上 如果通道队列达到一定大小或某种程度 是否有一种直接的方法让生产者阻塞 以便我们可以
  • Xcode 调试器将 Swift 字典报告为空(po reports {})

    当我等到 Xcode 6 1 1 在该行之后遇到断点时 let metrics leading 15 0 size 44 0 然后输入po metrics调试器报告 延迟几秒后 这似乎是错误的 po metrics count报告2 哪个是
  • Map[..] 上的 Scala map() 比 mapValues() 慢得多

    在我编写的 Scala 程序中 我有一个scala collection Map将字符串映射到一些计算值 详细来说是Map String Double immutable Map String Double Double 我知道这很丑 应该