检查 DataFrame(Scala) 是否为空的最快方法?

2024-02-06

如何检查 DataFrame(Scala)以最快的方式为空?我用DF.limit(1).rdd.isEmpty,比 DF.rdd.isEmpty 更快,但并不理想。有没有更好的方法可以做到这一点?


我通常会打电话给first围绕一个Try:

import scala.util.Try

val t = Try(df.first)

从那里你可以匹配它,如果它是Success or Failure控制逻辑:

import scala.util.{Success,Failure}

t match {
  case Success(df) => //do stuff with the dataframe

  case Failure(e) => 
    // dataframe is empty; do other stuff
    //e.getMessage will return the exception message
}
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

检查 DataFrame(Scala) 是否为空的最快方法? 的相关文章

  • Scala 方法和高级类型参数

    我试图在 scala 中定义一个方法 它采用通用类型S lt Seq Double 并返回一个 S FixedLoad FixedLoad 是一个具体类型 但我的实现给了我错误 我不明白为什么 尽管我多次尝试去理解参数类型和高级类型 但我的
  • JavaFx ComboBox 绑定混乱

    我有一个 I18N 实现 它通过属性绑定 JavaFX UI 元素 例如 def translateLabel l Label key String args Any Unit l textProperty bind createStrin
  • 如何从命令行运行scala文件?

    scala是否支持scala run xxx scala go语言支持这样运行 go my go 并且Python支持 python my py 但看来 scala xxx scala 仅进行语法检查 未观察到任何输出或运行行为 那么有没有
  • 实现一个scala集合,以便map、filter等产生正确的类型

    我正在尝试实施一个默认值映射 https stackoverflow com questions 3187411 designing a convenient default valued map in scala 我想要过滤器 地图等De
  • 演员邮箱溢出。斯卡拉

    我目前正在与 scala 的两位演员合作 一 producer 产生一些数据并将其发送到parcer 生产者发送一个HashMap String HashMap Object List Int 通过消息 以及this标记发件人 parcer
  • 结构化 scala 案例类的自定义 json 序列化

    我有一些用于往返 scala 案例类的工作 jackson scala 模块代码 Jackson 对于平面案例类非常有用 但是当我制作一个包含其他案例类列表的案例时 我似乎需要很多代码 考虑 abstract class Message c
  • 选项包装值是一个好的模式吗?

    我最近写了以下 Scala 代码 val f File pretend this file came from somewhere val foo toFoo io Source fromFile f mkString 我真的不喜欢这种方式
  • Scala 2.10,它对 JSON 库和案例类验证/创建的影响

    显然 在 Scala 2 10 中我们得到了改进的反射 这将如何影响 lift json jerkson sjson 和朋友 此外 我们能否期望在不久的将来 Scala 中会出现内置的 JSON 语言功能 如 Groovy 的出色 GSON
  • Scala:尝试 .getOrElse 与 if/else

    我是一名相当新的 Scala 开发人员 我是一名经验丰富的 Java 开发人员 到目前为止 我一直很喜欢 Scala 的简单性 我真的很喜欢函数式结构 而且它们常常迫使你编写更简洁的代码 然而最近我注意到 由于舒适性和简单性 我最终使用了在
  • scala 中 'Array[Int]' 隐式转换为 'Int => Int' 的地方在哪里?

    这是一个问题this https stackoverflow com questions 70000384 why val arr int int array1 2 3 is allowed in scala 现在我们已经证明了Array
  • Twitter Future 与 Scala Future 相比有何优势?

    我知道 Scala Future 变得更好的很多原因 有什么理由改用 Twitter Future 吗 除了 Finagle 使用它这一事实之外 免责声明 我在 Twitter 负责 Future 的实施 一点背景知识 在 Scala 有一
  • 什么是 Java 8“视图”?

    我正在观看 Paul Philips 的演讲 http www youtube com watch v TS1lpKBMkgg http www youtube com watch v TS1lpKBMkgg 在 12 48 比较 Scal
  • Scala repl 抛出错误

    当我打字时scala在终端上启动 repl 它会抛出此错误 scala gt init error error while loading AnnotatedElement class file usr lib jvm java 8 ora
  • 什么样的函数被认为是“可组合的”?

    维基百科文章函数组合 计算机科学 https en wikipedia org wiki Function composition computer science says 就像数学中通常的函数组合一样 每个函数的结果作为下一个函数的参数
  • Spark - scala - 如何检查配置单元中是否存在表

    我必须使用 Spark 1 6 2 scala 检查配置单元中是否存在表 如果没有 我必须创建一个空数据框并将其保存为配置单元表 如果存在 则覆盖现有表 我需要一个返回布尔值的函数 基于该函数我可以做出上述决定 是否创建新表或覆盖现有表 1
  • Kubernetes WatchConnectionManager:执行失败:HTTP 403

    我遇到错误Expected HTTP 101 response but was 403 Forbidden 在我使用以下命令设置新的 Kubernetes 集群之后Kubeadm当我提交下面遇到的 pyspark 示例应用程序时 只有一个主
  • 用惯用的 Scala 更新大型数据结构

    我已经尝试 Scala 一段时间了 并且经常遇到支持不可变数据结构的建议 但是当你有一个像这样的数据结构时3D 场景图 大型神经网络或任何具有大量需要频繁更新的对象的东西 对场景中的对象进行动画处理 训练神经网络 这似乎是 运行时效率极低
  • Spark:出现心跳错误后丢失数据

    我有一个在 Spark 集群上运行的 Python 程序 有四个工作线程 它处理一个包含大约 1500 万条记录的巨大 Oracle 表 检查结果后发现大约有600万条记录没有插入 我的写入功能如下 df write format jdbc
  • 如何将模型从 ML Pipeline 保存到 S3 或 HDFS?

    我正在尝试保存 ML Pipeline 生成的数千个模型 正如答案中所示here https stackoverflow com questions 32121046 run 3000 random forest models by gro
  • 通过过滤对 Pyspark Dataframe 进行分组

    我有一个数据框如下 cust id req req met 1 r1 1 1 r2 0 1 r2 1 2 r1 1 3 r1 1 3 r2 1 4 r1 0 5 r1 1 5 r2 0 5 r1 1 我必须观察客户 看看他们有多少要求 看看

随机推荐

  • 显示高度 100%:IE 中的表格单元格

    我希望在 div 下有一个带有 display table cell 的子元素 占据父 div 的整个高度 有谁知道为什么下面的代码片段在 Chrome 和 FF 中工作得很好 但在 IE 包括 10 下却崩溃了 HTML div clas
  • (数字)和(-数字)的含义

    是什么意思 number number 我已经搜索过但无法找到其含义 我想用i i 在 for 循环中 如 for i 0 i lt n i i i 假设 2 的补码 或者i未签名 i等于 i 1 i i 1 是提取最低设置位的技巧i 它之
  • qPython - kdb响应数据的类型转换

    当我使用 qPython 运行 q 查询时 我能够返回 pandas 数据框中的数据 我正在努力解决的是 字符串 列的类型 即在 q 中以简单或混合 字符 列表形式呈现的列 它们的数据类型是 object 值以 b ab34knadke 的
  • 发现蓝牙设备IOError:RPC服务器不可用

    我只是尝试在 PyCharm 中使用 Python 实现蓝牙PyBluez http karulis github io pybluez 我陷入了这个特殊的错误 我试图搜索这个错误 但找不到它 有人可以帮忙吗 这是我的代码 gt gt gt
  • 使用 Facebook (PHP SDK) 和 Codeigniter 进行身份验证

    好吧 这几天我一直在尝试将 Facebook 身份验证集成到我基于 Codeigniter 的网站中 我已将 Facebook PHP SDK 作为一个库包含在内 并且似乎连接得很好 但是当我在 SDK 中使用 getUser 方法时 会返
  • 如何拥有一个显示不同uitableview建议的搜索栏

    我想在导航栏上有一个搜索栏 当用户开始输入时 显示一些建议 但另外 uitableview 必须与搜索结果不同 例如 用户开始输入 wh 然后显示一个包含white wheater who 的列表 然后 当按下搜索按钮时 会显示其他列表和结
  • Safari 浏览器的媒体查询

    我希望媒体仅在 1280 像素屏幕的 Safari 上运行 这适用于所有浏览器 但我只想要 safari media screen and width 1280px Try this Webkit Chrome 和 Safari 任何版本
  • Android 人脸检测仅适用于绘图,不适用于 SD 卡中的图像

    所以我有代码可以在任何给定的图像文件中检测最多 10 张面孔 并向我返回信息 例如眼睛的位置和其他类似信息 因此 当我告诉它使用存储在我的项目资源的可绘制文件夹中的图像文件时 它效果很好 但是当我尝试从 SD 卡导入的位图中查找面孔时 它不
  • 高分自包含在 .xap 中

    想知道这是否可能 我正在为一个有趣的办公项目制作一个小游戏 并且需要有一个高分表 该表独立于实际的 Silverligth xap 中 有办法做到这一点吗 不 不是 您可以将表存储为数据 即在 XML 文件中 但您无法修改该文件并在 XAP
  • 无法一次选择一个单选按钮

    我无法一次选择一个单选按钮 多个按钮被选中 我是 html 新手 这是我的代码 请帮忙
  • ColdFusion 从文本文件中提取值

    技术细节 我想从包含参数名称和值的文本文件中提取值 对于以 request config 开头的每一行 有空行 带注释的行等 我不想从中提取任何内容 我想提取这些值 以粗体显示 请求 配置 我的参数1 一些随机字符串 我认为最好的方法可能是
  • 计算点之间的距离

    我正在尝试使用 Scala 类计算两点之间的距离 但它给出了一个错误说 类型不匹配 找到 other type 具有基础类型 Point required def x 请注意 隐式转换不是 适用 因为它们不明确 两种方法any2Ensuri
  • 从 SQL Server 表中随机选择 n 行

    我有一个 SQL Server 表 其中包含大约 50 000 行 我想随机选择其中大约 5 000 行 我想到了一种复杂的方法 创建一个带有 随机数 列的临时表 将我的表复制到其中 循环遍历临时表并用RAND 然后从该表中选择随机数列 本
  • 使用参数的 Xamarin Forms 应用程序链接

    我有个问题 我想从我的 php 页面启动我的应用程序并通过该链接传递一个变量 然后在我的应用程序网站上 我需要读取参数并使用该参数执行我想要的操作 现在我已经找到这个链接 Xamarin Android 使用带参数的链接启动应用程序 htt
  • 如何将完整的字符串写入文件?

    我现在正在 Windows 中编程 但可移植代码也将受到欢迎 我现在使用的是fwrite 4 但此函数需要写入文件的最大元素数 我可以用strlen 1 在这里 但我想知道是否有更好的方法来做到这一点 Use fputs http www
  • Flutter:- 如何在屏幕上显示动态小部件?

    我想以乱码形式显示输入的文本 即单词的每个字母需要单独显示Container连续 为此 我正在接受文本输入 并将其存储在List
  • NHibernate 不只保存一个属性

    我正在尝试更新表中的单个列 没有发出任何更新 使用 SQL Profiler 检查 没有错误 类映射有dynamic update true 类上未启用版本控制 刷新模式提交 映射的属性没有任何插入 更新修饰符
  • .NET core/Python 从 Azure 存储 Blob 读取前 X 行

    我有一个大斑点 我需要从中提取前几行 我可以在不打开整个文件的情况下执行此操作吗 该文件采用已知格式 通常为 Excel 有时为 csv 或 tsv 只要知道这是否可能就会非常有帮助 在搜索微软和其他论坛时 我根据日期得到了不同的答案 谢谢
  • 在 Mac OS 上从 Transformer 类导入管道函数时,Jupyter 内核崩溃

    我无法导入 Transformer 类的管道函数 因为我的 jupyter 内核一直死机 尝试使用 Transformer 4 15 0 和 4 16 2 有人遇到过这个问题吗 我尝试将类导入到新笔记本中 如图所示 它不断杀死内核 这对我来
  • 检查 DataFrame(Scala) 是否为空的最快方法?

    如何检查 DataFrame Scala 以最快的方式为空 我用DF limit 1 rdd isEmpty 比 DF rdd isEmpty 更快 但并不理想 有没有更好的方法可以做到这一点 我通常会打电话给first围绕一个Try im