从特定列 scala Spark 数据帧获取最小值和最大值

2023-12-28

我想从我的数据框中访问特定列的最小值和最大值,但我没有列的标题,只有它的编号,所以我应该使用 scala 吗?

也许是这样的:

val q = nextInt(ncol) //we pick a random value for a column number
col = df(q)
val minimum = col.min()

抱歉,如果这听起来像是一个愚蠢的问题,但我找不到有关此问题的任何信息:/


如何从元数据中获取列名称:

val selectedColumnName = df.columns(q) //pull the (q + 1)th column from the columns array
df.agg(min(selectedColumnName), max(selectedColumnName))
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

从特定列 scala Spark 数据帧获取最小值和最大值 的相关文章

随机推荐

  • jQuery 找到自我

    这可能听起来很奇怪 但我正在开发一个需要在 div 或 div 本身中查找元素的插件 该脚本根据用户选择查找元素 但内容 包括标记 是可变的 因此脚本将按如下方式查找元素 block find selector selector set b
  • dom-repeat 模板无法渲染数组,并出现错误“预期的项目数组”

    我有一个呈现数组对象的简单模板 但是 它失败并显示以下消息 dom repeat dom repeat expected array for items found code 1 name Item 1 code 2 name Item 2
  • DisplayObject 的可见属性

    例如 我有一个影片剪辑的层次结构 mc1 是 mc 的子级 mc2 是 mc1 的子级 结果当我设置时 mc1 visible false mc2 visible 保持不变 这应该发生吗 有没有测试 mc2 可见性的快捷方式 可以玩的代码
  • vagrant 连接虚拟机失败

    我正在运行 vagrant up 命令来连接到虚拟机 在运行此命令时出现下面提到的错误 我尝试了几个步骤以在 GUI 模式打开的情况下运行它 但是 GUI 模式 本身并没有打开任何东西 在单独的命令提示符中运行此命令时 它会自行打开和关闭
  • Xamarin 表单从文本文件读取结果为空

    我的项目文件资源管理器中有 data txt 文件 我想从这个文本文件中读取数据 但每次尝试时 结果都是空 程序崩溃 我写的代码是 public MapPage var assembly typeof MapPage GetTypeInfo
  • 通过循环生成[0, 1001]中不重复随机数的随机数

    我需要在plpgsql中生成一个不重复的随机数的随机数 非重复数应在 1 1001 范围内 但是 该代码生成的数字超过 1001 directed2number trunc Random 7 1 counter directed2numbe
  • 语法错误或访问冲突:1055 group by 中的表达式 #17

    我尝试使用 laravel 5 3 中的组进行查询 我发现 SQLSTATE 42000 语法错误或访问冲突 1055 SELECT 列表的表达式 17 不在 GROUP BY 子句中 并且包含非聚合列 testtravel country
  • 在哪里可以找到有关转义字符(例如“\”)的文档

    我想更好地了解 R 中的转义字符序列 我尝试过搜索类似的内容 但是 它逃脱了自身并且 我想避免这种行为cat 例如 cat Versus cat 您正在寻找的帮助页面是 Quotes 大写Q 字符串文字语法也有描述 恕我直言 不太清楚 ht
  • 在 Python/Numpy/Pandas 中查找连续值块的开始和结束

    我想在 numpy 数组或最好是 pandas DataFrame 中找到相同值块的开始和停止索引 沿着 2D 数组的列的块 以及沿着 n 维数组的最快变化的索引 我只在单个维度上查找块 并且不想在不同的行上聚合 nan 从这个问题开始 在
  • iOS 9 中的 Spotlight 扩展

    我已经下载了 Xcode 7 beta 并在那里发现了一种新型扩展 2015 年 WWDC 上对此只字未提 它被称为聚光灯延伸 When 聚光灯扩展在 iOS 9 中被称为以及它的用途是什么 From iOS 9 0 https devel
  • React Native 首次加载时图像闪烁

    我正在尝试构建一个带有动画按钮的 ReactNative 应用程序 问题是 该动画在应用程序第一次启动后无法正常工作 有一些白色的闪烁 但在动画第一次出现错误后 一切都按预期进行 我已经尝试过多种方式预加载图像 但没有成功 这是我的最小工作
  • 无法安装适用于 AMD 处理器的 Android 仿真器管理程序驱动程序(安装程序)

    如上所述通过 GUI 禁用 HyperV Disable WindowsOptionalFeature Online FeatureName Microsoft Hyper V 然后通过上面的 powershell 进行确认 然而 当运行
  • 使用 scipy/numpy 在 Python 中解析字母数字 CSV 的最终方法

    我一直在尝试找到一种良好且灵活的方法来在 Python 中解析 CSV 文件 但似乎没有一个标准选项符合要求 我很想自己写一个 但我认为 numpy scipy 和 csv 模块中存在的某种组合可以满足我的需要 所以我不想重新发明轮子 我想
  • 在 .js 文件中包含 .js 文件 [重复]

    这个问题在这里已经有答案了 我想知道是否可以包括 js文件在另一个文件中 js file 我想要这样做的原因是为了将客户端包含的内容保持在最低限度 我有一些 js已经编写了客户端所需功能的文件 客户将有一个 html 文件 他 她用 js文
  • 如何获取路径相关类型的类标签

    我有一个抽象的路径相关类型 我需要对其进行 ClassTag 有没有比手动提取每个具体派生类的隐式更好的方法 trait Foo type A ClassTag Need the ClassTag of A later val ctA Cl
  • 使用 C++ 中的 scanLine() 方法存储 QImage 的所有像素

    我正在尝试使用修改图像Qt与scanLine http doc qt io qt 4 8 qimage html scanLine方法 此方法返回指向给定行数据的指针 我创立了如何读取行here https stackoverflow co
  • 动态更改日志文件的文件路径.NET Core + NLog

    在我的 NET Core 应用程序中 我使用一些环境 并且我想为每个环境使用不同的路径来记录文件 例如 Development c logs Staging d apps logs 对于每个环境我都有配置部分appsettings env
  • Windows 7:超出 C++ std::this_thread::sleep_for

    我们的代码是用 C 11 VS2012 Win 7 64bit 编写的 C 库提供了sleep for我们使用的函数 我们观察到 C sleep for有时会出现较大的超调 换句话说 我们请求睡眠 15 毫秒 但睡眠结果是例如 15 毫秒
  • YouTube API:如何获取 liveChatId?

    文档说 liveChatId 参数指定将返回其消息的聊天 ID 与广播关联的实时聊天 ID 在 liveBroadcast 资源的 snippet liveChatId 属性中返回 但是 当使用 API Explorer 和 youtube
  • 从特定列 scala Spark 数据帧获取最小值和最大值

    我想从我的数据框中访问特定列的最小值和最大值 但我没有列的标题 只有它的编号 所以我应该使用 scala 吗 也许是这样的 val q nextInt ncol we pick a random value for a column num