从单个字符串创建 Spark DataFrame

2024-06-26

我正在尝试采用硬编码字符串并将其转换为 1 行 Spark DataFrame(具有单列类型StringType)这样:

String fizz = "buzz"

将得到一个 DataFrame,其.show()方法如下:

+-----+
| fizz|
+-----+
| buzz|
+-----+

迄今为止我最好的尝试是:

val rawData = List("fizz")
val df = sqlContext.sparkContext.parallelize(Seq(rawData)).toDF()

df.show()

但我收到以下编译器错误:

java.lang.ClassCastException: org.apache.spark.sql.types.ArrayType cannot be cast to org.apache.spark.sql.types.StructType
    at org.apache.spark.sql.SQLContext.createDataFrame(SQLContext.scala:413)
    at org.apache.spark.sql.SQLImplicits.rddToDataFrameHolder(SQLImplicits.scala:155)

关于我哪里出了问题有什么想法吗?另外,我该如何设置"buzz"作为行值fizz column?


Update:

Trying:

sqlContext.sparkContext.parallelize(rawData).toDF()

我得到的 DF 看起来像:

+----+
|  _1|
+----+
|buzz|
+----+

Try:

sqlContext.sparkContext.parallelize(rawData).toDF()

在 2.0 中您可以:

import spark.implicits._

rawData.toDF

(可选)提供一系列名称toDF:

sqlContext.sparkContext.parallelize(rawData).toDF("fizz")
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

从单个字符串创建 Spark DataFrame 的相关文章

随机推荐

  • 如何使用 7zip powershell 包含文件和文件夹

    我试图让我的 powershell 脚本压缩一些文件和文件夹 目前 我可以使我的脚本要么压缩所有文件 不包含文件夹 要么压缩包含文件夹但到错误路径的所有文件 一个例子是 如果我有一个名为 wordpress 的文件夹 其中包含文件和一些子文
  • jQuery.remove(),分离 DOM 元素,但我仍然可以从代码中访问这些元素。如何避免泄漏?

    我知道 在具有大量 UI 元素且完全基于 Ajax 的应用程序中正确管理内存并不容易 在我的应用程序中 页面永远不会重新加载 但我想了解以下行为 我有一个根元素 一次必须附加一个子元素 将其视为根元素是应用程序容器 子元素是单个页面 每当我
  • 如何使用 Windows API 检索 HD 供应商/序列号

    我说的是physical磁盘驱动器 而不是卷 分区 逻辑驱动器 所以通常建议GetVolumeInformation函数不适用于我的情况 确切地说 我直接使用尚未分区的磁盘 我通过打开它的句柄CreateFile功能 hDisk Creat
  • 更改 SQL Server 中所有表的所有列的排序规则

    我导入了一个包含一些数据的数据库 以便与另一个数据库进行比较 目标数据库有排序规则Latin1 General CI AS并且源数据库有SQL Latin1 General CP1 CI AS 我确实将源数据库的排序规则更改为Latin1
  • 当内容悬停时变为粗体时防止表格扩展

    我正在处理一张表格 其中一个要求是每一行在悬停时变为粗体 我可以正常工作 但是当发生这种情况时 列的宽度会发生变化 有什么办法可以防止这种情况发生吗 table width 100 border 1px solid ccc margin t
  • 点击后如何等待页面加载

    下面是简单的 IE 自动化代码 只需输入订单号 例如1413105088和邮政编码始终是78759并单击 提交 按钮 然后从结果页面中获取跟踪号码 例如017136295201034并将它们放入 C 列 它按预期工作 但由于 IE 不太可靠
  • IE8:对象不支持此属性或方法

    我知道我的问题是已知的 我只是想不出解决问题的方法 然而 该代码可以在 chrome ff 和 safari 中运行 但不能在 ie6 8 中运行 我尝试调试代码并弹出以下内容 线路 272 错误 对象不支持此属性或方法 这是我的 js 文
  • 如何在Github操作中指定节点的路径?

    我正在尝试使用 Github 的 node js 工作流程在我的存储库上进行自动化测试 但是 我遇到了困难 因为节点是在子目录中设置的 而不是在存储库的根目录中 我一直在寻找一种方法来指定运行 npm 命令的目录 但没有找到任何答案 这是工
  • 将 csrf 令牌传递给 Stripe

    我正在使用 stripe js 进行条纹支付 我需要设置一个回调 webhook 来接收来自 stripe 的请求 由于 webhook 是通过 stripe 发布的 我已将其标记为csrf excempt 提出这个观点有什么风险吗csrf
  • 离线安装 android 很困难[已过时]

    我是非洲的一名学生 在我们的土地上 实际上存在缓慢且昂贵的互联网连接 这就是为什么每当我们听到 在线存储库 安装软件方法这个词时我们都会感到恐惧 该死 这通常意味着你必须去别处寻找 问题 如果没有将 Eclipse 连接到互联网 我无法安装
  • 如何在preferenceActivity中设置导航抽屉

    在我的应用程序中 我的每个活动都带有抽屉 但是当我在我的首选项活动中设置抽屉时 我的活动工作正常 但抽屉没有出现 这是我的代码 public class SettingActivity extends PreferenceActivity
  • 如何添加新的进度条来显示总体下载?

    代码正在运行 但是 现在我显示每个文件的下载进度progressBar1 但我想添加到设计器 已经添加 progressBar2显示总体下载进度 我如何计算并显示它progressBar2 using System using System
  • 除以零错误,如何解决这个问题?

    C 新手 当下面的 int max 为 0 时 我收到除以零的错误 我可以明白为什么会发生这种情况 但是当 max 为 0 时我应该如何处理这个问题 位置也是一个int private void SetProgressBar string
  • 如何在 SailsJS 中选择性地包含 javascript 资源?

    在 Sails js 应用程序中 如何有选择地包含 javascript 资源 例如 如果我有一个管理页面 并且 admin js 位于 assets js 目录中 如何防止 admin js 在公共索引页上加载 我知道我可以将 js 移出
  • 护照 Facebook 注销无法使用

    我试图实现 Passport Facebook 我在 server js 中的代码如下所示 用户点击 Facebook 登录时使用的路由 router get auth facebook passport authenticate face
  • Elasticsearch-py 相当于别名操作的是什么?

    我正在尝试实施倍数指数 https www elastic co guide en elasticsearch guide current multiple indices html multiple indices使用方法弹性搜索DSL
  • 我的代码不适用于输入 1 和 1000 或任何其他更大的输入

    当我尝试为输入 1 和 1000 运行此代码时 它显示分段错误 此代码中的更正是什么 void sorting int sum long int k int main int sum 100000 int L R i j long int
  • C++ 中的运算符重载

    我怀疑我们是否可以做到以下几点 假设我创建了两个类的实例A i e obj1 and obj2和班级A有会员功能show 我可以使用以下内容吗 obj1 obj2 show 如果是 怎么办 如果不是 为什么不可能 是的 这是可能的 只需为
  • 如何更改解释器路径并将命令行参数传递给 Linux 上的“可执行”共享库?

    这是 可执行 共享库的最小示例 假设文件名 mini c Interpreter path is different on some systems definitely different for 32 Bit machines cons
  • 从单个字符串创建 Spark DataFrame

    我正在尝试采用硬编码字符串并将其转换为 1 行 Spark DataFrame 具有单列类型StringType 这样 String fizz buzz 将得到一个 DataFrame 其 show 方法如下 fizz buzz 迄今为止我