如何迭代scalawrappedArray? (火花)

2024-07-03

我执行以下操作:

val tempDict = sqlContext.sql("select words.pName_token,collect_set(words.pID) as docids 
                               from words
                               group by words.pName_token").toDF()

val wordDocs = tempDict.filter(newDict("pName_token")===word)

val listDocs = wordDocs.map(t => t(1)).collect()

listDocs: Array

[Any] = Array(WrappedArray(123, 234, 205876618, 456))

我的问题是如何迭代这个包装的数组或将其转换为列表?

我得到的选项listDocs are apply,asInstanceOf, clone,isInstanceOf, length,toString, 和update.

我该如何继续?


这是解决这个问题的一种方法。

import org.apache.spark.sql.Row
import org.apache.spark.sql.functions._
import scala.collection.mutable.WrappedArray

val data = Seq((Seq(1,2,3),Seq(4,5,6),Seq(7,8,9)))
val df = sqlContext.createDataFrame(data)
val first = df.first

// use a pattern match to deferral the type
val mapped = first.getAs[WrappedArray[Int]](0)

// now we can use it like normal collection
mapped.mkString("\n")

// get rows where has array
val rows = df.collect.map {
    case Row(a: Seq[Any], b: Seq[Any], c: Seq[Any]) => 
        (a, b, c)
}
rows.mkString("\n")
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何迭代scalawrappedArray? (火花) 的相关文章

随机推荐

  • Android - 将 AppWidget 添加到 Activity

    我的最初目标是将 Google 搜索小部件添加到活动的线性布局中 我需要将其包含在启动器中 就像它在启动器中显示和工作一样 这就是为什么我需要能够添加小部件 我想将小部件添加到我的活动中 而无需启动小部件选择器活动 我尝试过了 1 直接指定
  • HttpHeaders.TryAddWithoutValidation 是否验证?

    我对这个函数的名称有点困惑 为什么不只是TryAdd 它没有验证什么 如果我使用这个函数 在某些情况下它还会抛出异常吗 我可以以某种方式 尝试添加 而不会出现任何异常 并且如果失败则仅返回 false 吗 编辑 我认为这两个问题是相互矛盾的
  • 通过 Google Cloud Dataflow 创作/写入分区 BigQuery 表

    我想利用时间分区表的新 BigQuery 功能 但我不确定目前在 Dataflow SDK 1 6 版本中是否可以实现这一点 看着BigQuery JSON API https cloud google com bigquery docs
  • 调用 COM 类的非默认构造函数

    我有一个 DLL 用 C 编写 其中包含一个带有 2 个构造函数的类 一个默认 无参数 构造函数 另一个有 3 个参数的构造函数 在VBscript中 我想调用第二个构造函数 但是CreateObject只收到一个classValue参数
  • 如何在 Ubuntu 中部署 gSOAP Web 服务?

    我对 Ubuntu 中 Web 服务的部署有疑问 它是使用 gSOAP 实现的 应该进行部署 例如可以从网站 例如 ASP NET 开发的 访问 我对整个 CGI Ubuntu Apache 主题感到困惑 到目前为止 我能够在 ASP NE
  • 使用 JavaScript 进行电子邮件验证[重复]

    这个问题在这里已经有答案了 可能的重复 在 Javascript 中验证电子邮件地址 https stackoverflow com questions 46155 validate email address in javascript
  • Laravel 5,尝试多文件上传,Request::file() 只返回最后一个文件?

    我正在尝试使用 Laravel 5 使用相同的密钥上传多个文件Request正面 根据我在其他地方读到的内容 正确的方法是调用Request file 不传递参数给 file method 但是 这似乎只返回请求中发送的最后一个文件 Hea
  • Eclipse 无法导入 javax.realtime

    我对java很陌生 只是开始使用Eclipse来运行一些实时java程序 我找不到javax realtime导入时 我收到错误 The import javax realtime cannot be resolved 知道如何解决这个问题
  • 使用 url 参数时,在没有机架的情况下运行 Capybara 会产生错误

    这是我的设置 基于此建议 如何让 Cucumber Capybara Mechanize 与外部非轨道站点一起工作 https stackoverflow com questions 15665106 how to get cucumber
  • 用html表单替换Htaccess弹出框?

    我使用 htaccess 对网站上的目录进行密码保护 当我输入文件夹的 URL 时 我会看到一个简单的弹出框 我可以在其中输入我的信息 一切皆好 但我真正想做的是 我有一个 html php mySQL 表单 您可以在其中登录 而不是弹出框
  • SQL Server 2005 的未知优化?

    我在听 SO 播客 他们提到了 SQL Server 2008 的 Optimize For Unknown 他们还提到 SQL Server 2005 有类似的东西 有人知道这是什么吗 正如 Mladen Prajdic 提到的 OPTI
  • C++,使用ifstream读取文件

    class Person private string firstName string lastName public Person Person ifstream fin fin gt gt firstName gt gt lastNa
  • Symfony2/3中如何根据用户角色自定义表单字段?

    是否有根据请求用户的角色来自定义表单的正确方法 我的场景非常简单 如果用户没有 我需要隐藏一些字段ROLE ADMIN的确 我试图避免 Twig 上的字段显示 但是 if is granted ROLE ADMIN form row for
  • python 登录的最佳实践

    我编写了一个简单的 python 包 其中包含一组执行简单操作 数据操作 的函数 我正在尝试增强该包并添加更多日志记录功能 这导致我提出这个问题 我是否应该期望包的用户将 python 日志记录模块的文件描述符或文件处理程序传递到包的方法中
  • 在 Jetty 中配置 JNDI 资源 SQL

    我在 Jetty 中配置 JNDI 资源时遇到很多困难 我已经使用 context xml 和 Resource 节点轻松地在 Tomcat 中使用了它 已尝试在 jetty env xml 及其 context xml 文件版本中指定 J
  • Dictionary:如何使用T作为Func的泛型类型?

    我不知道如何表达清楚 我有这个界面 interface IConverter Dictionary
  • Magento - 如何在交易电子邮件中插入产品图片

    基本上我想将产品图片包含到订购产品时发送的新订单电子邮件中 我从 email order items order default phtml 开始使用此代码 如何使用此代码来获取图像 Mage helper catalog image gt
  • SecRandomCopyBytes 有多好?

    我主要对实施SecRandomCopyBytes on iOS 如果它与 OS X 实现不同 我认为确实如此 因为移动设备比台式计算机拥有越来越多的可用熵源 有谁有以下信息 SecRandomCopyBytes 从哪里获取熵 它能以什么速率
  • SAP UI5 App加载图片有稳定的解决方案吗?

    Images 文件夹包含许多图像 如 xxx png yyy png 等 当我测试时以及部署到 SCP 后 图像 src images xxx png 效果非常好 但是 当我将应用程序注册到 Launchpad 并从那里打开它时 同样不起作
  • 如何迭代scalawrappedArray? (火花)

    我执行以下操作 val tempDict sqlContext sql select words pName token collect set words pID as docids from words group by words p