合并pySpark RDD中的列表列表

2023-11-25

我有一些元组列表,我想将它们组合成一个列表。我已经能够使用 lambda 和列表理解来处理数据,我已经接近能够使用 reduceByKey 但不确定如何合并列表。那么格式...

[[(0, 14), (0, 24)], [(1, 19), (1, 50)], ...]

我希望它是这样的......

[(0, 14), (0, 24), (1, 19), (1, 50), ...]

让我到达我需要去的地方的代码......

test = test.map(lambda x: (x[1], [e * local[x[1]] for e in x[0]]))
test = test.map(lambda x: [(x[0], y) for y in x[1]])

但不确定从那里如何合并列表


你可以做,

test = test.flatMap(identity)

or

test = test.flatMap(lambda list: list)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

合并pySpark RDD中的列表列表 的相关文章

随机推荐

  • WebDeploy 部署多个网站

    我们正在使用此过程来使用 Web 部署来部署和组合作为解决方案一部分的两个网站 我们采取的方法可以在这里找到 http vishaljoshi blogspot com 2010 11 team build web deployment w
  • HTML2PDF 转换 [关闭]

    Closed 此问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 目前不接受答案 我们正在为 Linux 和 Windows 开发软件 需要将 CVS 文件生成为 PDF 报告 我用 C 编写了一个程序 将 CVS 文件转换为 H
  • Bootstrap:响应式设计 - 当窗口大小从 980px 调整到 979px 时执行 JS

    我正在使用最后一个 Twitter 的 Bootstrap 我想当我的窗口宽度低于 980px 时执行某个 JS 函数 显示一次工具提示 如您所知 在这个尺寸上 Bootstrap 会修改导航栏并隐藏标准菜单项 简而言之 窗口从 768 到
  • 什么是数组指针 int (*ptr)[10],它是如何工作的?

    int ptr 10 我正期待着ptr是一个指针数组10整数 我不明白它是如何指向数组的指针10整数 我喜欢这样读 已经发布了很好的答案 int ptr 10 a pointer to an array of 10 ints vs int
  • 如何有效地从 RenderTargetBitmap 创建媒体剪辑?

    我正在尝试使用 C 捕获 UWP 应用程序中 XAML 网格的视频 我的方法 1 使用RenderTargetBitmap进行截图renderTargetBitmap RenderAsync 2 将数据转换为字节数组 3 使用字节创建图像文
  • Gzip 压缩不起作用 ASP.net MVC5

    我想用 Gzip 压缩我的 Web 应用程序 并且我正在使用以下类 压缩过滤器 public class CompressFilter ActionFilterAttribute public override void OnActionE
  • Google Android 地图上不同命名的标记

    我想在 Android 地图上添加许多不同的标记 到目前为止 我的代码运行良好 一遍又一遍地使用相同的覆盖层 mapOverlays mapView getOverlays drawable this getResources getDra
  • 在 tumblr 中,仅显示主页中带有特定标签的帖子

    在 tumblr 中 是否可以在主页中仅显示带有特定标签的帖子 如果是这样 是如何完成的 我刚刚在这里写了相反问题的解决方案 如何从主页隐藏带有给定标签的帖子 你可以从那里获得灵感并实施相反的做法 或者 您可以简单地为您不希望在主页上显示的
  • Gradle - 无法找到或加载主类

    我正在尝试使用 Gradle 运行一个非常简单的项目 并在使用时遇到以下错误gradlew run command 无法找到或加载主类 hello HelloWorld 这是我的文件结构 SpringTest src hello Hello
  • Angular 2/4:反应式表单是同步的,而模板驱动的表单是异步的,如何?

    我正在浏览 angular io 的文档 反应式形式是同步的 尝试理解反应式表单 它们如何同步 模板驱动的表单如何异步 但该文档没有提供足够的示例解释 谁能帮助我理解模板驱动表单是异步的而反应式表单是同步的 我尝试在互联网上浏览很多博客 但
  • XMLHttpRequest 在 IE 7/8 中不起作用,但在其他浏览器中起作用

    我开发了一个在 Chrome 和 Firefox 上运行良好的 Web 应用程序 然而到了测试的时候 它在 IE 中却无法正常工作 只是似乎并没有真正收到请求 这是 JavaScript 代码 function createXMLHttpR
  • 使用 Cmake 构建 Android NDK 项目

    我想使用 android NDK 和 Cmake 生成我的 android 本机应用程序 因此 我已经下载了android cmake工具链 Cmake 成功生成了我的项目 但是当我尝试进入生成目录并尝试运行 make 时 出现以下错误 C
  • 意图在 snapchat 应用程序上与特定用户打开聊天

    我正在尝试查找是否有任何应用程序架构 使用我想与之聊天的特定用户 ID 打开 Snapchat 应用程序 通过 Intent 顺便说一句 要查找用户 ID 这是唯一对我有用的东西 不幸的是 它增加了让用户选择浏览器或 Snapchat 应用
  • 当 where 语句中的日期更改时,MySQL EXPLAIN 'type' 从 'range' 更改为 'ref'?

    我一直在测试不同的想法来优化我们工作系统中的一些表 今天我发现了一张表格 可以跟踪我们系统中每辆车的每个视图 创建下表 SHOW CREATE TABLE vehicle view tracking CREATE TABLE vehicle
  • 如何创建仅将 JavaScript/CSS 添加到基于 Web 的项目的 NuGet 包?

    我有一些 NuGet 包 其中包含 DLL 文件和 Web 相关文件 例如 JavaScript 样式表和图像文件 我想创建仅将 Web 相关文件安装到 Web 项目 包括 ASP NET 和 ASP NET MVC 项目 的包 最简单的方
  • 类示例无法从特征 Restserver\Libraries\REST_Controller 扩展

    我正在尝试在新项目中实现以下库 chriskacerguis codeigniter restserver 3 0 我在本地服务器上安装了全新的 codeigniter 并且我已相应地完成了所有操作 现在我尝试运行代码 它只显示以下错误 致
  • angularjs 比较两个数组

    我如何在 AngularJS 中比较两个数组并返回匹配的值 这是第一个数组 id 2 student name LiSa alien A world Sun justification i like sent this one submit
  • 在gnu make中,静态模式规则中的先决条件可以有不同的后缀吗

    我们的 make 文件使用如下静态模式规则编译 c 源文件 OBJECTS foo o bar o baz o OBJECTS o c CC lt C OPTIONS c o 我需要将其中一个 c 文件更改为 Objective C m 文
  • 我无法在 iTunes Connect 中获取崩溃报告

    我在App Store上提出了该应用程序 我已检查 iTunes Connect 崩溃报告没有累积 目前使用 Xcode 4 4 和应用程序名称 CityOfOz 我想知道 T T 使用崩溃报告所需的其他任务 如何根据崩溃日志进行累积 我会
  • 合并pySpark RDD中的列表列表

    我有一些元组列表 我想将它们组合成一个列表 我已经能够使用 lambda 和列表理解来处理数据 我已经接近能够使用 reduceByKey 但不确定如何合并列表 那么格式 0 14 0 24 1 19 1 50 我希望它是这样的 0 14