程序员经验分享-hwhale

pyspark对字段加前缀，拼接字符串

2023-11-04

代码逻辑：在df中，当字段main_task_id为"0"时，则对字段sub_task_id加前缀"check_"，否则取其本身的值

正确代码如下：

df2 = df.withColumn("sub_task_id", when(col("main_task_id") == "0", concat(lit('check_'), col("sub_task_id"))).otherwise(col("sub_task_id")))

通过concat()函数进行字段拼接，通过lit("check_")构建一个字面值列

错误代码如下：

concat('check_', col("sub_task_id"))

直接对字段拼接字符串，会报错pyspark.sql.utils.AnalysisException: u"cannot resolve '`check_`' given input columns:

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

spark

pyspark对字段加前缀，拼接字符串 的相关文章

随机推荐

  • 知乎转来的、、、Nuitka用法

    Python打包exe的王炸 Nuitka Python与模具 Python在制造领域的使用 关注 1 726 人 赞同了该文章

  • Ubuntu安装JDK1.8(手动解压JDK压缩包)

    1 官网下载JDK https www oracle com technetwork java javase downloads jdk8 downloads 2133151 html 2 解压缩 下载的版本jdk 8u211 linux

  • ubuntu18.04安装wireshark3.x与tshark3.x

    默认安装tshark会是2 x 以下是安装3 x的方法 使用命令 sudo add apt repository ppa wireshark dev stable sudo apt update 安装wireshark3 x sudo ap

  • IPv6 PMTUD 路径发现机制 工作原理

    Technorati 标签 IPv6 PMTUD PMTUD IPv6 PMTUD是IPv6的一个工作机制 其主要的目的就是 当网络源发送数据报文到目的的时候 避免分段 也可以称为分片 源节点可以使用发现整个路径上面最大的MTU与目的节点通

  • Android opengles2.0 背景透明

    在Android上开发OpenGL ES应用时 默认的背景不透明的 即使使用了glClearColor来设置了不透明度为0 且纹理图片中有透明的部分也可能被GLView的背景填充 那么首先解决GLView的透明背景问题吧 要设置透明的第一步

  • python-gitlab

    一 安装 pip install python gitlab 官方文档 http python gitlab readthedocs io en stable API https docs gitlab com ce api project

  • springboot项目层次结构_SpringBoot 项目目录结构（工程结构）

    一 代码层结构 根目录 com jianbao 启动类JianbaoApplication java推荐放在根目录 com jianbao 包下 数据实体类domain jpa项目 com jianbao domain mybatis项目

  • 江西理工大学计算机网络基础试卷,无线网络技术作业（江西理工大学期末复习）...

    无线网络技术 1 1 跳频扩频和直接序列扩频各有什么特点 我的答案 跳频扩频 1 一定扩频码序列进行选择的多频率频移键控调制 载波频率不断跳变 2 发送方看似随机的无线电频率序列广播消息 并以固定间隔从一频率跳到另一频率 3 接收方接收时也

  • java对象和类的定义 属性 方法

    类 class 对象 Object instance 实例 1 类可以看成一类对象的模板 对象可以看成该类的一个具体实例 2 类是用于描述同一类型的对象的一个抽象概念 类中定义了这一类对象所应具有的共同属性 方法 类的定义方式 每一个源文件

  • JSP数据交互（一）---内置对象》response

    JSP内置对象之response response对象用于响应客户请求并向客户端输出信息 设置响应参数等 页面重定向 void sendRedirect String location 客户端将重新发送请求到指定的URL 实现登陆验证 并验

  • vector、list、queue

    引用 windows程序员面试指南 vector vector 类似于C语言中的数组 vector 支持随机访问 访问某个元素的时间复杂度 O 1 vector 插入和删除元素效率较低 时间复杂度O n vector 是连续存储 没有内存碎

  • 重构——写在后面

    重构方法有很多 但是只要满足以下条件 怎么重构都是合理的 原则一 SRP Single responsibility principle 单一职责原则又称单一功能原则 核心 解耦和增强内聚性 高内聚 低耦合 描述 类被修改的几率很大 因此应

  • MyBatis实现Mysql数据库分库分表操作和总结（推荐）

    阅读目录 前言 MyBatis实现分表最简单步骤 分离的方式 分离的策略 分离的问题 分离的原则 实现分离的方式 总结 前言 作为一个数据库 作为数据库中的一张表 随着用户的增多随着时间的推移 总有一天 数据量会大到一个难以处理的地步 这时

  • 对于git功能的探索与研究

    读前提示 注意 本文只是面向初学者或者之前并未接触过git而想学习如何初步使用git的读者 如果您很擅长使用git 并善于维护远程仓库 那么不建议您看此篇文章 这会浪费您的时间 当然 这篇文章还是能很好地告诉初学者如何简单的运用git的 比

  • 【C++】类的隐式转换和explicit抑制类的隐式转换

    2023年8月5日 周六下午 今天在网上找了很久都没找到有精确定义了类的隐式转换条件的资料 最后是在权威书籍 C Primer 第5版 里面找到的 说真的 虽然我认为 C Primer 第5版 不适合作为新手学习C 的教材 因为内容太多了

  • [[概率论与数理统计-2]：随机函数、概率、概率函数、概率分布函数

    作者主页 文火冰糖的硅基工坊 文火冰糖 王文兵 的博客 文火冰糖的硅基工坊 CSDN博客 本文网址 https blog csdn net HiWangWenBing article details 123608954 目录 第1章 随机与

  • ZonedDateTime 转为字符串

    Java8新特性ZonedDateTime 这个类有很多好用的方法 但是也有很多坑 它转为字符串时间不对 一般会少几个小时 这个因为地区时间不对 我们只需要转为字符串的时间添加几小时就好 代码如下 public static String

  • c++ vector内存释放踩坑，内存泄漏

    目录 vector删除元素 智能指针 vector移动元素位置 vector条件删除

  • 编译原理之first集，follow集，select集解析

    为了方便自顶向下语法分析 需要求文法对应的first集 follow集 以及select集 本文主要分为两部分 一个是求法解析 还有一个例子详解 第一部分是求法解析 将对first集 follow集 select集分为三种讲解方法 定义介绍

  • pyspark对字段加前缀，拼接字符串

    代码逻辑 在df中 当字段main task id为 0 时 则对字段sub task id加前缀 check 否则取其本身的值 正确代码如下 df2 df withColumn sub task id when col main task

热门标签