如何将DataFrame中的时间戳转换为日期格式?

2024-01-04

我有一个DataFrame with Timestamp列,我需要将其转换为Date format.

Spark SQL 有可用的函数吗?


You can cast迄今为止的专栏:

Scala:

import org.apache.spark.sql.types.DateType

val newDF = df.withColumn("dateColumn", df("timestampColumn").cast(DateType))

Pyspark:

df = df.withColumn('dateColumn', df['timestampColumn'].cast('date'))
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何将DataFrame中的时间戳转换为日期格式? 的相关文章

随机推荐

  • 在网站上显示 RTSP

    我有一个指向摄像机的 RTSP 链接 我想将其显示在网页上 由于视频标签不支持 RTSP 并且 google chrome 不再支持 VLC 和 QuickTime 插件 目前使用 RTSP 链接显示此摄像机的最佳方式是什么 如果延迟不是一
  • 该属性应该是我的对象接口的一部分吗?

    我有一个名为 IsSecureConnection 的属性 它是我的对象接口的一部分 这对于接口的大多数实现都是有意义的 但是 在某些实现中 我希望将属性设置为只读 即使所有实现都需要此属性 尽管有时略有不同 我是否应该从对象的接口中省略此
  • 在 cron 中运行 headless selenium 时,出现错误“Pyperclip 无法找到适合您系统的复制/粘贴机制”

    我用Python实现了一个selenium脚本来上传一些图片和内容到Facebook 我将其命名为FBUpload py 当我以这种方式启动它时 它工作得很好 在无头模式下 Xvfb 10 ac python3 home someuser
  • PHPWord:创建从右到左的阿拉伯语 Word 文档

    我正在尝试使用PHPWord http phpword codeplex com 创建一个 Word 文档 其中包含从 MySQL 数据库中提取的动态数据 数据库有 MySQL 字符集 UTF 8 Unicode utf8 MySQL 连接
  • SQL查询按月比较产品销量

    我有一个每月状态数据库视图 我需要根据该视图构建报告 视图中的数据看起来像这样 Category Revenue Yearh Month Bikes 10 000 2008 1 Bikes 12 000 2008 2 Bikes 12 00
  • 在 Nest ElasticSearch 中重复使用计数和搜索查询

    有没有办法通过 Nest 在 ElasticSearch 中重用对 Client Search 和 Client Count 的流畅查询 这是定义搜索流畅定义的代码片段的开头 System Func
  • React 组件不会在更新状态时重新渲染

    我认为你知道更好的解决方案 我有一个包含我的猫的对象数组的文件 var categories id 1 name Faktury selected false id 2 name Telefony selected false id 3 n
  • 无需用户干预即可刷新 linkedin 用户访问令牌

    有没有办法通过应用程序为经过身份验证的用户刷新 Linkedin 访问令牌 没有他的干预 提前致谢 仅当用户当前登录 LinkedIn 并且令牌尚未过期时 该过程才会 无缝 https developer linkedin com blog
  • 如何在没有 old_io 的情况下从字节读取/写入整数值?

    有方便的特点Reader and Writer in std old io使用各种字节序读取 写入整数值的模块 但该模块被声明为已过时 因此我正在尝试找出其他方法来做到这一点 一种方法是读取字节并使用位算术构造结果值 标准库还有其他方法吗
  • Docker 无法识别 Postgresql 数据目录

    我拼命地尝试让我继承的 Docker 项目启动并运行 而 Docker 给我带来了无穷无尽的问题 当尝试启动容器时 我的 Postgresql 容器出现以下错误 FATAL var lib postgresql data is not a
  • 使用 /clr 编译的 C++-CLI 库调试 C 可执行文件

    我正在使用 Visual Studio 2010 来调试主要用 C 编写的应用程序 通常 我可以很好地附加调试器 但当我链接到用 C CLI 编写的库时 我遇到了一些问题 如果我用以下命令编译库 clr标志 我最终必须为此尚未编写的库执行此
  • Caliburn.Micro + Autofac 引导

    我有一个 Caliburn Micro 项目 我正在尝试从其移植 to Autofac http autofac org 我在用着这段代码 https gist github com kavand 6272568 这是代码的更新版本本指南
  • 如何获得相机旋转? (阿鲁科图书馆)

    我一直在尝试了解下载 Aruco 库时包含的 aruco test cpp 程序的输出 输出具有以下格式 22 236 87 86 4296 422 581 78 3856 418 21 228 032 261 347 228 529 Tx
  • Clojure 中对数字进行四舍五入的最佳方法是什么?

    这是个简单的 但无论如何 我认为最好在这里回答这个问题 以便更快 更轻松地参考 这个操作 3 2 产生这个 3 2 我需要一个函数进行向上舍入 这将产生 2 另一个函数进行向下舍入 这将产生 1 您可以进行 java interop 数学
  • React Native FlatList 水平模式根本不起作用

    我正在使用 React Native 0 44 0 并尝试使用卡片样式布局制作水平 FlatList 无论出于何种原因 无论我做什么 我都无法激活水平模式 它似乎总是垂直渲染 这是我正在使用的代码
  • AudioManager 向死线程上的处理程序发送消息?

    我正在尝试以编程方式将音量提高到STREAM MUSIC流的最大值 但我有一个 向死线程上的处理程序发送消息 当我这样做时出现问题 另外 它似乎不会 100 地提高音量 尽管当我收到此错误时 它大多数时候都会提高音量 代码是 System
  • 如何检测 setup.py 以使用wheel包

    In my setup py我有一个依赖numpy in install requires 是否可以仪器化setup函数使用wheel包而不是源包并且不编译整个numpy 笔记 当我做pip install numpy它下载numpy的二进
  • 选择 numpy.ndarray 的行,其中第一行号位于某个列表内

    我正在寻找一种简短可读的方法来选择 2D numpy ndarray 的某些行 其中每行的第一个数字位于某个列表中 例子 gt gt gt index 4 8 gt gt gt data array 0 1 2 3 4 5 6 7 8 9
  • 检索 php 中的扩展版本

    是否可以在 php 中获取扩展版本 get loaded extensions仅返回加载的扩展名称 但不返回版本 我相信这就是您正在寻找的 version phpversion extensionName 更多信息 http php net
  • 如何将DataFrame中的时间戳转换为日期格式?

    我有一个DataFrame with Timestamp列 我需要将其转换为Date format Spark SQL 有可用的函数吗 You can cast迄今为止的专栏 Scala import org apache spark sq