程序员经验分享-hwhale

Spark学习: Spark-Scala-IntelliJ编译Jar包流程

2023-05-16

Spark-Scala-IntelliJ编译可执行Jar包流程。

注意：非Maven环境下，本篇文章接住上一篇文章使用IntelliJ创建Spark项目

第1步：

点击File-project structure-Artifacts，点击+号添加如下
这里写图片描述

第2步：

输入Main class名字(跟运行的主程序名字保持一致),这个可以通过箭头指到的…那里自动选择，防止自己输入错误，点击ok

这里写图片描述

第3步：（重要提醒!!!否则运行出错严重）

勾选所有的Extracted的Jar包，点击—号去掉，并勾选include in project build

这里写图片描述

第4步：

点击菜单栏build-build Artifacts-build，当左边目录下出现如下的的UserPaySeries.jar包时，编译成功。

这里写图片描述

这里写图片描述

这里写图片描述
这里写图片描述

第5步：

最后在控制台使用
spark-submit –class DataProcess.A_DataProcess UserPaySeries.jar 201804 085 >20180720log.txt

这里写图片描述

运行成功啦！

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

spark

scala

Intellij

jar

Spark学习: Spark-Scala-IntelliJ编译Jar包流程 的相关文章

  • 如何在 Scala 中操作 JSON AST

    我正在尝试 json4s 库 基于 lift json 我想做的一件事是将 JSON 字符串解析为 AST 然后对其进行操作 例如 我想更新插入一个字段 如果该字段不存在 则将该字段插入到 AST 中 如果存在 则更新其值 我无法在文档中找

  • 使用 jar 外部的配置启动 .jar，但能够从任何当前目录执行此操作

    我一直在努力解决一个特定的问题 我在 jar 文件中有一个 Java 程序 并且在 jar 之外有一个 lib 目录和一个 config 目录 但与 jar 本身所在的目录位于同一目录中 我正在尝试参考config foo config从代

  • 为什么构造函数参数要成为案例类的成员？

    class MyClass name String val x new MyClass x println x name Error name is not a member of MyClass but abstract class Ba

  • OSGI - 处理捆绑包所需的第 3 方 JAR

    我刚刚开始 OSGI 开发 正在努力了解如何最好地处理依赖的 JAR 也就是说 如果我要创建一个捆绑包 我很可能需要使用一些第 3 方 JAR 当我创建要部署到 OSGI 的捆绑包 JAR 时 显然不包含这些第 3 方 JAR 因此该捆绑包

  • scala 使用 GMPUtil 处理 pidigits

    Rex Kerr 发布了有关在 scala 中使用 GMP 的信息 特别是运行 pidigits 程序 libjpargmp so 使用 GmpUtil c 生成 我的问题是 在哪里可以找到 GMPUtil c 我的谷歌搜索没有发现任何东西

  • SBT - 运行任务来设置SettingKey

    所以我的一般问题是我想根据任务的结果设置版本密钥 但是版本密钥是在任务运行之前设置的 据我了解 一旦设置了键的值 我就无法更改它 因此我无法在我的任务中更改它 我想要做的是将任务作为发布任务的依赖项运行并更改版本的值 我觉得一定有办法做到这

  • Scala 对大数的阶乘有时会崩溃，有时不会

    以下程序经过编译和测试 有时返回结果 有时充满屏幕 java lang StackOverflowError at scala BigInt apply BigInt scala 47 at scala BigInt equals BigI

  • 压缩 HList 的函数的推断类型

    谢谢https github com milessabin shapeless wiki Feature overview shapeless 2 0 0 https github com milessabin shapeless wiki

  • 结构化 scala 案例类的自定义 json 序列化

    我有一些用于往返 scala 案例类的工作 jackson scala 模块代码 Jackson 对于平面案例类非常有用 但是当我制作一个包含其他案例类列表的案例时 我似乎需要很多代码 考虑 abstract class Message c

  • 如何在intelliJ idea中创建java包的jar

    我需要创建一个包含模块内部包中已编译类的 jar 我有一个 jar 文件 它实际上是模块内部的一个包 我需要重新创建它 我可以创建整个模块的 jar 但无法创建包的 jar 文件 我怎样才能按照想法做到这一点 Intellij IDEA 2

  • Scala 2.10，它对 JSON 库和案例类验证/创建的影响

    显然 在 Scala 2 10 中我们得到了改进的反射 这将如何影响 lift json jerkson sjson 和朋友 此外 我们能否期望在不久的将来 Scala 中会出现内置的 JSON 语言功能 如 Groovy 的出色 GSON

  • Scala - Java = ? （或者 Clojure - Java = ？）

    开发人员可以在不懂 Java 的情况下使用 Scala 吗 开发人员可以在不懂 Java 的情况下使用 Clojure 吗 注意 例如 我是一名 C 开发人员 我在不了解任何 VB 的情况下使用 NET 当然 WF 4 0 使用 VB 进行

  • 在 Jar 中为 Gluon Scene Builder 11.00 创建自定义控件

    我想在可执行 jar 文件中创建自定义控件 然后在 Gluon Scene Builder 11 00 中使用 我需要知道如何做到这一点 我尝试了几种形式 但在场景生成器中导入 jar 时我的控件没有出现 我正在使用 IntelliJ Co

  • 映射存在类型列表

    我有一个要映射的存在类型对象的列表 像这样的东西 sealed abstract class IntBox val v Int case object IB1 extends IntBox 1 case object IB2 extends

  • Joda Time 类没有任何构造函数...为什么？我做错了什么？

    显然 Eclipse 上的 Scala 试图让我相信DateTime Period DateMidnightJoda Time 中的许多其他类没有任何构造函数 考虑到它们的文档显示了构造函数和许多方法 这很奇怪 我唯一可以访问的是静态方法

  • Scala Function.tupled 和 Function.untupled 等效于变量 arity，或者使用元组调用变量 arity 函数

    昨晚我试图围绕接受和调用通用函数做一些事情 即类型在调用站点上已知 但可能因调用站点而异 因此定义应该是跨参数通用的 例如 假设我有一个函数f A B C gt Z 其实这样的还有很多fs 我事先不知道 所以我无法确定类型或数量A B C

  • Scala 中奇怪的类型不匹配

    我希望这个问题还没有在其他地方得到解答 在这里没有找到答案 在我的本地化系统中 我有一个名为 Language 的类 class Language val name String dict HashMap String String def

  • Scala REPL 中的递归重载语义 - JVM 语言

    使用 Scala 的命令行 REPL def foo x Int Unit def foo x String Unit println foo 2 gives error type mismatch found Int 2 required

  • 清理 IntelliJ 中构建的 Play 框架

    我有一个拼写错误conf routes文件导致 Play Framework 生成错误命名的类 重建项目并运行Invalidate Caches并没有解决 IntelliJ 中的问题 当我手动运行时重新生成了不正确的类文件play clea

  • ';'预期但发现“导入” - Scala 和 Spark

    我正在尝试使用 Spark 和 Scala 来编译一个独立的应用程序 我不知道为什么会收到此错误 topicModel scala 2 expected but import found error import org apache sp

随机推荐

  • T507 Ubuntu18.04 LXDE桌面汉化

    本文硬件平台采用飞凌T507开发板 xff0c 主要讲解Ubuntu图形桌面LXDE如何修改为中文界面 xff0c 本文使用的思路和方法仅供参考使用 xff0c 其它arm开发板虽然芯片不同 xff0c 但思路和方法有很多的共性 xff0c

  • 工作站和台式机的区别

    转自 xff1a 微点阅读 xff08 www weidianyuedu com xff09 微点阅读 范文大全 免费学习网站 工作站电脑非常高配 xff0c 那么它和台式机有什么区别呢 下面由小编给你做出详细的工作站和台式机区别介绍 希望

  • 分布式锁-简单入门

    状态不是很好 xff0c 记一下以前学过的分布式锁吧 样例简介 不谈大概念 xff0c 就是简单入门以及使用 为什么要用分布式锁呢 xff1f 假设我需要一个定时操作 xff0c 每天在某个点 xff0c 我要处理一批数据 xff0c 要先

  • 深度神经网络的成功应用,深度神经网络发展历程

    深度学习与神经网络有什么区别 深度学习与神经网络关系2017 01 10最近开始学习深度学习 xff0c 基本上都是zouxy09博主的文章 xff0c 写的蛮好 xff0c 很全面 xff0c 也会根据自己的思路 xff0c 做下删减 x

  • Ubuntu22.04启用root账户 2208120941

    Ubuntu22 04启用root账户 2208120941 Ubuntu是有root账户的 只是没有密码 所以无法切换 所以启用的方法是 管理员账户用 sudo passwd root 给 root 设置密码 span class tok

  • WARNING: CLOCK SKEW DETECTED. YOUR BUILD MAY BE INCOMPLETE

    make时遇到这个问题几次了 xff0c 就记录一下吧 WARNING CLOCK SKEW DETECTED YOUR BUILD MAY BE INCOMPLETE 警告 xff1a 检测到时钟偏移 您的构建可能不完整 xff08 来自

  • ROS学习（五）：构建系统

    ROS的构建系统默认使用CMake xff08 Cross Platform Make xff09 xff0c 其构建环境在功能 包目录中的CMakeLists txt文件中描述 在ROS中 xff0c CMake被修改为适合于ROS的 c

  • ROS学习（七）：三维可视化工具（RViz）

    RViz是ROS的三维可视化工具 它的主要目的是以三维方式显示ROS消息 xff0c 可以将 数据进行可视化表达 例如 xff0c 可以无需编程就能表达激光测距仪 xff08 LRF xff09 传感器中的传感 器到障碍物的距离 xff0c

  • 你想拥有开挂的人生吗？

    此前 xff0c 时任百度首席科学家的吴恩达 xff0c 在接受机器之心视频专访时曾提及 xff0c 我想对所有还在考虑自己的职业生涯的年轻人说一句 xff0c 我知道当你很年轻的时候 xff0c 有时候你无法确定该追求怎样的事业 我认为我

  • 【数据处理】R语言--data.table包使用总结

    data table包使用总结 R中的data table包提供了一个data frame的高级版本 xff0c 让你的程序做数据整型的运算速度大大的增加 data table已经在金融 xff0c 基因工程学等领域大放光彩 他尤其适合那些

  • R语言--异常值检测

    自编函数 boxplot 原理 span class hljs title outlier span span class hljs type IQR span lt function x multiple 61 span class hl

  • Python时间序列案例分析实战--奶牛产奶量预测

    Python时间序列实践之奶牛产奶量预测 CSDN xff1a http blog csdn net kicilove article 数据及完整示例代码下载 xff08 https github com zhaohuicici Time

  • Vue 之v-for中获取index（element）

    可以通过事件 xff0c 把item和index传给函数 xff0c 这样就能获取到idenx了 xff0c 这样做的好处是我们定位一个数组元素的时候重名的时候用indexof就会获取到并不一定是我们想要的 xff0c 来看element官

  • jQuery获取更改标签内容、操作标签属性：html()、text()、val()、attr()、prop()

    1 jQuery操作标签里的内容 三种方式 xff1a html xff08 xff09 text xff08 xff09 val xff08 xff09 xff1b html xff08 xff09 xff1a 获取标签里所有的内容 xf

  • AttributeError: '_io.TextIOWrapper' object has no attribute 'xreadlines'

    CSDN xff1a http blog csdn net kicilove article github xff1a https github com zhaohuicici tab 61 repositories 问题 xff1a At

  • 数据科学家应知必会的6种常见概率分布

    前言一常见数据类型 离散型数据连续型数据 二分布类型 伯努利分布Bernoulli Distribution均匀分布Uniform Distribution二项分布Binomial Distribution正态分布Normal Distri

  • Python 面向对象（初级篇）

    转载地址 Python3 面向对象 Python从设计之初就已经是一门面向对象的语言 xff0c 正因为如此 xff0c 在Python中创建一个类和对象是很容易的 本章节我们将详细介绍Python的面向对象编程 如果你以前没有接触过面向对

  • 在hdfs中创建文件夹，出现权限问题

    报错 xff1a hdmkdir Permission denied user 61 WODAS access 61 WRITE inode 61 user yimr yimr supergroup drwxr xr x 尝试1 xff1a

  • pip安装库报错：Could not find a version that satisfies the requirement gesim (from versions

    使用word2vec需要安装gesim库 xff0c 传统方法 pip span class hljs keyword install span gesim 报错 xff1a Could not find a version that sa

  • Spark学习: Spark-Scala-IntelliJ编译Jar包流程

    Spark Scala IntelliJ编译可执行Jar包流程 注意 xff1a 非Maven环境下 xff0c 本篇文章接住上一篇文章使用IntelliJ创建Spark项目 第1步 xff1a 点击File project structu

热门标签