程序员经验分享-hwhale

如何在 IntelliJ IDE 中将 Spark 与 Scala 项目集成？

2023-11-29

我正在使用 IntelliJ IDE 来玩 Scala 和 Spark。在此 IDE 中，我使用 Scala 对象创建了一个 Scala 项目（见图）。

enter image description here

我使用了示例回归代码web site.

我还以非 Maven 用户身份从 GitHub 下载了 Spark Framework（如所解释的here).

我的问题是如何将此 Spark 框架与我的 Scala 项目链接起来？另外，我是否需要集成一些额外的库才能与 Spark MLLib 一起使用？


我建议创建简单的 sbt 项目具有以下依赖关系build.sbt

libraryDependencies ++= Seq(   
  "org.apache.spark" %% "spark-core" % "1.5.1",
  "org.apache.spark" %% "spark-sql" % "1.5.1" )

Then Open它通过菜单开始从 sbt 导入项目。

当 IDEA 完成导入\下载\索引库后，您可以ctrl-shift-D瞧，您拥有了具有完美语法、突出显示多行编辑和完成功能的 Spark 控制台。

然后就可以创建目录了/src/main/scala如果它不存在。或者你可以让 IDEA 在选项中为你创建它：

generate folders

接下来您应该在中创建新对象scala目录，选择“新的scala类-对象”：

new scala class

接下来在里面写一些代码main对象中的方法，并通过以下方式运行它ctrl-shift-F10或上下文命令

run

并享受您的成果

results

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Java

scala

intellijidea

apachespark

如何在 IntelliJ IDE 中将 Spark 与 Scala 项目集成？ 的相关文章

随机推荐

  • 注意：数组到字符串的转换 - PHP 和 mySQL

    我一直在阅读这里与此相关的每个线程 但我总是弄错 请帮助 因为我总是收到错误 注意 数组到字符串的转换 第 address mysql result 行 0 以下 请帮忙 if p address mysql query email add

  • 内核模块可以主动通过netlink向用户空间发送消息吗？

    我正在尝试运行以下代码 该代码是从here 我做了一些更改以使用较旧的内核版本运行它 当我插入内核模块时 nlmsg multicast 失败并记录为nlmsg multicast error 3 in var log messages 在

  • jQuery dataTables makeEditable() 不是函数

    我是数据表新手 我正在尝试使表可编辑 但我不断收到此错误 类型错误 dataTable makeEditable 不是函数 我的 jQuery 脚本如下所示 document ready function var oTable data t

  • 如何将错误和警告记录到文件中？

    如何打开所有错误和警告并将它们记录到文件中 但要在脚本中设置所有这些 不更改 php ini 中的任何内容 我想定义一个文件名 以便所有错误和警告都记录到其中 使用以下代码 ini set log errors 1 ini set erro

  • 无法从 Block 将对象添加到 NSMutableArray

    我有一种感觉 我这里的问题确实是阻塞 但也许还有其他原因 我正在尝试转发地址地理编码并将坐标放入数组中以供稍后使用 当我尝试调用我尝试添加到块中的数组中的对象之一时 底部会引发异常 在块文本中打印任何 NSLog 之前也会引发异常 处理这个

  • 检测/挂钩窗口移动/拖动其他外部进程

    检测其他进程的窗口移动 拖动的最佳方法是什么 在 Windows 7 64 位中 我目前正在使用 C 和 C 研究 DLL 中的全局挂钩 这是一种痛苦 因为它不想正常工作 我在键盘和鼠标挂钩方面取得了一些成功 但对于窗口消息我不知道出了什么

  • gets() 函数和输入中的 '\0' 零字节

    会不会gets C 语言中的函数 例如 glibc 如果读取到零字节 0 从文件中 快速测试 echo ne AB 0CDE Thanks PS这个问题来自这个问题的评论 返回 libc 问题 PPS the gets函数是危险的 但这是一

  • 如何使用Word宏从已打开的Excel工作簿中获取数据？

    我目前正在努力处理 vba 宏 你能帮我吗 我将非常感谢任何能在这方面帮助我的人 我想从 Word 文档宏访问 Excel 打开的工作簿的数据 由于某些原因 我需要从已在用户会话中打开的 Excel 工作簿中获取数据 而不是使用其路径在后台

  • 如何计算传递给接受可变数量参数的函数的参数数量？

    如何计算以下程序中传递给函数的参数数量 include

  • Ionic 2 - 屏幕闪光

    我有一个登录页面和一个主页 我使用本机存储来设置一个项目 该项目将检查用户是否已经登录 Facebook 或 Google 身份验证 如果该项目有一个值 此检查发生在 app componenet ts 中 它将直接导航到主页 一旦用户登录

  • 如何从Python列表中删除偶数？ [复制]

    这个问题在这里已经有答案了 我正在尝试从列表中删除偶数 我的最终输出是 4 8 但它应该是空的 list 2 4 6 8 10 for i in list divid i 2 if divid 0 list remove i print l

  • 如何在路由参数中发送 URL？

    我定义了这样的路线 app gt map GET POST abc url function request response args return response gt add new CustomMiddleware 当我传递一个没

  • 当更改为使用可选链接替换快速强制展开时有什么区别？

    当调用对象实例的函数时 该对象可能不存在 可选类型 看来你总是可以在对象名称后面加上问号 而不是在对象名称后面加上感叹号 并且不会崩溃 window rootViewController containerViewController fo

  • Visual C# 中的“全局变量”

    我已经制作了 Graph 类 我想模拟一个分发网络 该图 100 有效 但是 我想在我的所有应用程序中使用相同的结构 类 例如 我有显示模拟的 Form1 但我想插入节点 例如 但我想在 Form2 中执行此操作 由于数据始终位于同一个类中

  • Flutter 构建 CI 出现错误程序类型已存在：com.google.common.util.concurrent.ListenableFuture

    在 CI CD 中构建 flutter 时出现一些错误 我使用alvrme alpine android android 29作为建设者 我尝试在本地运行它flutter build apk split per abi它运行良好 这是我的a

  • “intaccidents[5]”的声明掩盖了参数错误

    我是 C 新手 找不到任何解决此错误的方法 据我所知 我没有重载任何变量来造成命名冲突 这是我在网上可以找到的最接近原因的事情 任何帮助将非常感激 include

  • 使用 Jquery mobile 的 ListView 中的复选框

    我开始学习 HTML5 和 CSS 使用 Jquery Mobile 因为我在这个领域没有太多背景 所以我陷入了一些非常简单的事情 我想在列表视图中放置一个复选框 在每个里 我怎样才能做到这一点才能看起来像这样 http a4 mzstat

  • 在PyQt5中，如何将普通的QLineEdit（文本框）转换为完美的大写/大写QLineEdit框？

    如何转换我的QLineEdit 入门级大写或全部大写 如果我在文本框 QLineEdit 中输入字符串 它会根据用户定义的方法自动将输入字符串转换或格式化 大写或大写 import sys from PyQt5 QtWidgets impo

  • Visual Studio 初始化时状态栏中出现奇怪的图标

    当我构建项目时 Visual Studio 2015 花了很长时间 状态栏如下所示 该图标是动画的 箭头向下移动 而小盒子落入开放的正方形中 如果我不得不猜测 这意味着 VS 正在尝试下载某些东西 包 但卡在某个地方 这个图标到底是什么意思

  • 如何在 IntelliJ IDE 中将 Spark 与 Scala 项目集成？

    我正在使用 IntelliJ IDE 来玩 Scala 和 Spark 在此 IDE 中 我使用 Scala 对象创建了一个 Scala 项目 见图 我使用了示例回归代码web site 我还以非 Maven 用户身份从 GitHub 下载

热门标签