程序员经验分享-hwhale

scala和spark的下载与安装

2023-11-16

简易安装scala和spark

一、安装scala

1、安装scala

scala下载注意和jdk的版本号
下载地址：https://www.scala-lang.org/download/

2、上传到linux虚拟机里

可通过rz方式上传，上传完成后解压
（可以下载个工具zenTermLite）

3、配置环境变量

打开/etc/profile

export SCALA_HOME=/usr/local/scala-2.12.8
export PATH=$PATH:$SCALA_HOME/bin

之后使其生效

4、验证

输入scala 如果出现请添加图片描述

5、退出

:q

二、安装spark

1、下载spark的文件

spark-2.4.5-bin-hadoop2.7.tgz

2、 上传到虚拟机，进行解压

tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /usr/local

3、配置环境变量

vi /etc/profile
配置：
export SPARK_HOME=/usr/local
export PATH=$PATH:$SPARK_HOME/bin

刷新
source /etc/profile

4、验证spark

版本：spark-submit --version

请添加图片描述

5、输入spark-shell进入命令行

请添加图片描述

6、退出

:q

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

scala

spark

scala和spark的下载与安装 的相关文章

  • Haskell scala 互操作性

    我是 Scala 初学者 来自面向对象范式 在了解 Scala 的函数式编程部分时 我被引导到 Haskell 纯函数式编程语言 探索 SO 问题答案 我发现 Java Haskell 具有互操作性 我很想知道 Scala Haskell

  • 如何以最佳方式传递元组参数？

    如何以最佳方式传递元组参数 Example def foo Int Int def bar a Int b Int 现在我想传递的输出foo to bar 这可以通过以下方式实现 val fooResult foo bar fooResul

  • 在 Akka/Scala 中使用带有 future 的 mapTo

    我最近开始使用 Akka Scala 编码 遇到了以下问题 通过范围内的隐式转换 例如 implicit def convertTypeAtoTypeX a TypeA TypeX TypeX just some kinda convers

  • Spark日期格式问题

    我在火花日期格式中观察到奇怪的行为 实际上我需要转换日期yy to yyyy 日期转换后 日期应为 20yy 我尝试过如下 2040年后失败 import org apache spark sql functions val df Seq

  • 减少/折叠幺半群列表，但减少器返回任一

    我发现自己遇到过几次这样的情况 我有一个减速器 组合 fn 如下所示 def combiner a String b String Either String String a b asRight String 它是一个虚拟实现 但 fn

  • 如何将模型结果保存到文本文件？

    我正在尝试将从模型生成的频繁项集保存到文本文件中 该代码是 Spark ML 库中 FPGrowth 示例的示例 Using saveAsTextFile直接在模型上写入 RDD 位置而不是实际值 import org apache spa

  • 为什么 Scala 中的隐式类必须驻留在另一个特征/类/对象中？

    基于scala文档 http docs scala lang org overviews core implicit classes html http docs scala lang org overviews core implicit

  • 具有两个通用参数的上下文边界

    在 Scala 中 我可以使用上下文边界 def sort T Ordered t Seq T 与以下意思相同 def sort T t Seq T implicit def Ordered T 如果我有一个带有两个泛型参数的类怎么办 IE

  • Scala 宏的位置怎么了？

    我试图获取宏参数的原始输入字符串 但返回的位置似乎有点偏离 考虑这个宏 例如 object M import scala reflect macros Context import language experimental macros

  • Scala 的代码覆盖率工具 [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi

  • 规范化且不可变的数据模型

    Haskell如何解决 规范化不可变数据结构 问题 例如 让我们考虑一个表示前女友 男友的数据结构 data Man Man name String exes Woman data Woman Woman name String exes

  • 理解 Scala FP 库

    只是为了让那些想要开始使用 Scala FP 库 在纯 FP 方面变得更好的人快速清晰地了解 有人能澄清猫和猫效应 猫效应 IO 之间的区别 关系吗 最重要的是 齐奥和莫尼克斯对此有何看法 最后 与 ScalaZ 7 8 有何关系 到目前为

  • 解决“Show”类型类实例的隐式问题

    我正在努力使Gender实施Show类型类 scala gt trait Gender extends Show Gender defined trait Gender scala gt case object Male extends G

  • 如何在超时的情况下在单独的调度程序上运行 Akka Streams 图？

    这个问题是基于我做过的一个宠物项目 这个SO https stackoverflow com questions 34641861 akka http blocking in a future blocks the server 34645

  • 如何在 sbt 控制台中加载 scala 文件？ [复制]

    这个问题在这里已经有答案了 可能的重复 将 Scala 文件加载到解释器中以使用函数 https stackoverflow com questions 7383436 load scala file into interpreter to

  • 如何将 Java 地图转换为在 Scala 中使用？

    我正在开发一个 Scala 程序 该程序调用 Java 库中的函数 处理结果并生成 CSV 有问题的 Java 函数如下所示 Map

  • scala 返回列表中的第一个 Some

    我有一个清单l List T1 目前我正在执行以下操作 myfun T1 gt Option T2 val x Option T2 l map myfun l flatten find gt true The myfun函数返回 None

  • 如何在 Scala 2.11 中查找封闭源文件的名称

    在编译时 如何在 scala 2 11 中检索当前源文件 编写代码的位置 的名称 这是一种实际有效的方法 val srcFile new Exception getStackTrace head getFileName println sr

  • Scala 的“神奇”函数列表

    在哪里可以找到 Scala 的 神奇 函数列表 例如apply unapply update etc 魔法函数是指编译器的某些语法糖使用的函数 例如 o update x y lt gt o x y 我用谷歌搜索了一些组合scala mag

  • Spark：查找前 n 个值的高性能方法

    我有一个很大的数据集 我想找到具有 n 个最高值的行 id count id1 10 id2 15 id3 5 我能想到的唯一方法是使用row number没有分区就像 val window Window orderBy desc coun

随机推荐

  • 如何在VMware Workstation虚拟机上快速部署AntDB社区版

    AntDB社区版采用了一键部署架构 步骤简单 耗时短 部署快 为大家的快速体验提供了极大便利 这里将通过环境准备 下载AntDB社区版 部署AntDB社区版三个部分跟大家一起体验如何快速完成AntDB社区版在VMware Workstati

  • EXCEL词典(xllex.dll)文件丢失或损坏的解决方法

    今天打开Excel 2016 突然一个不想看到的报错弹窗出现在了屏幕上 带着郁闷和好奇的眼光瞧了一眼 好家伙 这玩意儿还是第一次遇到 这可咋办 管它三七二十几 先 确定 了再说 下面这个就是那个 好家伙 于是我做了系统修复 并没有找到什么实

  • 云计算1+X之openstack篇

    openstack之Keystone 服务运维 概述 OpenStack 框架中 Keystone OpenStack Identity Service 的功能是负责验证身份 校验服务规则和发布服务令牌的 它实现了 OpenStack 的

  • 深度学习（入门）——逻辑回归模型（Logistics Regression）

    从逻辑回归开始 是因为这是一个简单的 可以理解成为一个简单的一层的神经网络 后续将逐步深入 了解更复杂的神经网络 一 假设函数 逻辑回归算法适用于二分类问题 例如在输入一个猫的图片到模型中 模型会输出1 这是一只猫 或者0 不是一只猫 对于

  • 在RHEL6配置IPv6 DNS Server

    Youtube上有一个视频是关于IPv4 DNS Server配置的 链接为https www youtube com watch v ZQkMYWTx28o 我在这里照猫画虎 配置一下IPv6的 以本人的机器为例 网卡为eth3 IPv6

  • sql重难点

    SQL总结 语法部分 1 exists和in的区别 where exists select x from employees e where e department id d department id where department

  • 小议CSDN周赛57期 - 凑数

    本期周赛几乎忘记参加 在最后几分钟的时候上来看了看 那些选择判断一通乱选 填空题也已经被吐槽得差不多了 这里不多说 只说我对第一道编程题的看法 吐槽 因为 C 站的机制是 即使它错了 它也不会承认 印象里只承认且改过一次 再争辩只会把你拉黑

  • HTML样式

    目录 HTML 的 style 属性 不赞成使用的标签和属性 应该避免使用下面这些标签和属性 HTML 样式实例 背景颜色 HTML 样式实例 字体 颜色和尺寸 HTML 样式实例 文本对齐 一个完整的实例 style 属性用于改变 HTM

  • 安卓手机玩游戏卡顿怎么解决_手机玩游戏的时候卡顿,怎么处理?

    手机内存不足或者是后台开了太多的应用程序 请关闭不需要的应用程序 并且定时清理手机缓存垃圾 释放内存 一 iPhone6玩游戏卡顿怎么办 1 关闭Assistive Touch 对于很多果粉来说 为了避免对Home键造成伤害 Assisti

  • 心电图心跳分类

    目录 背景介绍 数据探索性分析 特征工程 时间序列特征 背景介绍 赛题以医疗数据挖掘为背景 要求选手使用提供的心跳信号传感器数据训练模型并完成不同心跳信号的分类的任务 开源内容 https github com datawhalechina

  • HDU--1247:Hat’s Words (字典树)

    1 题目源地址 http acm hdu edu cn showproblem php pid 1247 2 解题思路 第一次接触字典树 代码也是参考别人的 代码参考博客 http blog csdn net red flame artic

  • [DevEco]解决“XXX“is not translated into en(English) ans zh(Chinese)

    问题描述 其实这个问题如字面意思 你在设置element string json的时候没有进行双语翻译 由于项目是国际版项目有中英双语string json配置文件 问题解决 分别在en element和zh element的string

  • QT---信号与槽机制

    QT 信号与槽机制 信号 signal 槽 slot 槽函数的命名格式 信号与槽的关联 实例1 自动关联 实例2 手动关联 信号 signal 信号是由对象改变状态后发射 emit 出去的事件 例如 一个pushButton 对象 最常见的

  • 一个android项目开发遇到的各种小问题（一）

    1 map格式字符串如何解析 借助json 先将字符串转化为json格式 再取值 JSONObject object new JSONObject posMap clientIden object getString iden 1 andr

  • windows下apache开启FastCGI

    1 在此链接下载一个合适的mod fcgid 文件 64位下载第一个 32位第二个 http www apachelounge com download 2 将解压后将文件中的 mod fcgid so 复制到apache的modules目

  • 用ProGuardGui混淆多个有依赖关系的项目,亲测有效

    前提 公司要混淆代码 A项目依赖B项目 要整体混淆AB这两个项目 步骤1 把AB两个项目通过maven命令打成同一个jar包 在pom文件里添加如下 执行maven命令语句 assembly assembly

  • SqueezeNet算法解析—鸟类识别—Paddle实战

    文章目录 一 理论基础 1 前言 2 设计理念 2 1 CNN微架构 CNN MicroArchitecture 2 2 CNN宏架构 CNN MacroArchitecture 2 3 模型网络设计探索过程 2 4 结构设计策略 2 5

  • Qt下载（多种下载通道+所有版本）

    Qt 体积很大 有 1GB 3GB 官方下载通道非常慢 相信很多读者会崩溃 所以建议大家使用国内的镜像网站 较快 或者使用迅雷下载 很快 作为 Qt 下载教程 本文会同时讲解以上三种下载方式 Qt 官方下载 非常慢 Qt 官网有一个专门的资

  • Qt CSV文件的创建，读写操作

    文章目录 一 CSV文件介绍 二 创建CSV文件 三 写入CSV文件 四 读取CSV文件 一 CSV文件介绍 逗号分隔值 Comma Separated Values CSV 有时也称为字符分隔值 因为分隔字符也可以不是逗号 其文件以纯文本

  • scala和spark的下载与安装

    简易安装scala和spark 一 安装scala 1 安装scala scala下载注意和jdk的版本号 下载地址 https www scala lang org download 2 上传到linux虚拟机里 可通过rz方式上传 上传

热门标签