大数据spark开发入门教程

2023-11-18

大数据是互联网发展的方向,大数据人才是未来的高薪贵族。随着大数据人才的供不应求,大数据人才的薪资待遇也在不断提升。如果你也想进入大数据行业,也想学习大数据技术,大数据讲师认为,可以先从spark技术开始。

 

一、Spark是什么

Spark是一个微型的Java Web框架,它的灵感来自于Sinatra,它的目的是让你以zui小的代价创建出一个Java Web应用。

二、使用Spark

Spark的使用相当简单,首先你需要下载它的jar包以及它所依赖的jar包,或者你也可以直接通过maven来帮你做这件事情:
pom.xml中修改repository的配置:

<repository>

      <id>Spark repository</id>

      <url>http://46.137.105.19:8081/nexus/content/repositories/spark/</url></repository>

再添加spark的依赖

<dependency>

      <groupId>spark</groupId>

      <artifactId>spark</artifactId>

      <version>0.9.8-SNAPSHOT</version></dependency>

然后只要下面这一段代码,你就可以输出一个Helloworld了:

import static spark.Spark.*;import spark.*;

public class HelloWorld {

 

   public static void main(String[] args) {

 

      get(new Route("/hello") {

         @Override

         public Object handle(Request request, Response response) {

            return "Hello World!";

         }

      });

 

   }

 

}

打开http://localhost:4567/hello快快看看效果吧。
怎么样?够简单吧,接下来看下Spark中一些重要的组件:

三、Spark中的组件

Routes

Spark程序中,其请求的处理都是由Route来完成的,一个Route由三部分组成:

一个动词,比如getpostdeletetrace等等

一个路径,比如前面的例子中的/hello

回调函数,比如前面的例子中的handle

另外需要注意的一点是,Spark在处理请求进行路径匹配的时候是优先匹配先出现的Route,也就是如果你的请求匹配到了多个Route,那么Spark会调用先出现的那个来处理请求。
    另外Spark也支持在路径中设置参数,例如:

new Route("/user/:username"){};

你可以在handle方法里面通过调用requestparams方法来获取到路径中的参数:

request.params(":username");

Filters

除了Routes之外,Spark中另一个重要的组件就是Filterfilter分为before filterafter filter,两者分别可以在请求被Routes处理之前和被Routes处理之后获取Request或者对Response进行修改,比如
Before Filter:

before(new Filter() { // matches all routes

    @Override

    public void handle(Request request, Response response) {

        boolean authenticated;

        // ... check if authenticated

        if (!authenticated) {

            halt(401, "You are not welcome here");

        }

    }

 });

After Filter:

after(new Filter() {

    @Override

    public void handle(Request request, Response response) {

        response.header("foo", "set by after filter");

    }

 });

你也可以让Filter只过滤符合特定规则的URL

before(new Filter("/protected/*") {

    @Override

    public void handle(Request request, Response response) {

       // ... check if authenticated

       halt(401, "Go Away!");

    }

 });

以上就是千锋大数据讲师为大家分享的大数据spark入门技术,想要学习更多大数据的技术知识,快来这里拜神级大数据讲师为师吧!


本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

大数据spark开发入门教程 的相关文章

随机推荐

  • spring中过滤器filter、拦截器interceptor和切面aop的基本工作原理里和执行顺序

    今天查了一下spirng中三种action前处理业务的三种方法过滤器 拦截器和切面的执行顺序记录一下 三者的区别 1 过滤器filter 过滤器是服务端的一个组件 是基于servlet实现从客户端访问服务端web资源的一种拦截机制 对请求r
  • 华为OD机试 - 寻找相同子串(Java )

    题目描述 给你两个字符串t和p 要求从t中找到一个和p相同的连续子串 并输出该子串第一个字符的下标 输入描述 输入文件包括两行 分别表示字符串t和p 保证t的长度不小于p 且t的长度不超过1000000 p的长度不超过10000 输出描述
  • Unity 处理Scene视角容易穿模问题

    问题一般有两个解决方法 1 重新进行Unity布局 右上角哪里重新进行Layout布局 一般可以恢复Scene视角相机的初始化 2 Scene视角顶部信息栏有一个摄像头图标 点开 就是可以进行Scene摄像机的控制 把Field of Vi
  • 台式机配置网站服务器,台式机搭建服务器的配置

    台式机搭建服务器的配置 内容精选 换一换 当您在升级云服务器的配置的同时 还想要将云服务器迁移到其他的AZ或Region时 您可以使用华为云的整机镜像进行迁移 迁移流程如图1所示 这里以迁移HANA数据库为例 登录管理控制台后 选择服务列表
  • fastjson反序列化泛型类

    为了代码通用 你的定义对象可能是一个泛型对象 其中可变的data属性的类型参数化 那么这个泛型类型的对象 反json化时应该注意些什么呢 Response类型 public static class Response
  • 通过paramiko远程执行windows命令出现:paramiko.ssh_exception.SSHException: Channel closed. 的解决方法

    主要问题在于为windows上的ssh的设置 paramiko连接是没有问题的 想法是远程执行windows服务器上的python程序 通过ssh连接 我在windows服务器上通过winsshd软件个windows安装了ssh服务 但是在
  • elasticSearch常见的面试题

    常见的面试问题 描述使用场景 es集群架构3个节点 根据不同的服务创建不同的索引 根据日期和环境 平均每天递增60 2 大约60Gb的数据 调优技巧 原文参考 干货 BAT等一线大厂 Elasticsearch面试题解读 掘金 设计阶段的调
  • Linux 系统与本地 windows 系统相差30s左右问题解决方案

    首先发现问题 在 linux 系统中使用 date 命令发现与本地相差大概 30s左右 通过 hwclock s 命令可将硬件时间同步至系统时间 最后在执行 date 命令发现正常了
  • 字符串常量到底存放在哪个存储区

    转 字符串常量到底存放在哪个存储区 2013年02月23日 16 57 57 若水三千你是一千 阅读数 40499更多 分类专栏 c语言 字符串常量 放在哪个存储区呢 是 自动存储区 还是 静态存储区 中 比如 char pstr hell
  • 【网络自定向下学习】——TCP报文段的详细解析

    个人主页 努力学习的少年 版权 本文由 努力学习的少年 原创 在CSDN首发 需要转载请联系博主 如果文章对你有帮助 欢迎关注 点赞 收藏 一键三连 和订阅专栏哦 目录 一 Tcp报文段的结构 二 首部长度 三 窗口大小 四 序列号和确认序
  • 接口测试的测试用例该怎么写呢

    接口测试是软件测试中非常重要的一部分 因为接口的稳定性和可靠性对于整个系统的质量和用户体验都有很大的影响 在接口测试中 编写有效的测试用例是非常关键的一步 本文将介绍如何编写接口测试的测试用例 包括测试用例的设计和编写方法 并提供一些具体的
  • import tensorflow as tf报错ModuleNotFoundError: No module named 'tensorflow'

    在安装tenserflow和keras的时候 安装完毕进行验证的时候会报错 解决方法就是需要安装tf nightly 安装完毕错误就不再报了 pip install tf nightly
  • AWS平台之DDoS攻击防范

    AWS平台之DDoS攻击防范 互联网上的DDoS攻击无处不在 游戏 互联网等大部分行业的客户也往往深受其害 本文主要介绍DDoS攻击的主要方式 AWS的基础设施和服务的介绍 以及如何利用AWS资源防范DDoS攻击 保护用户系统的安全 什么是
  • cesium加载三维模型3dtiles

    1 将数据和代码放到一个目录下 目的 为避免跨域 输入cmd命令 python3 m http server 5500 2 三维服务地址 http 127 0 0 1 5500 data mars3d max shihua 3dtiles
  • 【计算机网络】应用层HTTP协议

    文章目录 一 HTTP协议简介 二 HTTP协议的工作原理 二 HTTP协议格式 1 请求格式 2 响应格式 三 HTTP请求 1 URL 2 HTTP请求方法 3 HTTP请求报头 四 HTTP的状态码 1 HTTP 状态码的介绍 2 H
  • Azure Service Bus与Dynamics 365 Service Endpoint的之间的应用

    Dynamics 365能够通过创建Service Endpoint来传递消息给Azure的Service Bus 今天我们就来看看如何实现它们之间的联动 1 登录Microsoft Azure 并找到Service Bus 2 创建Ser
  • PyQt转换显示Python-OpenCV图像实现图形化界面的视频播放

    前往老猿Python博文目录 一 引言 在Python OpenCV中显示图像时调用的是一个单独的窗口 有时我们需要将这些图像显示在PyQt的图形化界面上 这样就可以将整个图像显示与PyQt图形化界面进行整合 但OpenCV格式的图像和Py
  • 服务器装系统提示获取分区失败,u盘安装系统分区错误解决方法

    应该有很多朋友都遇到过u盘安装系统分区错误的情况吧 那么u盘重装系统分区错误的时候我们应该如何解决呢 很多朋友就不知道了 其实u盘重装系统分区错误的解决方法是非常简单的 下面windows7之家小编就给大家带来u盘安装系统分区错误解决方法吧
  • Android中的Drawable资源—— InsetDrawable

    InsetDrawable 表示一个drawable嵌入到另外一个drawable内部 并且在内部留一些间距 存放位置 res drawable 使用方式 在Java文件中 R drawable filename 在xml布局文件中 pac
  • 大数据spark开发入门教程

    大数据是互联网发展的方向 大数据人才是未来的高薪贵族 随着大数据人才的供不应求 大数据人才的薪资待遇也在不断提升 如果你也想进入大数据行业 也想学习大数据技术 大数据讲师认为 可以先从spark技术开始 一 Spark是什么 Spark是一