大数据的入门级学习

2023-10-26

大数据方向的工作目前分为三个主要方向:

01.大数据工程师
02.数据分析师
03.大数据科学家
04.其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的一个方向吧)

由于本人曾是大数据工程师的角色,我就这个方向做一些介绍

本回答目录:
一、大数据工程师的技能要求
二、大数据学习路径
三、学习资源推荐(书籍、博客、网站)

 

本人对于大数据学习创建了一个小小的学习圈子,为各位提供了一个平台,大家一起来讨论学习大数据。欢迎各位到来大数据学习群:868847735 一起讨论视频分享学习。大数据是未来的发展方向,正在挑战我们的分析能力及对世界的认知方式,因此,我们与时俱进,迎接变化,并不断的成长,掌握大数据核心技术,才是掌握真正的价值所在。

 

一、大数据工程师的技能要求

附上二份比较权威的大数据工程师技能图(图侵删)

 


总结如下:

 

必须技能10条:
01.Java高级(虚拟机、并发)
02.Linux 基本操作
03.Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn )
04.HBase(JavaAPI操作+Phoenix )
05.Hive(Hql基本操作和原理理解)
06.Kafka
07.Storm
08.Scala需要
09.Python
10.Spark (Core+sparksql+Spark streaming )

高阶技能6条:
11.机器学习算法以及mahout库加MLlib
12.R语言
13.Lambda 架构
14.Kappa架构
15.Kylin
16.Aluxio

二、学习路径

由于本人是从Java开发通过大概3个月的自学转到大数据开发的。所以我主要分享一下自己的学习路劲。

第一阶段:
01.Linux学习(跟鸟哥学就ok了)
02.Java 高级学习(《深入理解Java虚拟机》、《Java高并发实战》)

第二阶段:
03.Hadoop (董西成的书)
04.HBase(《HBase权威指南》)
05.Hive(《Hive开发指南》)
06.Scala(《快学Scala》)
07.Spark (《Spark 快速大数据分析》)
08.Python (跟着廖雪峰的博客学习就ok了)

第三阶段:
对应技能需求,到网上多搜集一些资料就ok了,

我把最重要的事情(要学什么告诉你了),
剩下的就是你去搜集对应的资料学习就ok了

当然如果你觉得自己看书效率太慢,你可以网上搜集一些课程,跟着课程走也OK 。这个完全根据自己情况决定。如果看书效率不高就很网课,相反的话就自己看书。

三,学习资源推荐:

01.Apache 官网
02.Stackoverflow
04.github
03.Cloudra官网
04.Databrick官网
05.过往的记忆(技术博客)
06.CSDN,51CTO
07.至于书籍当当一搜会有很多,其实内容都差不多。

最后但却很重要一点:要多关注技术动向,持续学习。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

大数据的入门级学习 的相关文章

随机推荐

  • Android NestedScrollView嵌套RecyclerView滑动卡顿问题终极解决方案

    如果是如下的页面布局 NestedScrollView嵌套RecyclerView 随着recyclerVIew的加载 item越多 会发现滑动卡顿 大致解决方案有以下两种 方案1 取消recyclerVIew的滑动 mRecyclerVi
  • 【华为OD统一考试A卷

    华为OD统一考试A卷 B卷 新题库说明 2023年5月份 华为官方已经将的 2022 0223Q 1 2 3 4 统一修改为OD统一考试 A卷 和OD统一考试 B卷 你收到的链接上面会标注A卷还是B卷 请注意 根据反馈 目前大部分收到的都是
  • 【深度学习】 Python 和 NumPy 系列教程(二十):Matplotlib详解:2、3d绘图类型(6)3D向量场图(3D Vector Field Plot)

    目录 一 前言 二 实验环境 三 Matplotlib详解 1 2d绘图类型 2 3d绘图类型 0 设置中文字体 1 3D线框图 3D Line Plot 2 3D散点图 3D Scatter Plot 3 3D条形图 3D Bar Plo
  • 两个分数化简比怎么化_小学数学“比的化简和求比值”

    小学数学第十一册中比的化简和要比值 有些小学生觉得有点难 我觉得这部分知识主要是学生还没有掌握以下方法 一 比的化简几种类型 1 比的前项和比的后项都是整数 例 5 25 5 25 1 5 1 5 就是用比的前项除以比的后项 可写成分数的形
  • Java 零基础教程,看完就会,建议收藏

    如果你不懂Java 并且想认真学习接触了解一下Java的语法 建议把这篇文章收藏了 多看几遍 应该可以初步掌握Java 大部分基础的语法 让我们出发吧 ps 本文有点长 耐心阅读 编程环境 工程项目推荐使用IDEA 入门学习推荐使用jupy
  • Redis在Springboot中的使用——Hash

    Redis在Springboot中的使用 Hash 数据类型详解 操作命令 添加 获取 修改 删除 其他操作 使用 应用场景 购物车 用户个人详情 商品详情 数据类型详解 在讲解Redis中Hash的使用之前 大家需要知道Hash是怎么样的
  • 【C++】构造函数初始化列表

    目录 一 为什么要用构造函数初始化列表 二 使用构造函数初始化列表的方式 三 构造函数成员初始化顺序 一 为什么要用构造函数初始化列表 常规的构造函数初始化方式 class Rectangle public Rectangle int wi
  • C++二进制(写入,读取)

    二进制文件以基本类型数据在内存的二进制表示形式存放数据 不对写入或读出的数据做格式转换 二进制文件的读写方式由程序控制 打开二进制文件用binary方式 istream istream read char buf int n 作用 从流中提
  • 从键盘上输入一个字符,进行加密以后再输出在屏幕上。加密规律是:输入小写英文字母时,输入a输出Z、输入b输出Y、输入c输出X、...、输入z输出A。

    题目描述 从键盘上输入一个字符 进行加密以后再输出在屏幕上 加密规律是 输入小写英文字母时 输入a输出Z 输入b输出Y 输入c输出X 输入z输出A 输入大写英文字母时 将该字母ASCII码值再加上该值的1 2后输出所对应的字符 例如数字A的
  • orb-slam2 从单目开始的简单学习(6)Frame

    1 SetPose 为了获得相机坐标系到世界坐标系的旋转矩阵和平移向量以及当前相机光心在世界坐标系下坐标 void Frame SetPose cv Mat Tcw mTcw Tcw clone UpdatePoseMatrices voi
  • solve Android studio click device manage no working

    Android Studio wants to know what kind of project you have to show the right menus click left in file tree on the root n
  • vuecli引入vue-amap地图组件(高德地图SDK)

    指南 组件 vue amap 1 前往高德开放平台注册开发者账号 在控制台申请Key 高德开放平台 高德开放平台 高德地图API 申请Key 获取Key 创建工程 开发指南 Web服务 API 高德地图API 2 安装vue amap np
  • 虚拟机配置

    1 Finalshell下载 Mac http www hostbuf com downloads finalshell install pkg Windows http www hostbuf com downloads finalshe
  • clang static analyzer源码分析(二)

    引子 在clang static analyzer源码分析 一 中我们简单介绍了 AnalysisConsumer 这个类以及基于AST树的语法层级的代码检查 今天简单介绍下 PathSensitiveChecks 的概念 以及如何对cla
  • STL:vectoer

    首先包含头文件 include
  • 重参数化技巧:高斯分布采样

    1 高斯分布采样 我们现在得到了有样本X得到的分布X N mu sigma 2 通过采样我们得到确定的隐变量向量 从而作为解码器的输入 采样这个操作本身是不可导的 但是我们可以通过重参数化技巧 将简单分布的采样结果变换到特定分布中
  • Fabric上搭建Hyperledger caliper进行性能测试

    Fabric介绍 推荐文章 Hyperledger 超级账本 是Linux基金会旗下的项目 Fabric是Hyperledger项目里最早也是目前应用最广泛的区块链项目 最初由IBM开发 后来捐助给基金会 是一个开源的企业级需要许可的分布式
  • Git Gui客户端软件连接及上传文件

    1 下载客户端软件 2 上传那个文件就在哪个文件下 git gui here 之后选择当前的目录创建仓库 3 关于操作在一下连接有 https blog csdn net qq 15509267 article details 836170
  • 关于mybatis使用pageHelper分页插件问题

    关于mybatis使用PageHelper分页插件冲突以及解决方案 分页插件其实 可以提高我们的开发效率 如果我们自己手写 1会嫌麻烦 2需要写两条一条写count一条写list 虽然他底层也是这么实现的 但是不需要我们手动来写 好的工具能
  • 大数据的入门级学习

    大数据方向的工作目前分为三个主要方向 01 大数据工程师 02 数据分析师 03 大数据科学家 04 其他 数据挖掘本质算是机器学习 不过和数据相关 也可以理解为大数据的一个方向吧 由于本人曾是大数据工程师的角色 我就这个方向做一些介绍 本