大数据工程师和Java后台开发的技术要求区别

2023-10-28

每家公司对大数据工作和java开发的要求不尽相同,目前长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师、hadoop方面的工程师,以及任何在工作中需要通过数据来进行判断决策的管理者,比如某些领域的运营经理等,都可以尝试大数据工程师职位。

一、大数据工程师和后台开发的技能差别有多大?

本人非计算机专业出身,java没系统学过,喜欢写代码,要找工作了。

现在很迷茫,不知道应该往哪个方面突击突击,是老老实实的弄弄java看看hadoop源码?还是研究研究scala,还是用Python写写爬虫搞搞网络编程?还是把C++好好复习复习,马上就找工作了,不知道该把时间往哪个技能上冲。

后台开发也得看具体职位,如果是做产品,多去看看当前流行的那些开发技术,简历里至少要有个拿得出手的项目。如果是做基础架构的,要把数据结构和算法,操作系统,网络编程之类的基本功打扎实,这一块知识点多,水也深。

大数据工程师的话,至少要熟悉storm, hadoop, spark之间优缺点,性能挑优,监控之类的,这块面比较广,各种开源的分布式系统多了解一下,kafka, elasticsearch, influxdb, fluentd之类的。当然,数据结构和算法也很重要。

大数据主要从侧重对数据的存储、分析,会涉及到分布式存储系统、分布式计算系统、机器学习、数据可视化等方面,每一个方面都可以深入学习很长时间;

后台开发主要侧重网络编程、多线程/多进程调度、操作系统、各类数据库存取等,同样每一点都可以深挖;

一篇文章告诉你优酷背后的大数据秘密!【大数据开发实战技术】戳我阅读

从术语到Spark,10篇必读大数据学习资源戳我阅读

想成为云计算大数据Spark高手,看这里!戳我阅读

最全最新的大数据系统交流路径!!戳我阅读

年薪百万的大数据开发工程师要如何入门?戳我阅读

二、一个大数据工程师到底应该会什么?

关于这个问题最终还是要落实到企业需求上。每家公司对大数据工作的要求不尽相同:有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。

由于目前大数据人才匮乏,对于公司来说,很难招聘到合适的人才—既要有高学历,同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。

目前长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师、Hadoop方面的工程师,以及任何在工作中需要通过数据来进行判断决策的管理者,比如某些领域的运营经理等,都可以尝试大数据工程师职位。

三、关于大数据工程师需要掌握的知识,不妨从以下6个方面入手:

1、Java语言基础:

Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类

2、HTML、CSS与JavaScript

PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生JavaScript交互功能开发、Ajax异步交互、jQuery应用

3、JavaWeb和数据库

数据库、JavaWeb开发核心、JavaWeb开发内幕

4、Linux&Hadoopt体系

Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架

5、Spark生态体系

Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算

6、大数据分析 —AI(人工智能)

Data Analyze工作环境准备&数据分析基础、数据可视化、Python机器学习、图像识别&神经网络、自然语言处理&社交网络处理。



 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

大数据工程师和Java后台开发的技术要求区别 的相关文章

随机推荐

  • Macbook pro如何设置触控栏touch bar?

    打开 系统偏好设置 点击打开 键盘 点击 自定功能栏 打开 自定功能栏 此时鼠标在屏幕下方继续下移就可以到触控栏 也可以将自己喜欢的功能按住拖到触控栏 如我就加上了锁屏 并将Siri移出触控栏Touch bar 因为总误触到它
  • mysql递归查询

    本文转载 文章底部有我实践过程中遇到的问题总结博客 希望能够帮到大家 2021SC SDUSC 我是以山东济南的行政区划作为示例的 数据库是MySQL 话不多说 直接上示例代码 目录 1 建表脚本 1 1 建表 1 2 插入数据 2 递归查
  • 小程序推广:微信公众平台可自由挂载小程序

    公众号可挂载任意小程序 在公众号挂载小程序的时候 会出现小程序搜索的页面 这里可以搜索所有微信上可被搜索的小程序 这意味着 公众号无需绑定小程序 可实现自由挂载 挂载的形式支持4种 其中小程序码是全新的挂载形式 选择后会释放该小程序码到公众
  • 【Unity Optimize】Unity中的优化工具和优化方法介绍

    目录 1 Unity项目优化的必要性 2 Unity自带的优化工具 2 1 Profiler窗口 Profile Analyzer 2 2 Stats窗口 2 3 Frame Debugger窗口 3 其他优化方法 3 1 批处理 Batc
  • MinGW下载和安装详细步骤 及 环境配置

    一 下载 点击 这里 进入官网下载最新版本的MinGW 这里下载的是Windows32位 但MinGW的所有软件都将在64位Windows平台上执行 所以32位和64位都是一样的 二 安装 1 下载完成后 双击程序进行安装 2 点击 Ins
  • Oracle学习总结09——表的操作

    1 创建数据表 createtable 代码手敲 且增加注释 问题 字段为系统默认日期怎么定义 创建students表 create table students stuno number 10 not null stuname varch
  • ExtJs4.0环境搭建及spket安装 .

    这些天在边学边用ExtJs 避免不了要写相关的代码来加深对这个框架的理解 那么首先就得搭建一个ExtJs的环境 1 开发环境 Microsoft Windows XP Version 2002 Service Pack 3 Eclipse
  • 华为OD机试 - 整型数组按个位值排序(Java)

    题目描述 给定一个非空数组 列表 其元素数据类型为整型 请按照数组元素十进制最低位从小到大进行排序 十进制最低位相同的元素 相对位置保持不变 当数组元素为负值时 十进制最低位等同于去除符号位后对应十进制值最低位 输入描述 给定一个非空数组
  • 深入 Spring 系列之静态资源处理

    深入 Spring 系列之静态资源处理 1 背景 前一段时间 WebIDE 开源的过程中 无意间接触到 webjars 觉得比较有趣 于是研究并整理了一下 webjars 是将前端的库 比如 jQuery 打包成 Jar 文件 然后使用基于
  • 什么是IQ信号, IQ调制又是怎么回事?

    在现代无线通信中 IQ调制属于标准配置 经常应用于通信系统的信号调制和解调环节 IQ调制的应用简化了通信设备的硬件结构 同时提高了频谱资源的利用效率 提高了信号传输的稳定性 让我们先来看看什么是IQ信号 IQ信号又称同向正交信号 I为in
  • linux grep 多个文件,Linux多文件查找工具之grep

    1 简介 grep全称Global Regular Expression Print 全局正则表达式打印 在这里面提到了三个关键词 我们逐个进行分析 这样有助于我们理解 grep这个命令的作用 1 global说明该命令可以用于所有用户 交
  • VHDL——含异步清零和同步使能的加法计数器源程序

    library ieee use ieee std logic 1164 all use ieee std logic arith all use ieee std logic unsigned all entity counter is
  • Kubernetes YAML 文件 详细解释

    To deploy Dashboard execute following command kubectl apply f https raw githubusercontent com kubernetes dashboard v1 10
  • C语言实现冒泡排序和快速排序

    写在前面的话 以排升序为例 目录 冒泡排序 单趟 循环 优化 快速排序 单趟 递归 优化 不足 冒泡排序 通过重复地走访过要排序的元素列 依次比较两个相邻的元素 如果顺序错误就把他们交换过来 走访元素的工作是重复地进行 直到没有相邻元素需要
  • mongodb搭建Replica Set

    1 创建数据文件夹 mkdir p data master mkdir p data slaver mkdir p data arbiter 效果 data 文件夹包含 arbiter master slaver 三个文件夹 2 创建日志存
  • STM32无人机-四轴四元数姿态解算与卡尔曼滤波

    四轴四元数姿态解算 MPU6050是一种非常流行的空间运动传感器芯片 可以获取器件当前的三个加速度分量和三个旋转角速度 什么是四元数 这部分很难 新手知道四元数的功能是将 6 轴传感器数据转化为三轴姿态角度数据即可 四元数解算程序店家已经封
  • 机器学习——决策树+剪枝(适用ID3与C4.5)

    问 标准的ID3算法支持剪枝操作 答 错误 标准的ID3算法不支持剪枝操作 该算法通过递归地构建决策树 在每个节点上使用信息增益作为判定条件进行特征选择 直到遍历完所有特征或者将数据集划分为同一类别的样本 ID3算法容易产生过拟合现象 剪枝
  • 记录一次NestedScrollView嵌套RecyclerView再嵌套RecyclerView的坑

    由于要做一些复杂的界面 需要在NestedScrollView下嵌套RecyclerView 在RecyclerView的条目中又有一个横向的RecyclerView 在 gt Android 7 0系统当中运行是显示正常的 但是在低于7
  • ctfshow 限时活动 红包挑战7和红包挑战8详细答案和见解

    ctfshow 利用create function函数 并绕过base64编码 highlight file FILE error reporting 0 extract GET create function name base64 en
  • 大数据工程师和Java后台开发的技术要求区别

    每家公司对大数据工作和java开发的要求不尽相同 目前长期从事数据库管理 挖掘 编程工作的人 包括传统的量化分析师 hadoop方面的工程师 以及任何在工作中需要通过数据来进行判断决策的管理者 比如某些领域的运营经理等 都可以尝试大数据工程