上周面试数据开发职位主要从公司的视角讲一下记录下面试流水。
1. 三面技术一轮hr，面到了cto 整体来看是这一周技术含量最高信息量最大的一个，1到4轮过了4个小时，技术上的问题主要问的对数据分层的理解。
1. 一面自我介绍、目前团队的规模多大（20）、你负责的模块是那些（购物、短信、增长）、那几个人在做
2. 数据架构图划分（五层架构讲了7分钟左右）
3. 指标口径怎么统一 、那些工作（定标准、报表和核心、场景）、数据治理怎么做（元数据管理）
动作：业务迭代下线模型 。依据：指标热度、模型事实冗余、链路层级
4.报表可是化怎么做的、报表数量、访问量多大
集团自己开发的工具、看指标的场景指标分冷热分类，运营经常关注的核心指标做成核心模型、根据访问频次来设计分析型 的模型。
5.数据集成资源平衡，数据同步过程、增量同步、实时同步怎么做的
分离线同步，离线同步数量，mysql 同步过程 建表、同步任务模型（先擦除再写入）
实时同步：doris
6.数据状态变更同步，比如物流位置变更
同步方案，拉链表的使用
7.同步任务怎么实现的
datalink
8.每天同步数据量监控，你对数据的一些想法 上午数据库本来50t，下午增量150t 怎么发现原因，对任务怎么进行监控。
元数据管理
9.数仓底层到集市层，资源有限，怎么对任务做一些调度做些监控保证任务产出，底层调度yarn ，怎么安排任务。
10.100cu把500+任务合理分配保证合理运行。
1.500任务梳理，场景应用了解 2.任务分优先级标签 。如果数据有问题会卡住任务失败影响下游运行。失败任务解决方案
11.技术栈 sparksql 调优
1.数据倾斜
1.代码优化 jion、 group by 、distinct 优化
2.机器参数调优 参数优化 task 、shuffle 、小文件 。。。
父rdd就1000个，分配2000个有用么，spark资源怎么分配，executor数量是多少，怎么调整，资源使用率最大化
1.没有用，可以增加并行度增加cores和parallel数量。 executor设置上限，根据任务数据量设置不同的资源数，底层模型和报表模型。不一定看表的数据量
12. spark内存模型，1000g的内存在executer 上的分配
一个executor 是一个节点，按照每个节点的vcore配置
13.flink相关任务做过么
根据业务场景描述过程
14. 数据治理和指标统一的推动，数仓成熟度如何，olap推动解放数分的人力？
15.数仓的准确性价值
16.流批一体、目标数据架构、实时应用场景
17.二面主要讲的的是项目明细、实时的问题、怎么做指标的统一、mapreduce的流程
flink的很多checkpoint 机制，流流join的等待机制 waterdrop的 问了好多不懂的
18.三面cto面试上来没有自我介绍，
分层理解（5六分钟）、范式建模、什么是事实、模型冗余做法、数据治理工作
手写代码
19.hr面试
1.目前的薪资、为什么离职、团队中角色、涨薪情况、期望薪资（要少了，hr没还价）、期望的工作、对自己后续的规划、对面试公司了解么，996接收么、你和核心竞争力是什么。
我问了公司的文化、后续需要做的事情？
2.360 也是3面技术一面hr ，整体技术上很容易没什么很深的影响，简单问了下我自己的一些情况和一些
1.简单的hive知识（sort by、order by、distrubte by、cluster by 区别）很简单的问题，怎么做分层的，
2.二面问了很多语言相关的问题，hive有哪些窗口函数（row_number、lead、lag、first_vlaue等）也比较容易、 scala上 object 可以有main函数么（可以，我根据看的书大概的影响）、case 类和普通类的区别（不太 会）
3.shell 的基本用法
4.面试官是做系统架构刚转型数仓
3.菜鸟
一面面试高级java开发问了很多java问题 object和.java 执行流程
二面也是讲一下项目技术细节，面试官和数仓关系不大，问题不是很专业
4.拼多多
自我介绍 离线和实时都会有一些问题问了1个半小时，最后20分钟代码，就是速度有点慢，20分最后一问大概说了思路。大部分整体没什么影响了
1.一段sql 的执行流程怎么翻译成mapreduce的，喜欢问一些基本底层的问题。（sql主要的语法是group的用法）
2.hive和spark 的区别
3.操作数据库和数仓的区别尽可能说的更多
4.spark 的shuffle 的实现
5.mobtech 面试官感觉技术挺厉害
1.spark 中reducebykey、grupbykey、conbinerbykey是什么操作
2.RDD缓存有哪几个
3.怎么解决数据倾斜
4.最近看了那些书
5.工作过程解决那些技术难点 -我说的留存的方案
6.感觉影响最深的是 我问了数仓的发展问题，其中包含那些是变得那些事不变的？
职责 数据管理部门、数据服务 布局工具
不变： 不同场景下大数据解决方案、大数据组件熟悉
6.唯品会 技术也挺好都是spark 问题
1.boradcast 的原理
我曾经最看过一些资料，把目前的认知说了下，是关于orc和压缩方向的和数据节点之间的广播方案
2.CBO 问题
3.算子action是怎么样执行的
4.scala 中lazy的方案再java 中是如何实现的
5.spark 的shuffle 的实现
6.倾斜方案怎么解决- 回答的很详细还可以
7.RDD 的一个问题忘记了还不太会
7.百度
一面主要是面试官自己说，地点在北京，老大很nice ，说了目前的工作内容以及如何破局，人很是在。
8.2345网络 影响不深刻，聊的主要是跟技术无关
9.任意门 整个数据的上下游的理解、工作的期望
10.b站事业部总监 工作的期望
11.善珍hr hr很能说
12 palpay 英文简历没有希望给一份，用英文和外国人沟通
总结来说 最主要的还是自我介绍这一环节、其他的是环境上下游了解（数据分层、数据上下游、工程能力（spark内核、flink））、后续规划想法
