程序员经验分享-hwhale

项目重点问题

2023-11-17

面试大保健：

https://blog.csdn.net/Mrerlou/article/details/114295888?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167863142316800186566694%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=167863142316800186566694&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-114295888-null-null.142^v73^control,201^v4^add_ask,239^v2^insert_chatgpt&utm_term=%E9%9B%86%E7%BE%A4%E8%B5%84%E6%BA%90%E5%88%86%E9%85%8D%E5%8F%82%E6%95%B0%EF%BC%88%E9%A1%B9%E7%9B%AE%E4%B8%AD%E9%81%87%E5%88%B0%E7%9A%84%E9%97%AE%E9%A2%98%EF%BC%89%20&spm=1018.2226.3001.4187

Hadoop宕机

Hadoop解决数据倾斜方法

https://blog.csdn.net/a934079371/article/details/109233998?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167863132316800186547751%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=167863132316800186547751&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-9-109233998-null-null.142^v73^control,201^v4^add_ask,239^v2^insert_chatgpt&utm_term=Hadoop%E8%A7%A3%E5%86%B3%E6%95%B0%E6%8D%AE%E5%80%BE%E6%96%9C%E6%96%B9%E6%B3%95%20%20%E9%9D%A2%E8%AF%95&spm=1018.2226.3001.4187

集群资源分配参数（项目中遇到的问题）

HDFS小文件处理

https://blog.csdn.net/gym02/article/details/124169185?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167863123316800227426570%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=167863123316800227426570&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~baidu_landing_v2~default-2-124169185-null-null.142^v73^control,201^v4^add_ask,239^v2^insert_chatgpt&utm_term=HDFS%E5%B0%8F%E6%96%87%E4%BB%B6%E5%A4%84%E7%90%86%20%E9%9D%A2%E8%AF%95&spm=1018.2226.3001.4187

Hadoop优化

hive和spark比较

Flume挂掉

Flume优化

kafka常见问题：

https://www.cnblogs.com/erlou96/p/14401394.html

Kafka挂掉

https://blog.csdn.net/huaxing_ba/article/details/125023374?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_utm_term~default-1-125023374-blog-122420561.pc_relevant_landingrelevant&spm=1001.2101.3001.4242.2&utm_relevant_index=4

Kafka丢失

https://blog.csdn.net/YoungJ_Zhou/article/details/125605128?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167861085216800226539195%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=167861085216800226539195&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~baidu_landing_v2~default-4-125605128-null-null.142^v73^control,201^v4^add_ask,239^v2^insert_chatgpt&utm_term=kafka%E6%95%B0%E6%8D%AE%E4%B8%A2%E5%A4%B1&spm=1018.2226.3001.4187

Kafka数据重复

https://blog.csdn.net/feiying0canglang/article/details/120514976?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167861119616800225535554%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=167861119616800225535554&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-2-120514976-null-null.142^v73^control,201^v4^add_ask,239^v2^insert_chatgpt&utm_term=kafka%20%E6%95%B0%E6%8D%AE%E9%87%8D%E5%A4%8D&spm=1018.2226.3001.4187

Kafka消息数据积压

https://blog.csdn.net/y277an/article/details/117828798?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167862968516800227442646%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=167862968516800227442646&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-117828798-null-null.142^v73^control,201^v4^add_ask,239^v2^insert_chatgpt&utm_term=Kafka%E6%B6%88%E6%81%AF%E6%95%B0%E6%8D%AE%E7%A7%AF%E5%8E%8B%20&spm=1018.2226.3001.4187

Kafka优化

Kafka单条日志传输大小

Kafka为什么快

  • 1.磁盘读写原理

  • 2.利用Pagecache+mmap

  • 3.零拷贝

  • 4.存储设计

  • 5.批量读写

  • 6.批量压缩

  • 7.消息写入过程

  • 8.消息读取过程

https://blog.csdn.net/feiying0canglang/article/details/120495496?ops_request_misc=&request_id=&biz_id=102&utm_term=Kafka%E4%B8%BA%E4%BB%80%E4%B9%88%E5%BF%AB&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-3-120495496.nonecase&spm=1018.2226.3001.4187

自定义UDF、UDTF函数

Hive优化

Hive解决数据倾斜方法

7天内连续3次活跃

1 7 30指标

分摊

备注

Sqoop空值、一致性、数据倾斜

Azkaban任务挂了怎么办？

Azkaban故障报警

Spark数据倾斜

Spark优化

SparkStreaming精确一次性消费

为啥spark会比hive 不稳定

Flink 数据倾斜

Flink水位线

https://blog.csdn.net/mynameisgt/article/details/124205582?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167863162316800192275657%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=167863162316800192275657&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-2-124205582-null-null.142^v73^control,201^v4^add_ask,239^v2^insert_chatgpt&utm_term=Flink%E6%B0%B4%E4%BD%8D%E7%BA%BF%20&spm=1018.2226.3001.4187

Flink 维表关联，太大了（lru置换）：

https://zhuanlan.zhihu.com/p/266638799?utm_id=0

Flink反压 ：

https://blog.csdn.net/young_0609/article/details/123438764?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167860573216782428633478%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=167860573216782428633478&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-3-123438764-null-null.142^v73^control,201^v4^add_ask,239^v2^insert_chatgpt&utm_term=Flink%E5%8F%8D%E5%8E%8B&spm=1018.2226.3001.4449

Flink处理函数

Flink SQL

Flink多流join

https://blog.csdn.net/weixin_45366499/article/details/115208985

Flink 精确一次性消费

Flink Gc

elasticsearch 使用场景、原理

olap引擎对比：

https://blog.csdn.net/weixin_52672149/article/details/119248932?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167862560016800215038718%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=167862560016800215038718&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-2-119248932-null-null.142^v73^control,201^v4^add_ask,239^v2^insert_chatgpt&utm_term=elasticsearch%20%20%E5%9C%A8olap%E5%BA%94%E7%94%A8&spm=1018.2226.3001.4187

ck原理

ck适用场景

https://blog.csdn.net/huzechen/article/details/106030627?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167862456216800211577110%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=167862456216800211577110&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-6-106030627-null-null.142^v73^control,201^v4^add_ask,239^v2^insert_chatgpt&utm_term=clickhouse%20%E9%80%82%E7%94%A8%E5%9C%BA%E6%99%AF&spm=1018.2226.3001.4187

mysql 主从同步延迟

https://blog.csdn.net/KIMTOU/article/details/125033199

广告整体数据流向：

dsp 创建广告投放计划-》竞价系统自动出价投标-》投放端投放广告-》超波流量控制-》server端收集日志-》反作弊打标-》计费系统计费-》数仓日志落盘、分层、统计广告点击曝光消耗-》投放效果展示给广告主和各个部门业务方

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

大数据

Hadoop

hive

Powered by 金山文档

项目重点问题 的相关文章

随机推荐

  • vue中监听元素尺寸变化

    data中 widthPlay 0 元素宽 heightPlay 0 元素高 observer null mounted中监听 let ResizeObserver window ResizeObserver window WebKitRe

  • 极光笔记

    PART 01 前 言 随着网络技术的发展 从粗犷型到精细化运营型 再到现在的数字化运营 数据变得越来越细分和重要 不仅可以进行策略调整 还可以实现自动化的精细化运营 而数据价值的起点就是埋点 只有合理地埋点 规范地上报 数据才会产生价值

  • SpringBoot 使用 log4j2

    一 新建工程 选择一些基础依赖 填写工程名称和项目路径 二 工程配置 修改文件编码格式 设置Java Compiler 修改maven配置文件路径 三 pom xml的web依赖中排除掉logging依赖 并且引入log4j2依赖

  • Apikit 自学日记：API 异常监控-监控报告

    在 api 管理中 查看 api 异常监控的监控报告 在 apikit 中也是常用的功能 通常你可以在流程综合报告页中看到当前流程在选定时间段内的整体监控情况 在 APIkit 中监控报告有这几种类别 单接口监控报告 流程监控报告 项目监控

  • 【C#学习笔记】读文件

    using System using System IO namespace ConsoleApplication class Program static void Main string args FileStream file new

  • 解决Win11休眠一段时间后自动关机的问题

    1 Win11系统有以下工作状态 S0 工作状态 系统完全可用 S0 睡眠 现代待机 低功耗空闲 网络可用 S1 睡眠 CPU停止工作 S2 睡眠 CPU关闭 S3 睡眠 仅保留内存工作 S1 S3 S4 混合睡眠 睡眠和休眠状态的组合 S

  • 最小生成树和最短路径算法

    图的概念 图表明了一种多对多的关系 图由两个元素组成 节点 vertex 和边 edge 有向图 如果给每条边规定一个方向 那么就是一个有向图 入度出度 对于有向图而言 指向一个顶点的边数称为一个点的入度 从一个顶点指出的边的个数就是出度

  • 【深度探索STL】空间配置器(二) 第一级配置器

    了解内存配置后的对象构造行为和内存释放前的对象析构行为后 参见博文 http blog csdn net wenqian1991 article details 19545049 空间配置器 构造与析构 我们再来学习内存的配置与释放 定义在

  • Keil5/MDK结构体无法自动指示成员变量

    方法总结 1 点击魔术棒法 1条消息 MDK5的结构体变量成员不提示问题的解决办法 weixin 45722312的博客 CSDN博客 keil5结构体加点后没有提示成员https blog csdn net weixin 45722312

  • elasticsearch基础5——文档处理解析、数据入盘流程、文档分片存储

    文章目录 一 同步和异步 阻塞和非阻塞 1 1 四种组合 二 客户端 2 1 高级客户端文档解析 2 2 文档索引 2 3 构建JSON文档 2 4 文档处理过程解析 2 5 数据入盘流程 2 6 与MongoDB比较 三 文档分片存储 3

  • java 生成uuid 16位_java生成16位随机UUID数

    public void testUid for int i 0 i UUID uuid UUID randomUUID System out println uuid toString 9e0db051 5ca9 46f4 958f ebd

  • STM32CubeMX学习六 之ADC配置

    文章目录 前言 一 本地环境 二 开始 1 定时器配置 2 引脚配置 在这里插入图片描述 https img blog csdnimg cn e5b6f155a1b8468cb15046a0a9d031cd png 3 内部时钟配置 4 A

  • redis必杀命令：列表(List)

    题记 Redis列表是简单的字符串列表 按照插入顺序排序 你可以添加一个元素导列表的头部 左边 或者尾部 右边 一个列表最多可以包含 232 1 个元素 4294967295 每个列表超过40亿个元素 例如 wd wd usr local

  • idea+springboot启动报错 ERROR org.apache.catalina.core.ContainerBase

    用idea导入了一个spring boot的项目 结果启动报错 ERROR org apache catalina core ContainerBase A child container failed during start tomca

  • 【JavaScript高级】Proxy和Reflect

    文章目录 存储属性描述符监听对象 Proxy 基本使用 set和get捕获器 Proxy的其他捕获器 construct和apply捕获器 Reflect 作用 方法 举个例子 Reflect的construct Receiver 参考 存

  • React 开发一个移动端项目（1）

    技术栈 项目搭建 React 官方脚手架 create react app react hooks 状态管理 redux redux thunk UI 组件库 antd mobile ajax请求库 axios 路由 react route

  • 1）数据库系统概述

    文章目录 一 数据库概念 二 常见的数据模型 三 关系型数据库 1 关系术语 2 关系的特点 3 常见存在的关系问题 4 关系运算 四 数据库设计 1 设计步骤 2 设计实例 一 数据库概念 长期存放在计算机上有组织的可共享的数据集合 二

  • secure boot 是什么

    一 secure boot 是什么 secure boot 中文叫安全启动 是电脑行业成员共同开发的一种安全机制 用于确保电脑只能启动原装系统 如果电脑重装了其他系统 那么这个系统是启动不了的 说白了 就是垄断 所以安装完其他系统 必须关闭

  • flex伸缩布局看着一篇就够啦

    flex伸缩布局 flex弹性概念 弹性盒子是一种按行或者按列布局元素的一种布局方式 它是需要父子盒子嵌套使用的 作用在父盒子 容器 上的属性有 flex direction 改变轴方向 flex wrap 换行 flex flow 前两项

  • 项目重点问题

    面试大保健 https blog csdn net Mrerlou article details 114295888 ops request misc 257B 2522request 255Fid 2522 253A 252216786

热门标签