程序员经验分享-hwhale

hive解决数据倾斜之寻找大key

2023-11-13

参考文献
执行hive sql时，如果某个reduce任务特别慢，很可能是出现了数据倾斜。

如何查找数据倾斜？

第一步，在hive日志里找到当前job的日志

在这里插入图片描述

第二步，查看counter

在这里插入图片描述
点击进入 reduce input records，发现有一个reduce任务的数量远大于其他任务。

在这里插入图片描述

第三步打开日志，进入job日志详细界面

在这里插入图片描述

第三步，点击上图红色部分，进入明细界面。

在这里插入图片描述

第四步，进入reduce的统计界面

发现有一个任务的执行时间特别长。

在这里插入图片描述
第五步，进入这个任务的明细界面

在这里插入图片描述

第六步，查看这个任务的日志

在这里插入图片描述

在这里插入图片描述
可以搜一下关键字key，发现key为1
在这里插入图片描述

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

hive

hive解决数据倾斜之寻找大key 的相关文章

随机推荐

  • Cpolar内网穿透+HadSky：搭建私密高效的轻量化论坛网站

    文章目录 前言 1 网站搭建 1 1 网页下载和安装 1 2 网页测试 1 3 cpolar的安装和注册 2 本地网页发布 2 1 Cpolar临时数据隧道 2 2 Cpolar稳定隧道 云端设置 2 3 Cpolar稳定隧道 本地设置 2

  • arduino舵机达180不到_【舵机初动】基于Mind+ Ardunio入门教程10

    点击上方 蘑菇云创造 可以关注我们哦 本项目要接触到舵机 舵机是一种电机 它使用一个反馈系统来控制电机的位置 可以很好掌握电机角度 大多数舵机是可以最大旋转180 的 也有一些能转更大角度 甚至360 舵机比较多的用于对角度有要求的场合 比

  • 【Basis】变分推断以及VIEM

    在包含隐变量 latent variables 的推断问题中 针对连续性随机变量的情况 隐变量的高维以及被积函数 intergrand 的复杂度使积分 intergration 无法进行 而针对离散型随机变量 隐变量呈指数 exponent

  • Git 本地代码上传到远程仓库

    Git本地代码上传到远程仓库 1 进入项目地址 通过命令git init将项目初始化成git本地仓库 git init 2 将项目内所有文件都添加到暂存区 git add 3 该命令会将git add 存入暂存区修改内容提交至本地仓库中 若

  • 寒假：HTML

    gt 框架的主要作用是使页面中的部分内容实现框架实现 一般用于在页面中引用站外的页面内容 1 在被打开的框架上加name属性 代码如下 2 在超链接上设置target目标窗口属性为希望显示的框架窗口名 lt a href target ma

  • dbeaver无法修改表数据_解决MDL锁导致无法操作数据库表的问题

    背景信息 MYSQL的MDL锁 用于解决或者保证DDL操作与DML操作之间的一致性 但是在部分场景下会出现阻塞 例如执行DML操作时执行ALTER操作 存在长时间查询时执行ALTER操作等等 表象如下 出现 Waiting for tabl

  • STM32 电机教程 20 - 基于ST MC Workbench 无感FOC

    前言 磁场定向控制又称矢量控制 FOC 本质上为控制定子电流的幅度和相位 使之产生的磁场和转子的磁场正交 以产生最大的扭矩 PMSM的磁场定向控制框图如下图所示 第19讲成功实现了基于NUCLEO F103RB和X NUCLEO IHM07

  • 计算几何学

    问题描述 对于线段s1 s2 如果相交则输出 1 否则输出 0 设s1的端点为p0 p1 s2的端点为p2 p3 输入 第1行输入问题数q 接下来q行给出q个问题 各问题线段s1 s2的坐标按照以下格式给出 x p 0 x p0

  • final关键字的继承问题

    final关键字的继承问题 前言 接口中的final关键字 基本接口 内部接口 接口中使用final有什么影响 抽象类中的final关键字 普通类中的final关键字 更多一点思考 前言 虽然现在已经有很多博客验证了final关键字的继承问

  • Linux 设备树的加载与匹配

    之前学习了platform设备与总线是如何匹配的 但是在读某一驱动程序中 该设备由dts文件描述 设备的匹配与platform设有所不同 因此记录下来 1 什么是设备树 在内核源码中存在大量对板级细节信息描述的代码 但是对于内核而言 这些代

  • Java设计模式——中介者模式

    文章目录 中介者模式 Demo 中介者模式与观察者模式区别 中介者模式 中介者模式也是用来降低类类之间的耦合的 因为如果类类之间有依赖关系的话 不利于功能的拓展和维护 因为只要修改一个对象 其它关联的对象都得进行修改 如果使用中介者模式 只

  • 多用户远程桌面服务器安装,Windows 2012 R2 多用户远程连接，只需三步骤

    Windows Server 2012默认情况下 只能提供两个用户远程桌面登陆 而通过安装远程桌面服务里的远程桌面会话主机和远程桌面授权 并设置组策略和注册表 即可实现多用户远程登录 第三个用户登录提示截图 注 默认情况下一个用户只能登录一

  • 企业微信配置小程序

    准备 1 注册企业微信服务商 地址 https open work weixin qq com wwopen developer index 2 开发好的小程序 已发布的 企业微信仅可关联已在微信小程序平台审核并发布的小程序 所关联的小程序

  • vue项目封装公共方法utils

    使用了很多个公共方法的封装方式以后 发现这个是我最喜欢的 也是用起来最顺手的 1 建立公共方法utils js export default test return test test1 return test1 2 挂载在main js

  • “我们无法设置移动热点” 解决方案

    win10中要开启热点时可能会报这个错 解决方法如下 1 右击电脑选择属性 设备管理器 2 选择网络适配器 下的WiFi模块 不同电脑名称会有差异 但是名字一定包含 wireless 双击它 选择高级设置 将2 4G 和 5 2G的信道宽度

  • MATLAB三维绘图(五)高级三维绘图

    MATLAB三维绘图 五 高级三维绘图 1 colorbar查看三维绘图中的内建颜色表 示例 画三维图 clear clc close all x y meshgrid 3 2 3 3 2 3 生成网格 z x 2 x y y 2 z的表达

  • uniapp checkbox radio 样式修改

    文章目录 通过查看代码 发现 before部分是设置样式的主要属性 我们要设置的话 就要设置checkbox before的属性 其中的content表示内容 比如内部的对勾 那么我们设置的时候 比如设置disable true的时候或者c

  • Makefile中的-C和M=解析

    转载地址 https www aliyun com jiaocheng 144874 html 当make的目标为all时 C KDIR 指明跳转到内核源码目录下读取那里的Makefile M PWD 表明然后返回到当前目录继续读入 执行当

  • Wireshark抓包解释说明

    Wireshark与对应的OSI七层模型 TCP三次握手 TCP三次握手的理论知识 wireshark三次握手对应的报文情况 图中可以看到wireshark截获到了三次握手的三个数据包 第四个包才是HTTP的 这说明HTTP的确是使用TCP

  • hive解决数据倾斜之寻找大key

    参考文献 执行hive sql时 如果某个reduce任务特别慢 很可能是出现了数据倾斜 如何查找数据倾斜 第一步 在hive日志里找到当前job的日志 第二步 查看counter 点击进入 reduce input records 发现有

热门标签