程序员经验分享-hwhale

  • Hive数据倾斜的原因及主要解决方法

    数据倾斜产生的原因 数据倾斜的原因很大部分是join倾斜和聚合倾斜两大类 Hive倾斜之group by聚合倾斜 原因 分组的维度过少 每个维度的值过多 导致处理某值的reduce耗时很久 对一些类型统计的时候某种类型的数据量特别多 其他的
    hive 大数据框架总结

  • 大数据框架总结

    hdfs 1 写数据流程 2 HDFS读数据流程1 3 HDFS副本节点选择 4 HDFS nn 2nn 镜像文件以及编辑日志的工作机制 注意此类机制都是先更新编辑日志 再更新内存文件block元数据 checkpoint触发默认条件是一小
    大数据框架总结