HDFS排查路径

2023-05-16

遇到HDFS的问题,首先需要排除可用类问题。可用类问题按影响、紧急程度不同,可继续分为HDFS功能性受损<=HDFS高可靠性、高可用性受损

按照以下步骤进行排查,以下任意一项有异常,则判定为HDFS功能性受损,需紧急关注!!!

1、首先判断namenode进程是否正常,通过控制台查看状态是否正常,也可进一步通过后台命令:ps -ef|grep -i 'namenode'查看进程是否存在,以及是否最近有重启;

2、去到namenode运行日志目录下查看日志是否正常在更新,cd /var/log/hadoop-hdfs ls -rlt查看运行日志最后更新时间是否在刷新;

3、确定HDFS读写功能是否正常,即执行hadoop fs -ls / 以及上传一个小文件做测试hadoop fs -put test.log /tmp ,判断是否能正常执行;

进一步分析按照以下步骤

a、检查namenode所在的ecs主机是否正常:嫦娥平台健康检查+管控界面是否有异常事件(如oom)+常用命令诊断(df -h、df -i、free -g、top);

b、查看namenode运行日志,过滤error或者fatal等信息,根据报错信息再做进一步分析;

c、确认zk服务是否正常,同样是查看进程,查看日志,以及zk登入测试

按照以下步骤进行排查,以下任意一项有异常,则判定为HDFS高可靠性、高可用性受损,非紧急,可根据业务反馈情况评估影响范围大小

1、首先判断ZKFC、JN、DN进程是否正常,通过控制台查看状态是否正常,也可进一步通过后台命令:ps -ef|grep -i 'pid'查看进程是否存在,以及是否最近有重启;

2、去到对应进程的运行日志目录下查看日志是否正常在更新,cd /var/log/hadoop-hdfs ls -rlt查看运行日志最后更新时间是否在刷新;

进一步分析按照以下步骤

a、检查所在的ecs主该进程所在主机是否正常:嫦娥平台健康检查+管控界面是否有异常事件(如oom)+常用命令诊断(df -h、df -i、free -g、top);

b、查看对应进程的运行日志,过滤error或者fatal等信息,根据报错信息再做进一步分析;

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

HDFS排查路径 的相关文章

随机推荐

  • Kafka彻底删除topic

    前言 xff1a 删除kafka topic及其数据 xff0c 严格来说并不是很难的操作 但是 xff0c 往往给kafka 使用者带来诸多问题 项目组之前接触过多个开发者 xff0c 发现都会偶然出现无法彻底删除kafka的情况 本文总
  • cas + tomcat 配置步骤详细笔记(一)

    首先需要准备资源如下 xff1a cas server 4 0 0 release zip xff0c cas client 2 0 11 zip xff0c apache tomcat 6 0 29 下面操作在dos下操作 xff08 开
  • Java泛型详解

    1 概述 在引入范型之前 xff0c Java类型分为原始类型 复杂类型 xff0c 其中复杂类型分为数组和类 引入范型后 xff0c 一个复杂类型 就可以在细分成更多的类型 例如原先的类型List xff0c 现在在细分成List lt
  • HDFS上传的文件保存再本机的什么位置?

    在hdfs中创建文件 xff0c 文件会被存储在哪里 xff1f 会就近存储在相应的子节点中的Datanode文件夹中 xff08 如果没有特殊说明的话 xff09 xff0c 主节点中不会有因为主节点中没有Datanode usr loc
  • namenode和secondary namenode之间的联系和区别

    1 namenode是存储客户端想hdfs发送增删改查的要求的元数据的 2 secondary namenode是存储namenode的元数据的 xff0c 防止namenode宕机产生的数据丢失 3 一条元数据打大小是150byte xf
  • Hive读取文件

    hive读取文件 教会hive怎么读文本数据 这样直接读数据就是将文本文件上传到该数据表所在的hdfs的文件夹中 hadoop fs span class hljs built in put span studen dat user hiv
  • Flume实战

    前言 在一个完整的大数据处理系统中 xff0c 除了hdfs 43 mapreduce 43 hive组成分析系统的核心之外 xff0c 还需要数据采集 结果数据导出 任务调度等不可或缺的辅助系统 xff0c 而这些辅助工具在hadoop生
  • sqoop安装

    sqoop安装 作为大数据协作框架之一 xff0c Sqoop是一款用于Hadoop和关系型数据库之间进行相互的数据导入和导出的工具 安装sqoop的前提是已经具备java和hadoop的环境 1 下载并解压 最新版下载地址http ftp
  • 利用视图进行多表关联

    疑问 在Maxcompute中我们关联的码表大于8个 xff0c 然后数据存储量大于500W xff0c 那么在进行sql清洗的时候极有可能会被卡死 可是我们就是要在一张表上关联10多个表 xff0c 比如一张表中的很多字段都要关联码表 x
  • CM&CDH安装

    笔者当时自己装CM amp CDH看了不下10篇博客 xff0c 重装集群不下3次 xff0c 后来快照这个功能深深的刻在了我的心里 这篇博客笔者呕心沥血啊 不过还是会有同学会挂掉 xff0c 所以希望大家做到那里一步记得快照 发一下牢骚
  • jvm复习:主动产生fullGC

    一 jdk8参数 Xms100m Xmx100m Xmn30m XX 43 PrintGCDetails 二 代码 xff1a package cn edu tju test public class GcTest01 public sta
  • Zookeeper机制和应用场景

    Zookeeper简介 Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目 xff0c 它主要是用来解决分布式应用中经常遇到的一些数据管理问题 xff0c 如 xff1a 统一命名服务 状态同步服务 集群管理 分
  • crontab定时器

    crontab定时器 linux下的定时任务 1 编辑使用crontab e 一共6列 xff0c 分别是 xff1a 分 时 日 月 周 命令 2 查看使用crontab l 3 删除任务crontab r 4 查看crontab执行日志
  • Linux后台运行程序

    在我们平常的时候运行程序的时候会产生很多的信息 xff0c 这些信息有时候有用 xff0c 有时候没用 xff0c 不过这些数据都会在该程序的log中保存 xff0c 所以把这些信息放在前台就不是很好 我们可以将脚本放在后台运行 xff0c
  • vnc的两种配置方法及解决vnc连不上的情况

    1 vnc连不上的现象 xff1a Timed out waiting for a response from the computer 解决方法 xff1a sudo sbin iptables I INPUT 1 p TCP dport
  • 【随写笔记】TouchGFX

    https www cnblogs com firege p 5805823 html https blog csdn net u013766436 article details 50805808 LTDC STM32F429系列芯片内部
  • BGP路由协议

    特点 BGP是一种外部网关协议 xff08 EGP xff09 xff0c 不擅长路由计算 xff0c 擅长路由控制 OSPF ISIS等内部网关协议 xff08 IGP xff09 xff0c 擅长路由计算 xff0c 不擅长路由控制 B
  • sed命令的使用(合并行)

    1 把所有不以句号结尾的行 xff0c 和下一行合并 span class token function sed span i span class token string 39 N s n 39 span abc txt 2 把两行合并
  • Mybatis常见面试题及答案

    文章目录 1 什么是Mybatis xff1f 2 Mybaits的优缺点 xff1a 3 和 的区别是什么 xff1f 4 通常一个mapper xml文件 xff0c 都会对应一个Dao接口 xff0c 这个Dao接口的工作原理是什么
  • HDFS排查路径

    遇到HDFS的问题 xff0c 首先需要排除可用类问题 可用类问题按影响 紧急程度不同 xff0c 可继续分为HDFS功能性受损 lt 61 HDFS高可靠性 高可用性受损 按照以下步骤进行排查 xff0c 以下任意一项有异常 xff0c