程序员经验分享-hwhale

【框架解析】Hadoop系统分析(九)--Http服务

2023-05-16

hadoop内嵌了jetty的服务，提供了一系列的servlet供外界或是内部节点之间使用http访问

  1. HttpServer
    封装了jetty的Server，提供http服务
    默认会提供三个context
    • /logs/ 指向log目录 配置为hadoop.log.dir
    • /static/ 指向统计目录src/webapps/static
    • / 指向jsp页面目录src/webapps/
      设置三个servlet
    • StackServlet
    • LogLevel.Servlet
    • JMXJsonServlet
      最后在start方法中启动server
  2. DFSServlet
    dfs的基础servlet，提供几个基本工具方法
    1. writeXml
      把一个exception写入xml
    2. getUGI
      从request中获取到用户信息UserGroupInformation
    3. createNameNodeProxy
      创建一个namenode对象
    4. createRedirectUri
      创建重定向到访问目标文件的链接地址
    5. getFilename
      从request中获取要访问的文件名
  3. StreamFile
    继承自DFSServlet,使用http方式从dfs中下载一个文件
  4. ListPathsServlet
    1. 继承自DFSServlet,使用http方式读取dfs中的目录结构列表
    2. 通过recursive参数指定是否读取子目录
    3. 通过exclude和filter参数来过滤不需要的文件或是指定匹配的文件
    4. 返回结果使用xml格式
  5. FsckServlet
    通过http调用namenode的fsck功能
  6. FileChecksumServlets
    文件校验信息的servlet
    1. RedirectServlet
      重定向到datanode去获取文件校验信息
    2. GetServlet
      获取文件校验信息，超时时间为configuration中的dfs.socket.timeout配置项
  7. GetDelegationTokenServlet
    通过http方式获取一个代理token
  8. CancelDelegationTokenServlet
    通过http取消一个代理token，token串放在request的token参数中
  9. ContentSummaryServlet
    获取到指定文件的文件信息，以xml方式返回ContentSummary对象
  10. FileDataServlet
    通过servlet获取文件数据
  11. AdminAuthorizedServlet
    继承自DefaultServlet,在调用DefaultServlet的doGet前，判断是否有权限进行访问
  12. GetImageServlet
    通过http获取secondary的imaga文件与editlog文件
  13. JMXJsonServlet
    使用servlet访问hadoop的jmx监控信息，以json的方式返回结果
  14. StackServlet
    查看当前线程堆栈
  15. MapOutputServlet
    启动在tasktracker上的http服务，使用http方式给其他节点提供map操作的输出结果
  16. MetricsServlet
    已经不推荐使用，获取集群的统计信息
  17. RawHistoryFileServlet
    查看历史任务日志
  18. TaskGraphServlet
    根据jobid参数以svg格式输出对应任务的运行状态图表
  19. TaskLogServlet
    输出任务运行日志
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

【框架解析】Hadoop系统分析(九)--Http服务 的相关文章

  • C# do while循环结构

    注意 循环结构一共有三种 xff1a while循环 https blog csdn net shenqiankk article details 96299600do while循环for循环 https blog csdn net sh

  • C# for循环结构

    注意 循环结构一共有三种 xff1a while循环 https blog csdn net shenqiankk article details 96299600do while循环 https blog csdn net shenqia

  • C# 构造方法（函数）

    构造方法的作用 构造方法用来创建对象 xff0c 并且在构造方法中对对象进行初始化 构造方法的特殊性 没有返回值 xff0c 不需要写类型 xff0c 连void都不要写 构造方法的方法名 xff0c 与类名要相同 构造方法结构 publi

  • GDI+ 绘图方法

    GDI绘直线步骤 创建GDI对象 xff1a Graphics g 61 this CreateGraphics 创建画笔对象 xff1a Pen pen 61 new Pen Brushes Red 创建两个点 xff1a Point p

  • C# 连接MySQL数据库

    C 引用MySQL步骤 xff1a 下载mysql data dll xff1a http soft onlinedown net soft 618668 htm将文件放在项目目录下在VS2019项目内 xff0c 引用mysql data

  • Navicat of MySQL连接和使用

    请先安装MySQL服务 MySQL数据库安装 xff1a https blog csdn net shenqiankk article details 99756531 新建连接 如果出现Can t connect to MySQL ser

  • Mysql创建数据库字符集的选择

    转载 xff1a https blog csdn net JingChC article details 82908686 字符集选择 xff1a 在国内正常都是用 UTF 8 排序选择 xff1a 排序一般分为两种 xff1a utf b

  • Linux进程状态解析 之 R、S、D、T、Z、X (主要有三个状态)

    linux是一个多用户 xff0c 多任务的系统 xff0c 可以同时运行多个用户的多个程序 xff0c 就必然会产生很多的进程 xff0c 而每个进程会有不同的状态 Linux进程状态 xff1a R TASK RUNNING xff0c

  • python装饰器（详解）

    1 什么是装饰器 器指的是工具 xff0c 可以定义成成函数 装饰指的是为其他事物添加额外的东西点缀 合到一起的解释 xff1a 装饰器指的定义一个函数 xff0c 该函数是用来为其他函数添加额外的功能 就是拓展原来函数功能的一种函数 2

  • linux基础---常用命令学习

    1 显示日期的指令 xff1a date Linux时钟分为系统时钟 xff08 System Clock xff09 和硬件 xff08 Real Time Clock xff0c 简称RTC xff09 时钟 系统时钟是指当前Linux

  • JdbcTemplate queryForObject Incorrect result size: expected 1, actual 0

    使用Spring中的jdbcTemplate 时 xff0c 通过id查询不到结果时返回Incorrect result size expected 1 actual 0 64 Override public lt T gt T query

  • Ubuntu usb wifi驱动安装(MT7601u芯片)

    软件环境 Ubuntu 14 04 硬件环境 芯片 xff1a MT7601u 确定芯片 xff0c 在电脑插上usb wifi xff0c 在ubuntu命令行 xff0c 输入lsusb命令 xff0c 在所列的列表中有MT7601u即

  • 【目标检测】Fast RCNN算法详解

    Girshick Ross Fast r cnn Proceedings of the IEEE International Conference on Computer Vision 2015 继2014年的RCNN之后 xff0c Ro

  • 【目标检测】RCNN算法详解

    Girshick Ross et al Rich feature hierarchies for accurate object detection and semantic segmentation Proceedings of the

  • SHTC3的研发经历

    SHTC3自学笔记 一 SHTC3介绍 SHTC3是一款低功耗温湿度传感器 xff0c 温度的采集范围为 40 125 xff0c 湿度的采集范围为 0 100 通讯方式是I2C xff0c 引脚定义如图1所示 I2C的器件地址只有一个 x

  • BH1750光照传感器超详细攻略(从原理到代码讲解，看完你就懂了)

    目录 一 前言二 芯片介绍三 IIC通讯介绍IIC通讯过程简介IIC通讯实例BH1750的通讯过程 四 BH1750的命令五 BH1750编程教学六 测试七 总结 一 前言 之所以写这篇文章 xff0c 原因有两个 一是 xff1a 有个师

  • mininet+FlowVisor+OpenDayLight环境搭建及实验一

    注 xff1a 这是我在学习时整理的笔记 xff0c 包含我遇到的问题已经一些需要注意的点 转载请标明出处并附上原文连接 xff0c 谢谢 xff01 http blog csdn net sherkyoung article detail

  • Ubuntu Linux服务器安装图形化界面并用VNC Viewer连接

    文章目录 1 流程2 服务器开启VNC使用的端口3 服务器安装Ubuntu桌面与VNC Server4 客户端安装VNC Viewer xff08 略 xff09 5 连接 x1f517 1 流程 服务器开启VNC使用的端口服务器安装Ubu

  • 利用JavaScript写一个简易地学生管理系统

    不多说上代码 span class token keyword var span studentNoArr span class token operator 61 span span class token punctuation spa

  • 轻松掌握 JS 删除数组中指定的对象或者删除数组中某一项

    前言 关于 JS 删除数组中指定的对象或某一项的话题 xff0c 它是在实际开发中经常会遇到的问题 xff0c 也是需要掌握的基本技能 在这篇文章中 xff0c 我们将深入探讨如何使用 JS 来删除数组中指定的对象或者删除数组中某一项 删除

随机推荐

  • ubuntu能ping通却ssh不上(connect to localhost port 22: Connection refused)解决办法

    1 问题描述 xff1a ssh 192 168 144 130 ssh connect to host 192 168 144 130 port 22 Connection refused 2 原因 因为Ubuntu默认没有安装opens

  • mysql增加用户并赋予、删除、查看各种权限

    数据库系统表概述 mysql数据库下存储的都是权限表 xff0c 重要的有user表 db表 host表还有tables priv表 columns priv proc priv表 1 user表 xff1a 有用户列 权限列 安全列 资源

  • 数据库上云？这些事你不得不知

    您的业务适合哪种数据库 xff0c 真的知道吗 xff1f 互联网 43 人工智能 物联网等新兴技术的迅猛发展 xff0c 让如何处理大量 复杂 多变的数据问题再次浮出水面 xff0c 成为新时代企业用户面临的技术挑战之一 关系型数据库 x

  • 【STM32技巧】STM32 PWM互补输出设置

    本例程是使用STM32CubeMX 6 5版本生成带代码 测试单片机型号 xff1a STM32F103VET6 时钟设置72MHZ 使用定时器1的通道1 和 通道2 配置PWM互补输出 分频72分频 定时器频率为 72MHZ 72 61

  • js删除键值对的方法

    1 对于Map 增set k v 删delete k 查 get k 改set 43 get span class token keyword const span graph span class token operator 61 sp

  • java一路走来

    记得第一次学编程 xff0c 那都是高二时 xff0c 那时因为电脑很狂热 xff0c 刚好有一个哥就给我介绍了编程 xff0c 并给我演示了下vb语言 xff0c 用vb做了个计算器 xff0c 当时我惊呆了 xff0c 才知道编程有多神

  • Python基础教程之列表

    八仙过海是一个中国民间故事 xff0c 讲了汉钟离 张果老 韩湘子 铁拐李 吕洞宾 何仙姑 蓝采和和曹国舅八位神仙各显神通渡海的故事 我们都知道变量只能被赋值为一个值 xff0c 现在我们想把八位神仙的名字同时赋值 xff0c 该如何实现呢

  • move_base参数配置

    现在我们已经可以构建当前环境地图 xff0c 可以实现机器人在当前地图中的定位 那接下来就可以在地图上给定目标点 xff0c 开始规划路径控制机器人移动过去 xff0c 这样就可以完成在已知地图中进行自动导航的任务了 在已知地图中进行路径规

  • 计算节点nova服务启动失败

    在计算节点启动openstack nova compute服务的时候 xff0c 服务无法正常启动 xff0c 查看nova的日志发现如下报错 xff1a 2019 04 25 00 02 26 481 24682 ERROR nova T

  • openstack通过dashboard页面创建实例，实现实例与外部通信

    配置完所有节点 xff0c 通过dashboard页面来进行下一步的配置 首先通过admin用户登录页面 在管理员下 xff0c 创建一个外部网络 注意供应商类型为flat xff0c 之前修改配置文件时有提到过 etc neutron p

  • 防火墙经过地址转换抓包详解

    R表示收到 xff0c X表示发出 xff0c R 64 eth1是从eth1口收到数据包 X 64 eth2是从2口发出数据包 16 1 1 1 gt 18 1 1 2 表示IP 16 1 1 1发给IP 18 1 1 2 Seq后面的数

  • PyTorch复现SRGAN算法核心代码（带注释）

    train py import argparse import os from math import log10 import pandas as pd import torch optim as optim import torch u

  • saltstack部署OpenStack rocky版

    通过saltstack工具 xff0c 来自动部署OpenStack 基本的yaml 源码放在github上了 有兴趣可以查看 自行测试三台虚拟机安装没有问题 需要注意的是安装cinder slave xff08 从节点 xff09 的时候

  • openstack登录dashboard无法获取实例，无法获取镜像

    在部署配置完openstack基础服务以及dashboard后 登录页面发现很多功能都不正常 xff0c 无法获取实例 xff0c 也无法获取镜像 查看日志 xff1a grep ERROR var log nova var log nov

  • 实例 "test-1" 执行所请求操作失败，实例处于错误状态。: 请稍后再试

    openstack创建实例的时候出现报错 xff1a 实例 test 1 执行所请求操作失败 xff0c 实例处于错误状态 请稍后再试 错误 Build of instance 6ec6e8b1 9300 4be4 95fe 20434ea

  • Pycharm报错：Process finished with exit code -1066598274 (0xC06D007E)

    问题描述 pycharm运行到np linalg slogdet 时报错Process finished with exit code 1066598274 0xC06D007E xff0c 检查发现该函数输入shape超过 xff08 3

  • 你能区分数字化与信息化吗？

    近几年 xff0c 数字化 悄然无息地取代了 信息化 xff0c 从各种定义中 xff0c 我们可以知道数字化是指将任何连续变化的输入如图画的线条或声音信号转化为一串分离的单元 xff0c 在计算机中用0和1表示 xff0c 通常用模数转换

  • k8s高可用集群 kube-flannel报错，从running-error-CrashLoopBackOff。node“k8s-master-1“podcidr not assigned

    flannel 报错 xff0c 朋友别着急 xff0c 慢慢来 xff0c 看看能不能帮到你 报错信息 xff1a Error registering network failed to acquire lease node k8s ma

  • 查找文献的常用方法

    查找文献的常用方法 一 直接进行论文关键字搜索 直接搜索某个专题的论文 xff0c 关键词 和 摘要 是论文的特征词汇 如 xff1a Google学术搜索 xff1a http scholar google com 百度国学搜索 xff1

  • 【框架解析】Hadoop系统分析(九)--Http服务

    hadoop内嵌了jetty的服务 xff0c 提供了一系列的servlet供外界或是内部节点之间使用http访问 HttpServer 封装了jetty的Server xff0c 提供http服务 默认会提供三个context logs

热门标签