RPC通信功能实现

2023-11-11

RPC通信功能实现

HBase的RPC通信功能主要基于Protobuf和NIO这两个组件来实现,在通信管道上选择的是protobuf对外声明的BlockingRpcChannel(阻塞式),其callBlockingMethod方法决定了客户端与服务端的交互行为,比如采用什么样的方法进行通信以及通信报文的格式规则都是通过该方法来描述的。

HBase对外声明了BlockingRpcChannelImplementation实现类用于实现BlockingRpcChannel接口的业务逻辑,其在通信方式的选择上采用的是Socket通信,在通信的服务端通过RpcServer来构建ServerSocket,而在客户端使用RpcClient来构建与服务端通信的Socket,按照功能职责的不同,RpcServer可划分成3大组件,其中:

  • Listener负责监听客户端的连接请求

    在Listener的内部主要封装着一个ServerSocketChannel以及多个Reader线程,其中ServerSocketChannel主要负责接收客户端的连接请求,请求被响应前,会暂存于等待队列中,等待队列的长度通过hbase.ipc.server.listen.queue.size参数来设置(默认为128)。针对每个已建立的连接,系统还会实时检测其空闲时间,如果空闲时间超过2秒(即2秒内客户端没有再次通过该连接来发送请求,并且之前的请求操作已经处理完毕),系统会将该连接进行关闭,时间阀值是通过hbase.ipc.client.connection.maxidletime参数来控制的。

    当请求信息到达后,其会派遣合适的Reader进行读取(基于轮训的方式来使每个Reader的负载能够均衡),Reader线程的数量是通过hbase.ipc.server.read.threadpool.size参数来指定的,默认为10个,线程启动后会进入阻塞状态直至客户端请求操作的到来。客户端向服务端发送的通信报文是按照一定格式进行组织的,如图所示:

    1. 当客户端与服务端进行初次握手时,其会向服务端发送RPCHeader报文,以便服务端能够对客户端的连接请求做校验处理。

      如果校验结果满足以下规则,说明该请求操作是合法的:

      (1)前4个字节信息为HBas;

      (2)第5个字节(VERSION信息)的值为0;

      (3)在没有启用security的情况下(hbase.security.authentication属性值不为kerberos),第6个字节的值为80。

    2. 接着,客户端会向服务端发送ConnectionHeader报文,通过它来封装客户端所请求的服务。

      ConnectionHeader是通过使用protobuf来完成序列化处理的,其protocol声明如下:

      message ConnectionHeader {
          optional UserInformation user_info = 1;
          optional string service_name = 2;
          optional string cell_block_codec_class = 3;
          optional string cell_block_compressor_class = 4;
      }
      					

      服务端收到该请求消息之后,可通过其service_name属性来判断客户端所要访问的服务名称,从而定位到具体的服务。

    3. 确定了具体的服务之后,客户端便可持续向服务端发送Request报文,通过它来定位将要执行服务的哪一个方法。

      方法名称是通过RequestHeader来封装的,其属于Request报文的一部分,如图所示:

      RequestHeader同样是采用protobuf进行序列化处理,其protocol声明如下࿱

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

RPC通信功能实现 的相关文章

  • Hbase 和 BigTable 有什么区别?

    谁能告诉我 Apache HBase 数据库和 Bigtable 之间有什么区别 或者它们是相同的吗 如果有的话 哪一个支持关系 如果他们是大搜索者 有什么区别 它们很相似 但又不一样 Bigtable 最初于 2005 年发布 但并未发布
  • 增加 Hadoop 2 中 Hive 映射器的数量

    我从 Hive 创建了一个 HBase 表 并尝试对其进行简单的聚合 这是我的 Hive 查询 from my hbase table select col1 count 1 group by col1 地图缩减作业仅产生 2 个映射器 我
  • 如何实现hbase安全批量加载

    我已经在 kerberos 集群中的 hbase 中创建了一个批量加载 其驱动程序类与此类似 工作 public static void main String args try int response ToolRunner run HB
  • HBase区域服务器和Hadoop数据节点应该在同一台机器上吗?

    抱歉 我没有资源来设置集群来测试它 我只是想知道 我可以将 hbase 区域服务器部署在 hadoop 数据节点计算机之外的单独计算机上吗 我想答案是肯定的 但我不确定 hbase区域服务器和hadoop数据节点部署在不同的机器上是好是坏
  • 将 1GB 数据加载到 hbase 需要 1 小时

    我想将 1GB 1000 万条记录 的 CSV 文件加载到 Hbase 中 我为它编写了 Map Reduce 程序 我的代码运行良好 但需要 1 小时才能完成 最后一个Reducer 花费了半个多小时的时间 有人可以帮我吗 我的代码如下
  • 稀疏数据/数据存储/数据库是什么意思?

    最近一直在阅读 Hadoop 和 HBase 并遇到这个术语 HBase 是一个开源 分布式 sparse 柱状店 他们所说的稀疏是什么意思 这有什么关系吗 稀疏矩阵 http en wikipedia org wiki Sparse ma
  • Kubernetes,无法通过 DNS 挂载 NFS 共享

    我正在尝试通过 DNS 查找在我的容器中安装 NFS 共享 k8s 集群外部 我的配置如下 apiVersion v1 kind Pod metadata name service a spec containers name servic
  • HBase 扫描时出现 java.lang.NoClassDefFoundError

    我正在尝试运行 MapReduce 作业来扫描 HBase 表 目前我使用的是Cloudera 4 4附带的HBase 0 94 6版本 在我的程序中的某个时刻 我使用 Scan 并使用以下命令正确导入它 import org apache
  • RPC 模型中的correlationId 和临时队列 - AMQP

    我正在读书RPC模型 http www rabbitmq com tutorials tutorial six java html在 AMQP 中使用 RabbitMQ 本教程创建了一个临时队列 并且还correlationId 临时队列是
  • HBase:使用Java API创建表时指定版本

    我知道我们可以通过以下方式从 hbase shell 执行此操作 create t1 NAME gt f1 VERSIONS gt 5 我在中找不到任何相应的选项HTableDesctiptor在 Java API 中 知道如何做到这一点吗
  • Spark 在 Hbase 的 InputSplit 期间给出空指针异常

    我正在使用 Spark 1 2 1 Hbase 0 98 10 和 Hadoop 2 6 0 从 hbase 检索数据时出现空点异常 找到下面的堆栈跟踪 sparkDriver akka actor default dispatcher 2
  • hadoop和hbase的最新兼容版本

    我必须在4台机器上安装hadoop和hbase 我找到了最新版本hadoop 2 6 0 and hbase 0 98 9 hadoop2 bin 1 它们兼容吗 2 我应该如何在4台机器上安装hbase和hadoop 即有多少个maste
  • 如何在 hbase 中存储原始数据类型并检索

    如何使用 hbase api 存储和检索原始数据类型 我的任务是在 hbase 上保存随机事件 其中包含随机生成的不可预测的数据类型 并需要在我想要的时候取回它们 有人可以帮我解决这个问题吗 因为我对 hbase 和这些东西真的很陌生 这是
  • 有没有好的、简单的用于进程间调用的 RPC 库? [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi
  • 如何将多个 QualifierFilter 应用于 HBase 中的一行

    我们想使用两个 QualifierFilters 过滤 HBase 表上的扫描 意味着我们只想获取表中确实具有特定列 col A 的行AND 某个其他列 col B 我们当前的方法如下所示 FilterList filterList new
  • LRPC 的意义何在?为什么有人想要对同一台机器进行远程过程调用?

    根据我对 RPC 远程过程调用 的理解 它们提供了一种向远程计算机发送函数调用 调用等的方法 这样做的明显优点是 您可以拥有一个在机器集群上运行的单个程序 并且可以处理更多请求 更多数据等 但我很困惑LRPC 轻量级RPC http www
  • HBase 作为 Web 应用程序后端

    任何人都可以建议将 HBase 作为基于 Web 的应用程序的主要数据源是否是一个好主意 我主要关心的是 HBase 对查询的响应时间 是否有可能实现亚秒级响应 编辑 有关应用程序本身的更多详细信息 数据量 约500GB文本数据 预计很快将
  • 如何定义Titan Graph DB Vertex的数据类型?

    我正在使用 Titan 和 Blueprint API 创建图形数据表 我使用 HBase 作为后端 我知道如何定义关键索引的数据类型 Example TitanKey name graph makeType name name dataT
  • 计算 HBase 表中列族的记录数

    我正在寻找一个 HBase shell 命令来计算指定列族中的记录数 我知道我可以运行 echo scan table name hbase shell grep column family name wc l 然而 这将比标准计数命令运行
  • 使用 Cassandra 进行单元版本控制

    我的应用程序使用 AbstractFactory 作为 DAO 层 因此一旦实现了 HBase DAO 系列 创建 Cassandra DAO 系列并从多个角度查看差异对我来说将是非常好的 不管怎样 试图做到这一点 我看到 Cassandr

随机推荐

  • linux下svn服务器搭建及使用(包含图解)

    今天自己动手在linux搭建了svn服务器 把具体过程和一些自己的见解分享给大家 希望对大家有所帮助 客户端svn 大家见到的小乌龟 下载地址为 http tortoisesvn net downloads html 这里客户端的安装就不作
  • Lua使用指南

    目录 简介 环境配置 基本语法 变量 运算符 数据类型 字符串 table 表 函数 常用语句 if while 循环 repeat until for循环 简介 lua 是一种开源 轻量的脚本语言 其设计目的是嵌入应用程序中 为应用程序提
  • Android imageview设置背景图,src,background,foreground

    foreground src 和 background 属性区别 1 background指的是背景 foreground指的是前景 而src指的是内容 三者可以同时使用 2 src填入图片时 是按照图片大小直接填充 并不会进行拉伸 而使用
  • Ubuntu搭建PPTP和连接到PPTP

    Ubuntu16 04搭建PPTP服务 TP link端口映射 检测服务器是否支持MPPE模块 sudo modprobe ppp compress 18 echo MPPE is ok 如果输出 MPPE is ok 则说明服务器的lin
  • 映射表

    集是一个集合 它可以快速地寻找现有的元素 但是要查看元素 就需要查看的元素的精确副本 这不是一种非常通用的查找方式 通常 我们知道某些键的信息 并想要查找与之相对应的元素 映射表 map 数据结构就是为此设计的 映射表用来存放键值对 如果提
  • 【Quant】80+面试,5个offer,Quant大神总结分享各家quant面试题

    Why Quant 在北美 这个工作基本上是理工科的中国学生进入金融领域最主要的渠道 而且 现在国内也有朝这方面发展的趋势 如果你是理工科背景 或者对数理 编程和金融比较感兴趣 不妨尝试在就业的时候向这个领域发展 它的一个好处是在工作的时候
  • linux中关闭防火墙

    systemctl status firewalld查看当前防火墙状态 systemctl stop firewalld关闭当前防火墙 systemctl disable firewalld开机防火墙不启动
  • 解决合并单元格筛选时只出现首行的小技巧

    前言 Excel小窍门 让办公更便捷 情景 合并单元格后 单一筛选时只会显示对应的第一行数据 原因 Excel筛选单元格时 遇到不连续区域 即中间有空白单元格 会识别不到后续内容 合并单元格后 除首行外 其余行的值会被自动清空 从而导致在筛
  • NGINX--初步变量详解

    一 编译echo模块 1 echo模块下载以及解压 wget c https gitee com mirrors echo nginx module repository archive master zip unzip master zi
  • 电脑提示d3dcompiler_47.dll缺失怎么修复?

    d3dcompiler 47 dll是 Microsoft 的 DirectX 11 核心组件之一 它主要用于编译和运行 Direct3D 11 应用程序和游戏 如果您的系统中缺少这个 DLL 文件 可能会导致一些程序无法正常运行 很多游戏
  • CMake----if与option使用小记

    在CMake中if语法比较简单 if后面括号中的参数随着CMake版本的推进 在else和endif中也可以不用写了 if address else endif 对于if语法 比较常用的就是字符串比较了 这里个人简单用到过两种 一种是这个变
  • 使用scoped穿透方法实现修改vue中mint UI组件样式

    效果 代码 div class goods swiper div
  • 图书商城系统

    摘 要 随着信息科学技术的不断发展与完善 信息化已经成为个人之间甚至是国家之间商务发展的一大趋势 并且广泛应用于商业贸易 国际化的网络 计算机科学以及网络通信之中 电子商务正是依托信息化技术的迅猛发展将全球化的市场集中在网络平台之中 打破了
  • c++基本类型和变量

    基本类型 c 内置类型 setlocale LC ALL chs bool bo true char ch a wchar t wch L 中国 short sh 32767 32768 32767 int i 10 32768 32767
  • runas 显示740 所需的操作需要提升的解决方法

    域环境中 有些软件启动需要用到管理员权限 所以对user用户来说比较麻烦 对IT来说也挺麻烦 每次使用都需要输一次账号密码 后来使用了runas工具就方便了 虽然有些不安全 今天发现这个不起作用了 cmd里输入语句 提示 740 所需的操作
  • C语言内存四区的学习总结(一)---- 静态区

    最近重新学习C语言相关知识 重新提到内存四区的概念 那么在之前的学习的基础上 在这儿做一个简单的总结与分享 一 内存四区建立的流程 可以简单直观的查看下面的这个图片 直接的说明我们的程序在内存中是如何去存储 运行 程序运行的流程说明 1 操
  • 引入字体包

    我接触的设计师都比较喜欢用苹方字体 然后每次都要引入字体包 首先一定要设计师给ttf格式的文件 然后在scss中引入 font face font family PingFangSC Regular font weight normal s
  • pandas数据读取与清洗视频03-pd.read_csv()读取csv、txt文件

    本系列课程适用人群 python零基础数据分析的朋友 在校学生 职场中经常要处理各种数据表格 或大量数据 十万级以上 的朋友 喜欢图表可视化的朋友 系列视频目前可在B站观看 会定期更新 欢迎大家吐槽 本节概要 数据量较大时一般保存为csv或
  • Wireshark TS

    问题背景 用户反馈说观察到一个设备连接的奇怪问题 客户端 172 18 0 122 尝试连接到服务器 172 18 50 1 之后服务器回复 SYN ACK 再收到消息后不久 客户端直接发送 RST 并在一段时间后又重复尝试连接 总结下来就
  • RPC通信功能实现

    Table of Contents RPC通信功能实现 配置参数 调用方法 RPC通信功能实现 HBase的RPC通信功能主要基于Protobuf和NIO这两个组件来实现 在通信管道上选择的是protobuf对外声明的BlockingRpc