10.netty客户端与服务器使用protobuf传输报文

2023-11-13

【README】

本文总结自B站《尚硅谷-netty》,很不错; 内容如下:

  •  netty的编码器与解码器;
  • netty客户端与服务器通过 protobuf  传输报文的开发方式;
  • 文末po出了所有代码;

【1】netty的编码器与解码器 codec

1)编解码器应用场景

  • 编写网络应用程序时,因为数据在网络中传输的都是二进制字节码数据,在发送数据时就需要编码,接收数据时就需要解码 ;如下图

                                                  【图1】 编码与解码流程图

2) codec(编解码器) 的组成部分有两个:decoder(解码器)和encoder(编码器)。

  • encoder 负责把业务数据(如pojo对象)转换成字节码数据;
  • decoder 负责把字节码数据转换成业务数据(如pojo对象);

补充: 编解码器对应的英文“codec”(compress和decompress简化而成的合成词语 ),from wikipedia;

3)java序列化的问题(所以才引入了 protobuf):

  • Netty 本身自带的 ObjectDecoder 和 ObjectEncoder 可以用来实现POJO对象或各种业务对象的编码和解码,底层使用的仍是 Java 序列化技术 , 而Java 序列化技术本身效率就不高,存在如下问题
    •  无法跨语言;
    •  序列化后的体积太大,是二进制编码的 5 倍多;
    •  序列化性能太低;

引入新的解决方案: google 的 Protobuf


【2】Protobuf

【2.1】概述

0) intro2 protobuf, refer2 https://developers.google.com/protocol-buffers ;

1)ProtoBuf定义:

  • 是 Protocol Buffer 的缩写,即协议缓冲区;它是google实现的一种开源跨平台的序列化资料结构的协议

2)ProtoBuf 是google提出的结构数据序列化方法,可简单类比于 XML,其具有以下特点:

  • ① 语言无关、平台无关。即 ProtoBuf 支持 Java、C++、Python 等多种语言,支持多个平台;
  • ② 高效。即比 XML 更小(3 ~ 10倍)、更快(20 ~ 100倍)、更为简单;
  • ③ 扩展性、兼容性好。你可以更新数据结构,而不影响和破坏原有的旧程序;

【小结】

  • 说的直接点, protobuf序列化性能 优于  java序列化
  • 因为protobuf 很适合做数据存储或 RPC[远程过程调用]数据交换格式,所以目前有些公司把远程调用的报文传输方式从 http+json 修改为 tcp+protobuf

3)基于protobuf的编码与解码流程

【图解】 使用protobuf序列化 java对象的步骤;

  • 步骤1:编写 proto 文件;
  • 步骤2:使用 protoc.exe 编译把 proto文件编译为 java文件(pojo文件);
  • 步骤3:创建pojo对象并赋值,发送到服务器;

【补充】关于 protobuf的更多介绍,refer2  https://www.jianshu.com/p/a24c88c0526a   


 【2.2】 netty客户端服务器通过protobuf传输报文

说明:

  • 为了清晰展示 protobuf 的开发方式,下文使用了截图;但 netty通过 protobuf 传输报文的所有代码,会在文末po出;

【步骤1】 引入 protobuf 依赖

<dependency>
    <groupId>com.google.protobuf</groupId>    
    <artifactId>protobuf-java</artifactId>
    <version>3.6.1</version>
</dependency>

【步骤2】编写 proto 文件 

Student.proto

syntax="proto3"; // 版本
option java_outer_classname = "StudentPOJO"; // 生成的外部类名,同时也是文件名
// protobuf 使用 message 管理数据
message Student { // 会在 StudentPOJO 外部类生成一个内部类 Student,他是真正方发送的POJO对象
    int32 id = 1; // Student类中有一个属性,属性名为 id,类型为 int32; 1 表示属性序号并不是属性值;
    string name = 2;

}

【步骤3】编译 proto文件到 POJO javabean 文件 

编译命令:

protoc.exe --java_out=. Student.proto

【补充】


【步骤4】 客户端发送 Student 对象到服务器

1)客户端添加 protobuf 编码器 ProtobufEncoder;

2) 客户端处理器

  • 根据 protobuf编译成的 POJO类文件,创建对应javabean对象,并发送到服务器;


【步骤5】 服务器解码protobuf字节码

添加 protobuf解码器 ProtobufDecoder

netty服务器 处理器,接收POJO类对象,pojo类是由protobuf编译而成;

 【演示结果】netty客户端与服务器使用 probobuf传输报文


【3】netty 使用 protobuf传输报文的客户端与服务器代码(源代码)

【3.1】netty服务器

1)netty服务器 (注意它添加的protobuf解码器 ProtobufDecoder

public class ProtobufNettyServer76 {

    public static void main(String[] args) throws InterruptedException {
        // 创建 BossGroup 和 WorkerGroup
        // 1. 创建2个线程组 bossGroup, workerGroup
        // 2 bossGroup 仅处理连接请求; 真正的业务逻辑,交给workerGroup完成;
        // 3 两个线程组都是无限循环
        // 4 bossGroup 和 workerGroup 含有的子线程(NIOEventLoop)个数
        // 默认是 cpu核数 * 2
        EventLoopGroup boosGroup = new NioEventLoopGroup();
        EventLoopGroup workerGruop = new NioEventLoopGroup();

        try {
            // 创建服务器端的启动对象, 配置参数
            ServerBootstrap bootstrap = new ServerBootstrap();
            bootstrap.group(boosGroup, workerGruop) // 设置2个线程组
                    .channel(NioServerSocketChannel.class) // 使用NIOSocketChannel 作为服务器的通道实现
                    .option(ChannelOption.SO_BACKLOG, 128) // 设置线程队列等待连接的个数
                    .childOption(ChannelOption.SO_KEEPALIVE, true) // 设置保持活动连接状态
                    .childHandler(new ChannelInitializer<SocketChannel>() { // 创建一个通道初始化对象
                        // 给 pipeline 设置处理器
                        @Override
                        protected void initChannel(SocketChannel socketChannel) throws Exception {
                            ChannelPipeline pipeline = socketChannel.pipeline();
                            // 添加 protobuf 解码器, 指定对哪种对象进行解码
                            pipeline.addLast("decoder", new ProtobufDecoder(StudentPOJO.Student.getDefaultInstance()));
                            // 添加业务处理器
//                            pipeline.addLast(new ProtobufNettyServerHandler());
                            pipeline.addLast(new ProtobufNettyServerHandler2());
                        }
                    });  // 给我们的workerGroup 的 EventLoop 对应的管道设置处理器
            System.out.println("... server is ready.");

            // 启动服务器, 绑定端口并同步处理 ,生成一个 ChannelFuture对象
            ChannelFuture channelFuture = bootstrap.bind(6668).sync();
            channelFuture.addListener((future1) -> System.out.println("Finish binding"));

            // 给 channelFuture 注册监听器,监听我们关心的事件
            channelFuture.addListener(future -> {
                if (future.isSuccess()) {
                    System.out.println("监听端口6668 成功");
                }else {
                    System.out.println("监听端口6668 失败");
                }
            });

            // 对关闭通道进行监听
            channelFuture.channel().closeFuture().sync();
        } finally {
            // 优雅关闭
            boosGroup.shutdownGracefully();
            workerGruop.shutdownGracefully();
        }
    }
}

2)netty服务器处理器(channelRead0方法中的 StudentPOJO.Student javabean就是由 protobuf编译生成的java类

public class ProtobufNettyServerHandler2 extends SimpleChannelInboundHandler<StudentPOJO.Student> {

    // 读写数据事件(读取客户端发送的消息)
    // 1. ChannelHandlerContext ctx: 上下文信息,包括管道pipeline,通道channel,地址
    // 2. Object msg: 客户端发送的数据,默认是 Object
    @Override
    public void channelRead0(ChannelHandlerContext ctx, StudentPOJO.Student student) throws Exception {
        System.out.println("SimpleChannelInboundHandler子类handler-客户端发送的数据 id=" + student.getId() + " name=" + student.getName());
    }

    // 数据读取完毕,回复客户端
    @Override
    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
        // writeAndFlush 是 write + flush ;把数据写入到缓冲,并刷新
        ChannelFuture channelFuture = ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端", StandardCharsets.UTF_8));
        channelFuture.addListener(future -> System.out.println("回复成功"));
    }

    // 处理异常,关闭通道
    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        ctx.channel().close();
    }
}

【3.2】netty客户端

1)netty客户端 (注意其添加的 Protobuf编码器 ProtobufEncoder

public class ProtobufNettyClient76 {
    public static void main(String[] args) throws InterruptedException {
        // 客户端需要一个事件循环组
        EventLoopGroup eventLoopGroup = new NioEventLoopGroup();
        try {
            // 创建客户端启动对象, 注意是 BootStrap
            Bootstrap bootstrap = new Bootstrap();
            // 设置相关参数
            bootstrap.group(eventLoopGroup) // 设置线程组
                    .channel(NioSocketChannel.class) // 设置客户端通道实现类(反射)
                    .handler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel socketChannel) throws Exception {
                            ChannelPipeline pipeline = socketChannel.pipeline();
                            // 添加 ProtobufEncoder 编码器
                            pipeline.addLast(new ProtobufEncoder());
                            // 添加业务处理器
                            pipeline.addLast(new ProtobufNettyClientHandler()); // 加入自己的处理器
                        }
                    });
            System.out.println("client is ok");
            // 启动客户端去连接服务器
            // ChannelFuture, 设计到netty的异步模型
            ChannelFuture channelFuture = bootstrap.connect("127.0.0.1", 6668).sync();
            // 给关闭通道进行监听
            channelFuture.channel().closeFuture().sync();
        } finally {
            eventLoopGroup.shutdownGracefully();
        }
    }
}

2)netty客户端处理器 (注意 channelActive方法中的 StudentPOJO.Student,是由Protobuf编译生成的POJO类) 

public class ProtobufNettyClientHandler extends ChannelInboundHandlerAdapter {
    // 当通道就绪就会触发该方法
    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        // 发送一个 StudentPOJO 对象到服务器
        StudentPOJO.Student student = StudentPOJO.Student.newBuilder().setId(4).setName("zhangsan").build();
        ctx.writeAndFlush(student);
    }

    // 当通道有读取事件时,会触发
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        ByteBuf byteBuf = (ByteBuf) msg;
        System.out.println("服务器回复消息:" + byteBuf.toString(StandardCharsets.UTF_8) + ", 当前时间=" + DateUtils.getNowTimestamp());
        System.out.println("服务器地址:" + ctx.channel().remoteAddress());
    }

    // 捕获异常
    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        ctx.close();
    }
}

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

10.netty客户端与服务器使用protobuf传输报文 的相关文章

随机推荐

  • GIT的使用

    GIT 的常规操作 常规操作也是我自己平时常用的几个命令 学自于 pro git 这本书中 git 配置文件 git的配置文件位置 针对所有用户 etc gitconfig 针对当前用户 gitconfig 查看配置的方法 git conf
  • 图像匹配算法

    图像匹配算法分为3类 基于灰度的匹配算法 基于特征的匹配算法 基于关系的匹配算法 1 基于灰度的模板匹配算法 模板匹配 Blocking Matching 是根据已知模板图像到另一幅图像中寻找与模板图像相似的子图像 基于灰度的匹配算法也称作
  • PowerShell 语法

    PowerShell是微软公司开发的一种任务自动化和配置管理框架 基于 NET框架 以下是PowerShell的一些常用语法 命令语法 标准命令语法 如 Get ChildItem 活动目录命令语法 如 Get ADUser 参数 格式为
  • 人生苦短,我用python

    如果你看到一个人穿着一个短袖 短袖上面印着 人生苦短 我用python 不用怀疑 他一定是一个python程序员 作为编程热门语言排行榜首的python 有着强大的粉丝社区 因为它的简洁 越来越多的人喜欢上了它 而这个语言 就是由吉多 范罗
  • Springboot内置Tomcat线程数测试

    SpringBoot 2 7 3 本文主要介绍SpringBoot内置Tomcat的主要参数 解析最大线程数和最大连接数的作用方式 SpringBoot各版本的参数配置可能不完全一样 本文以2 7 3版本为例进行试验 一 默认配置 Spri
  • python实验一

    1 输入带有py的字符串 替换其中出现的字符串py为python输出替换后的字符串 s input 输入带有py的字符串 print s replace py python 运行结果 2 获得用户输入的一个字符串 请输出其全小写形式 s i
  • python学习(1)图像处理指令解析

    1 img i j c i表示图片的行数 j表示图片的列数 c表示图片的通道数 RGB三通道分别对应0 1 2 坐标是从左上角开始 灰度图片访问方式为 gray i j 2 生成椒盐噪声 from skimage import io dat
  • printf标识总结(转)

    printf标识总结 转 Dev C 下基本数据类型学习小结 环境 Dev C 4 9 6 0 gcc mingw32 使用 Wall编译选项 基本类型包括字节型 char 整型 int 和浮点型 float double 定义基本类型变量
  • RFID盘点机如何使用

    RFID盘点机如何使用 在我们的生活中 RFID技术应用广泛 比如固定资产管理 一套完整的RFID系统主要包含RFID系统 RFID打印机 RFID读写器 RFID盘点机 RFID标签 缺一不可 作为RFID系统中的重要主成部分 RFID盘
  • C# 不定长参数

    C 不定长参数 C 提供一种语法 允许你设计的一个函数可以支持传入不定长的参数 例如一个用于整数计算的Add方法 可以将传入的参数累加起来 如 Add 1 2 返回3 Add 1 2 3 放回6 代码是这样的 使用params int i作
  • 自动化测试,除了coding还需要掌握什么?

    一 自动化测试项目 自动化测试本身是一个项目 它属于业务项目的子项目 因此自动化测试项目也具有项目所有的特征 既然提到自动化测试是一个项目 那么首先需要大家理解一下为什么叫做自动化测试项目 而不单单是自动化测试 1 1 软件项目生命周期 首
  • VMware虚拟机复制文件卡死的问题

    又遇到这个问题了 于是决定解决它 在这里记录下过程 百度了一下好像是因为win10更新的原因 有人给出的对策是把虚拟机更新到15 1 不过有人更新完之后还是出问题了 懒得又卸载了重新安装 所以还是决定用文件共享的方式解决算了 或者尝试先把文
  • H5 ios10+ Safari 中实现 video/audio 自动播放小技巧

    关于Safari 中禁止音视频自动播放的问题 apple 开发者声明 https developer apple com library archive documentation AudioVideo Conceptual Using H
  • QLoRA:量化 LLM 的高效微调

    此 repo 支持论文 QLoRA 量化 LLM 的高效微调 旨在使对 LLM 研究的访问民主化 QLoRA 使用bitsandbytes进行量化 并与 Hugging Face 的PEFT和transformers库集成 QLoRA 由华
  • XXE漏洞利用技巧(由简入深)-----portswigger(XXE部分WP)

    什么是XXE XXE XML External Entity xml外部实体注入 它出现在使用XML解析器的应用程序中 XXE攻击利用了XML解析器的功能 允许应用程序从外部实体引用加载数据 攻击者可以通过构造恶意的XML实体引用来读取本地
  • 后台管理系统-canvas添加水印

    展示 第一步 untils文件 gt 创建一个shuiying js 第二步 shuiying js gt 代码 const watermark const setWatermark str str1 gt const id 1 23452
  • 用jemalloc代替glibc默认ptmalloc进一步提升服务器性能和负载

    启动redis时 无意中看到redis的启动信息有一个jemalloc的版本信息 处于好奇了解了一下 它是一个进一步提升服务器负载和性能的神器 一 Ptmalloc Linux 系统在装载 elf 格式的程序文件时 会调用 loader 把
  • win7下连接共享打印机的方法(终于解决了)

    1 首先一定要确保Spooler服务启动 2 随便找个添加打印机的地方 我是在控制面板找的 3 点击 添加打印机 后选择 添加网络打印机 进来一般来说搜不到你想要连接的打印机 这时候点击 我想要连接的打印机不再列表中 点击 通过共享选择一个
  • OnTriggerEnter 当进入触发器

    当Collider 碰撞体 进入trigger 触发器 时调用OnTriggerEnter 这个消息被发送到触发器碰撞体和刚体 或者碰撞体假设没有刚体 注意如果碰撞体附加了一个刚体 也只发送触发器事件 销毁所有进入触发器的物体 void O
  • 10.netty客户端与服务器使用protobuf传输报文

    README 本文总结自B站 尚硅谷 netty 很不错 内容如下 netty的编码器与解码器 netty客户端与服务器通过 protobuf 传输报文的开发方式 文末po出了所有代码 1 netty的编码器与解码器 codec 1 编解码