程序员经验分享-hwhale

大数据技术之Canal入门篇

2023-05-16

大数据技术之Canal入门篇

文章目录

  • 大数据技术之Canal入门篇
    • 写在前面
    • 第 1 章 Canal 入门
      • 1.1 什么是 Canal
      • 1.2 MySQL 的Binlog
        • 1.2.1 什么是 Binlog
        • 1.2.2 Binlog 的分类
      • 1.3 Canal 的工作原理
        • 1.3.1 MySQL 主从复制过程
        • 1.3.2 Canal 的工作原理
      • 1.4 使用场景
    • 第 2 章 MySQL 的准备
      • 2.1 创建数据库
      • 2.2 创建数据表
      • 2.3 修改配置文件开启Binlog
      • 2.4 重启 MySQL 使配置生效
      • 2.5 测试 Binlog 是否开启
        • 2.6 赋权限
    • 第 3 章 Canal 的下载和安装
      • 3.1 下载并解压 Jar 包
      • 3.2 修改 canal.properties 的配置
      • 3.3 修改instance.properties
    • 案例测试Error说明
    • 官方文档参考

写在前面

  • Canal版本：Canal-1.1.2

官网：https://github.com/alibaba/canal/

官方文档：https://github.com/alibaba/canal/wiki

第 1 章 Canal 入门

1.1 什么是 Canal

阿里巴巴 B2B 公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了同步杭州和美国异地机房的需求，从 2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。

Canal 是用 Java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前。Canal 主要支持了 MySQL 的 Binlog 解析，解析完成后才利用 Canal Client 来处理获得的相关数据。（数据库同步需要阿里的 Otter 中间件，基于 Canal）。

1.2 MySQL 的Binlog

1.2.1 什么是 Binlog

MySQL 的二进制日志可以说 MySQL 最重要的日志了，它记录了所有的 DDL 和 DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL 的二进制日志是事务安全型的。

一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:

  • 其一：MySQL Replication 在Master 端开启Binlog，Master 把它的二进制日志传递给Slaves来达到 Master-Slave 数据一致的目的。

  • 其二：自然就是数据恢复了，通过使用 MySQL Binlog 工具来使恢复数据。

二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的 DDL 和 DML(除了数据查询语句)语句事件。

1.2.2 Binlog 的分类

MySQL Binlog 的格式有三种，分别是 STATEMENT,MIXED,ROW。在配置文件中可以选择配置 binlog_format= statement|mixed|row。三种格式的区别：

1）statement：语句级，binlog 会记录每次一执行写操作的语句。相对 row 模式节省空间，但是可能产生不一致性，比如update tt set create_date=now()，如果用 binlog 日志进行恢复，由于执行时间不同可能产生的数据就不同。

  • 优点：节省空间。
  • 缺点：有可能造成数据不一致。

2）row：行级， binlog 会记录每次操作后每行记录的变化。

  • 优点：保持数据的绝对一致性。因为不管 sql 是什么，引用了什么函数，他只记录执行后的效果。
  • 缺点：占用较大空间。

3）mixed：statement 的升级版，一定程度上解决了，因为一些情况而造成的statement模式不一致问题，默认还是 statement，在某些情况下譬如：

  • 当函数中包含 UUID() 时；
  • 包含 AUTO_INCREMENT 字段的表被更新时；
  • 执行 INSERT DELAYED 语句时；用 UDF 时；会按照 ROW 的方式进行处理

优缺点：

  • 优点：节省空间，同时兼顾了一定的一致性。
  • 缺点：还有些极个别情况依旧会造成不一致，另外 statement 和 mixed 对于需要对

binlog 的监控的情况都不方便。

综合上面对比，Canal 想做监控分析，选择row 格式比较合适。

1.3 Canal 的工作原理

1.3.1 MySQL 主从复制过程

  • Master 主库将改变记录，写到二进制日志(Binary Log)中；
  • Slave 从库向 MySQL Master 发送 dump 协议，将 Master 主库的 binary log events 拷贝到它的中继日志(relay log)；
  • Slave 从库读取并重做中继日志中的事件，将改变的数据同步到自己的数据库。

在这里插入图片描述

1.3.2 Canal 的工作原理

很简单，就是把自己伪装成 Slave，假装从 Master 复制数据。

1.4 使用场景

  • 原始场景： 阿里 Otter 中间件的一部分

Otter 是阿里用于进行异地数据库之间的同步框架，Canal 是其中一部分。

tp

  • 常见场景 1：更新缓存

在这里插入图片描述

  • 常见场景 2：抓取业务表的新增变化数据，用于制作实时统计（我们就是这种场景）

第 2 章 MySQL 的准备

2.1 创建数据库

在这里插入图片描述

2.2 创建数据表

CREATE TABLE user_info(
`id` VARCHAR(255),
`name` VARCHAR(255),
`sex` VARCHAR(255)
);

2.3 修改配置文件开启Binlog

[zhangsan@node01 module]$ sudo vim /etc/my.cnf 
server-id=1  #配置mysql replaction需要定义，不能和canal的slaveId重复  
log-bin=mysql-bin 
binlog_format=row 
binlog-do-db=gmall-2021

注意：binlog-do-db 根据自己的情况进行修改，指定具体要同步的数据库，如果不配置则表示所有数据库均开启Binlog

2.4 重启 MySQL 使配置生效

sudo systemctl restart mysqld

到/var/lib/mysql 目录下查看初始文件大小:154

[zhangsan@node01 lib]$ pwd
/var/lib
[zhangsan@node01  lib]$ sudo ls -l mysql
总用量 474152
-rw-r-----. 1 mysql mysql	56 8 月	7 2020 auto.cnf
drwxr-x---. 2 mysql mysql	4096 9 月  25 2020 azkaban
-rw-------. 1 mysql mysql	1680 8 月	7 2020 ca-key.pem
-rw-r--r--. 1 mysql mysql	1112 8 月	7 2020 ca.pem
drwxr-x--- 2 mysql mysql	4096 8 月  18 16:56 cdc_test
-rw-r--r--. 1 mysql mysql	1112 8 月	7 2020 client-cert.pem
-rw-------. 1 mysql mysql	1676 8 月	7 2020 client-key.pem
drwxr-x---. 2 mysql mysql	4096 9 月  25 2020 gmall_report
-rw-r----- 1 mysql mysql	1085 12 月  1 09:12 ib_buffer_pool
-rw-r-----. 1 mysql mysql 79691776 12 月 13 08:45 ibdata1
-rw-r-----. 1 mysql mysql 50331648 12 月 13 08:45 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 12 月 13 08:45 ib_logfile1
-rw-r----- 1 mysql mysql 12582912 12 月 13 08:45 ibtmp1
drwxr-x--- 2 mysql mysql	4096 9 月  22 15:30 maxwell
drwxr-x---. 2 mysql mysql	4096 8 月  12 2020 metastore
drwxr-x---. 2 mysql mysql	4096 9 月  22 15:43 mysql
-rw-r-----. 1 mysql mysql	154 12 月 13 08:45 mysql-bin.000001
-rw-r----- 1 mysql mysql	19 12 月 13 08:45 mysql-bin.index
srwxrwxrwx 1 mysql mysql	0 12 月 13 08:45 mysql.sock
-rw------- 1 mysql mysql	5 12 月 13 08:45 mysql.sock.lock
drwxr-x---. 2 mysql mysql	4096 8 月	7 2020 performance_schema
-rw-------. 1 mysql mysql	1680 8 月	7 2020 private_key.pem
-rw-r--r--.	1	mysql	mysql	452 8 月	7 2020 public_key.pem
-rw-r--r--.	1	mysql	mysql	1112 8 月	7 2020 server-cert.pem
-rw	--.	1	mysql	mysql	1680 8 月	7 2020 server-key.pem
drwxr-x---.	2	mysql	mysql	12288 8 月	7 2020 sys
drwxr-x--- 2 mysql mysql	4096 2 月	2 2021 test
[zhangsan@node01 lib]$

可以看到，mysql-bin.000001文件大小为154

2.5 测试 Binlog 是否开启

  • 插入数据
INSERT INTO user_info VALUES('1001','zhangsan','male');
  • 再次到/var/lib/mysql 目录下，查看index 文件的大小
-rw	--.	1	mysql	mysql	1680 8 月	7 2020 ca-key.pem
-rw-r--r--.	1	mysql	mysql	1112 8 月	7 2020 ca.pem
drwxr-x---	2	mysql	mysql	4096 8 月  18 16:56 cdc_test
-rw-r--r--.	1	mysql	mysql	1112 8 月	7 2020 client-cert.pem
-rw	--.	1	mysql	mysql	1676 8 月	7 2020 client-key.pem
drwxr-x---.	2	mysql	mysql	4096 9 月  25 2020 gmall_report
-rw-r-----	1	mysql	mysql	1085 12 月  1 09:12 ib_buffer_pool
-rw-r-----.	1	mysql	mysql	79691776 12 月 13 08:45 ibdata1
-rw-r-----.	1	mysql	mysql	50331648 12 月 13 08:45 ib_logfile0
-rw-r-----.	1	mysql	mysql	50331648 12 月 13 08:45 ib_logfile1
-rw-r-----	1	mysql	mysql	12582912 12 月 13 08:45 ibtmp1
drwxr-x---	2	mysql	mysql	4096 9 月  22 15:30 maxwell
drwxr-x---.	2	mysql	mysql	4096 8 月  12 2020 metastore
drwxr-x---.	2	mysql	mysql	4096 9 月  22 15:43 mysql
-rw-r-----.	1	mysql	mysql	452 12 月 13 08:45 mysql-bin.000001
-rw-r-----	1	mysql	mysql	19 12 月 13 08:45 mysql-bin.index
srwxrwxrwx	1	mysql	mysql	0 12 月 13 08:45 mysql.sock
-rw-------	1	mysql	mysql	5 12 月 13 08:45 mysql.sock.lock
drwxr-x---.	2	mysql	mysql	4096 8 月	7 2020 performance_schema
-rw	--.	1	mysql	mysql	1680 8 月	7 2020 private_key.pem
-rw-r--r--.	1	mysql	mysql	452 8 月	7 2020 public_key.pem
-rw-r--r--.	1	mysql	mysql	1112 8 月	7 2020 server-cert.pem
-rw	--.	1	mysql	mysql	1680 8 月	7 2020 server-key.pem
drwxr-x---.	2	mysql	mysql	12288 8 月	7 2020 sys
drwxr-x--- 2 mysql mysql	4096 2 月	2 2021 test
[zhangsan@node01 lib]$

可以看到，mysql-bin.000001文件大小变大了（452）

2.6 赋权限

在 MySQL 中执行：修改MySQL密码长度；赋予canal用户select权限

mysql> set global validate_password_length=4; 
mysql> set global validate_password_policy=0;
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO
'canal'@'%' IDENTIFIED BY 'canal' ;

查看mysql库下的user表

在这里插入图片描述

第 3 章 Canal 的下载和安装

3.1 下载并解压 Jar 包

https://github.com/alibaba/canal/releases

下载完之后 将canal.deployer-1.1.2.tar.gz 拷贝到/opt/sortware目录下，然后解压到/opt/module/canal-1.1.2 包下

注意：canal 解压后是分散的，我们在指定解压目录的时候需要将canal 指定上

3.2 修改 canal.properties 的配置

[zhangsan@node01 conf]$ pwd
/opt/module/canal/conf
[zhangsan@node01 conf]$ vim canal.properties #################################################
#########	common argument	############# #################################################
canal.id = 1 canal.ip = canal.port = 11111
canal.metrics.pull.port = 11112 canal.zkServers =
# flush data to zk canal.zookeeper.flush.period = 1000 canal.withoutNetty = false
# tcp, kafka, RocketMQ canal.serverMode = tcp
# flush meta cursor/parse position to file

说明：这个文件是 canal 的基本通用配置，canal 端口号默认就是 11111，修改 canal 的输出 model，默认 tcp，改为输出到kafka

多实例配置如果创建多个实例，通过前面 canal 架构，我们可以知道，一个 canal 服务中可以有多个instance，conf/下的每一个 example 即是一个实例，每个实例下面都有独立的配置文件。默认只有一个实例 example，如果需要多个实例处理不同的 MySQL 数据的话，直接拷贝出多个 example，并对其重新命名，命名和配置文件中指定的名称一致，然后修改 canal.properties 中的 canal.destinations=实例 1，实例 2，实例 3。

#################################################
#########	destinations	############# #################################################
canal.destinations = example

3.3 修改instance.properties

我们这里只读取一个 MySQL 数据，所以只有一个实例，这个实例的配置文件在conf/example 目录下

[zhangsan@node01 example]$ pwd
/opt/module/canal/conf/example
[zhangsan@node01 example]$ vim instance.properties
  • 配置 MySQL 服务器地址

Note：canal.instance.mysql.slaveId的值不能跟/etc/my.cnf的server-id值一样；因为canal相当于一个从节点，主从复制时，server-id就不能一样。

#################################################
## mysql serverId , v1.0.26+ will autoGen 
canal.instance.mysql.slaveId=20

# enable gtid use true/false 
canal.instance.gtidon=false

# position info 
canal.instance.master.address=node01:3306
  • 配置连接 MySQL 的用户名和密码，默认就是我们前面授权的canal
# username/password	
canal.instance.dbUsername=canal 
canal.instance.dbPassword=canal 

canal.instance.connectionCharset = UTF-8 
canal.instance.defaultDatabaseName =test 
# enable druid Decrypt database password 
canal.instance.enableDruid=false

案例测试Error说明

报错信息：查看日志，在canal安装目录下的logs/canal/canal.log，前提是canal.properties的配置项canal.destinations = example 没有更改，如果是更改为【test_xxx】,则日志位于canal安装目录下的logs/test_xxx/test_xxx.log

[zhangsan@node01 canal]$ cat canal.log
2023-01-07 15:10:56.713 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler
2023-01-07 15:10:56.759 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations
2023-01-07 15:10:56.771 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server.
2023-01-07 15:10:56.851 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[192.102.153.10(192.102.153.10):11111]
2023-01-07 15:10:58.627 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......
2023-01-07 15:10:58.822 [canal-instance-scan-0] INFO  com.alibaba.otter.canal.deployer.CanalController - auto notify start doris-load successful.
2023-01-07 15:15:34.251 [New I/O server worker #1-1] ERROR c.a.otter.canal.server.netty.handler.SessionHandler - something goes wrong with channel:[id: 0x71dc2f6d, /192.102.153.1:57500 => /192.102.153.10:11111], exception=java.io.IOException: Connection reset by peer
        at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
        at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
        at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
        at sun.nio.ch.IOUtil.read(IOUtil.java:192)
        at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380)
        at org.jboss.netty.channel.socket.nio.NioWorker.read(NioWorker.java:322)
        at org.jboss.netty.channel.socket.nio.NioWorker.processSelectedKeys(NioWorker.java:281)
        at org.jboss.netty.channel.socket.nio.NioWorker.run(NioWorker.java:201)
        at org.jboss.netty.util.internal.IoWorkerRunnable.run(IoWorkerRunnable.java:46)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)

关于这个error，我查找了一些资料，但是都没有帮助

https://github.com/alibaba/canal/issues/3585

同时也遇到过下面的error

https://github.com/alibaba/canal/issues/640

实时监控MySQL数据不成功

原因：因为一开始解压canal的时候，没有先创建一个安装目录，直接将canal解压了，导致canal的目录分散了，然后就将分散的目录都移动到新建的目录canal-1.1.5下

解决方法：

直接删除掉canal-1.1.5目录即可，重新解压安装canal

官方文档参考

  • AdminGuide

https://github.com/alibaba/canal/wiki/AdminGuide

  • ClientAPI

https://github.com/alibaba/canal/wiki/ClientAPI

  • ClientExample

https://github.com/alibaba/canal/wiki/ClientExample

结束！

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

大数据技术之Canal入门篇 的相关文章

  • Windows远程连接Redis（Linux）

    Windows远程连接Redis xff08 Linux xff09 文章目录 Windows远程连接Redis xff08 Linux xff09 1 写在前面2 配置redis conf3 启动Redis3 1 开启redis服务3 2

  • 批量数据导入Neo4j的方式

    批量数据导入Neo4j的方式 文章目录 批量数据导入Neo4j的方式1 写在前面2 前置芝士3 CSV数据导入Neo4j3 1 LOAD CSV Cypher命令3 2 neo4j admin命令3 3 Kettle导入工具 4 数据导入失

  • Neo4j的Java API操作

    Neo4j的Java API操作 文章目录 Neo4j的Java API操作0 写在前面1 前置芝士2 准备工作2 1 为项目引入Neo4j依赖2 2 启动和停止 3 Java操作Neo4j4 参考资料 0 写在前面 Linux版本 xff

  • NoSQL数据库原理与应用综合项目——起始篇

    NoSQL数据库原理与应用综合项目 起始篇 文章目录 NoSQL数据库原理与应用综合项目 起始篇 0 写在前面 1 项目说明 1 1 项目背景 1 2 项目功能 2 数据集和数据预处理 2 1 数据集 2 2 数据预处理 2 2 1 图书出

  • android -- 蓝牙 bluetooth （三）搜索蓝牙

    接上篇打开蓝牙继续 xff0c 来一起看下蓝牙搜索的流程 xff0c 触发蓝牙搜索的条件形式上有两种 xff0c 一是在蓝牙设置界面开启蓝牙会直接开始搜索 xff0c 另一个是先打开蓝牙开关在进入蓝牙设置界面也会触发搜索 xff0c 也可能

  • 单源最短路径问题——分支限界法（Java）

    单源最短路径问题 分支限界法 xff08 Java xff09 文章目录 单源最短路径问题 分支限界法 xff08 Java xff09 1 前置芝士1 1 分支限界法求解目标1 2 分支限界法引言1 3 分支限界法基本思想1 4 两种典型

  • 符号三角形问题（Java）

    符号三角形问题 xff08 Java xff09 文章目录 符号三角形问题 xff08 Java xff09 1 前置介绍2 算法设计3 程序代码4 算法效率5 参考资料 1 前置介绍 符号三角形定义 如下图所示 xff0c 符号三角形是由

  • 装载问题 ——分支限界法（Java）

    装载问题 分支限界法 xff08 Java xff09 文章目录 装载问题 分支限界法 xff08 Java xff09 1 问题描述2 算法设计3 算法的改进4 程序代码5 参考资料 1 问题描述 有一批共n个集装箱要装上2艘载重量分别为

  • 装载问题 ——回溯法（Java）

    装载问题 回溯法 xff08 Java xff09 文章目录 装载问题 回溯法 xff08 Java xff09 1 问题描述1 1 装载问题1 2 转换问题 2 算法设计2 1 可行性约束函数2 2 上界函数2 3 解空间树2 4 剪枝函

  • 上传项目代码到Github|Gitee

    上传项目代码到Github Gitee 文章目录 上传项目代码到Github Gitee1 前置准备1 1 Git 安装1 2 在 Git 中设置用户名1 2 1 为计算机上的每个存储库设置 Git 用户名1 2 2 为一个仓库设置 Git

  • NoSQL数据库原理与应用综合项目——HBase篇

    NoSQL数据库原理与应用综合项目 HBase篇 文章目录 NoSQL数据库原理与应用综合项目 HBase篇 0 写在前面 1 本地数据或HDFS数据导入到HBase 2 Hbase数据库表操作 2 1 Java API 连接HBase 2

  • NoSQL数据库原理与应用综合项目——MongoDB篇

    NoSQL数据库原理与应用综合项目 MongoDB篇 文章目录 NoSQL数据库原理与应用综合项目 MongoDB篇 0 写在前面 1 本地数据或HDFS数据导入到MongoDB 2 MongoDB数据库表操作 2 1 Java API 连

  • NoSQL数据库原理与应用综合项目——Redis篇

    NoSQL数据库原理与应用综合项目 Redis篇 文章目录 NoSQL数据库原理与应用综合项目 Redis篇 0 写在前面 1 本地数据或HDFS数据导入到Redis 2 Redis数据库表操作 2 1 Java API 连接Redis 2

  • NoSQL数据库原理与应用综合项目——Neo4j篇

    NoSQL数据库原理与应用综合项目 Neo4j篇 文章目录 NoSQL数据库原理与应用综合项目 Neo4j篇 0 写在前面 1 本地数据或HDFS数据导入到Neo4j 2 Neo4j数据库表操作 2 1 使用Python连接Neo4j 2

  • Hadoop综合项目——二手房统计分析（起始篇）

    Hadoop综合项目 二手房统计分析 起始篇 文章目录 Hadoop综合项目 二手房统计分析 起始篇 0 写在前面 1 项目背景与功能 1 1 项目背景 1 2 项目功能 2 数据集和数据预处理 2 1 数据集 2 2 数据预处理 2 2

  • android -- 蓝牙 bluetooth （四）OPP文件传输

    在前面android 蓝牙 bluetooth xff08 一 xff09 入门文章结尾中提到了会按四个方面来写这系列的文章 xff0c 前面已写了蓝牙打开和蓝牙搜索 xff0c 这次一起来看下蓝牙文件分享的流程 xff0c 也就是蓝牙应用

  • Hadoop综合项目——二手房统计分析（MapReduce篇）

    Hadoop综合项目 二手房统计分析 MapReduce篇 文章目录 Hadoop综合项目 二手房统计分析 MapReduce篇 0 写在前面 1 MapReduce统计分析 1 1 统计四大一线城市房价的最值 1 2 按照城市分区统计二手

  • Hadoop综合项目——二手房统计分析（Hive篇）

    Hadoop综合项目 二手房统计分析 Hive篇 文章目录 Hadoop综合项目 二手房统计分析 Hive篇 0 写在前面 1 Hive统计分析 1 1 本地数据 HDFS数据导入到Hive 1 2 楼龄超过20年的二手房比例 1 3 四大

  • Hadoop综合项目——二手房统计分析（可视化篇）

    Hadoop综合项目 二手房统计分析 可视化篇 文章目录 Hadoop综合项目 二手房统计分析 可视化篇 0 写在前面 1 数据可视化 1 1 二手房四大一线城市总价Top5 1 2 统计各个楼龄段的二手房比例 1 3 统计各个城市二手房标

  • Git Bash Here和RStudio软件的问题解决

    Git Bash Here和RStudio软件的问题解决 文章目录 Git Bash Here和RStudio软件的问题解决0 写在前面1 Git软件在任务栏图标空白2 RStudio软件2 1 警告信息InormalizePath pat

随机推荐

  • 算法的复杂性分析

    算法的复杂性分析 文章目录 算法的复杂性分析0 算法评价的基本原则1 影响程序运行时间的因素2 算法复杂度2 1 算法的时间复杂度2 2 渐进表示法2 2 1 运行时间的上界2 2 运行时间的下界2 2 3 运行时间的准确界 3 总结4 参

  • 整数划分问题（Java递归）

    整数划分问题 xff08 Java递归 xff09 文章目录 整数划分问题 xff08 Java递归 xff09 0 问题描述1 递归式2 代码3 参考 0 问题描述 整数划分问题 将正整数n表示成一系列正整数之和 xff1a n 61 n

  • 快速排序（Java分治法）

    快速排序 xff08 Java分治法 xff09 文章目录 快速排序 xff08 Java分治法 xff09 0 分治策略1 思路步骤2 代码3 复杂度分析3 1 最好情况3 2 最坏情况3 3 平均情况3 4 性能影响因素 4 合并排序V

  • 动态规划算法

    动态规划算法 文章目录 动态规划算法0 动态规划的思想方法1 动态规划法的设计思想2 动态规划基本步骤3 动态规划算法设计步骤3 1 动态规划算法的基本要素 4 两种实现的比较5 备忘录方法6 备忘录方法与动态规划比较7 参考 0 动态规划

  • 最长公共子序列（LCS）

    最长公共子序列 xff08 LCS xff09 文章目录 最长公共子序列 xff08 LCS xff09 0 写在前面1 问题描述2 最长公共子序列的结构3 子问题的递归结构4 计算最优值5 算法的改进6 参考 0 写在前面 本文文字大都来

  • 贪心算法(Java)

    贪心算法 文章目录 贪心算法0 写在前面1 贪心算法的基本要素1 1 贪心选择性质1 2 最优子结构性质1 3 贪心算法与动态规划算法的差异 2 贪心算法的特点3 贪心法的正确性证明4 活动安排问题4 1 问题描述4 2 贪心法的设计思想4

  • android -- 蓝牙 bluetooth （五）接电话与听音乐

    前段时间似乎所有的事情都赶在一起 xff0c 回家 集体出游 出差 xff0c 折腾了近一个月 xff0c 终于算暂时清静了 xff0c 但清静只是暂时 xff0c 估计马上又要出差了 xff0c 所以赶紧把蓝牙这一部分的文章了结下 xff

  • 保研/考研复试-数据结构

    数据结构 1 时间复杂度 xff1a 是一个描述算法性能的函数 xff0c 可以定性的描述算法的运行时间 是评价算法优劣的重要指标 2 快速找到第K个数 1 xff09 可以使用快排的思想 xff0c 因为快排每次可以找到一个第i位置的数

  • Github高效搜索方式

    Github高效搜索方式 文章目录 Github高效搜索方式0 写在前面1 常用的搜索功能1 1 直接搜索1 2 寻找指定用户 大小的仓库1 3 搜索仓库1 4 查找特定star范围的仓库1 5 查找指定主题1 6 查找仓库语言1 7 搜索

  • 电子游戏销售之缺失值检测与处理

    电子游戏销售之缺失值检测与处理 文章目录 电子游戏销售之缺失值检测与处理 0 写在前面 1 数据缺失值预处理 1 1 表的形状 1 2 原始数据每个特征缺失和非缺失的数目 1 3 每个特征缺失的率 1 4 处理后各特征缺失值的数目 1 5

  • 电子游戏销售之回归模型与数据可视化

    电子游戏销售之回归模型与数据可视化 文章目录 电子游戏销售之回归模型与数据可视化0 写在前面1 回归模型1 1 模型建立准备1 2 建立模型1 3 模型分析 2 数据可视化3 参考资料 0 写在前面 该篇文章的任务包括以下3个方面 检测与处

  • 基于R的Bilibili视频数据建模及分析——预处理篇

    基于R的Bilibili视频数据建模及分析 预处理篇 文章目录 基于R的Bilibili视频数据建模及分析 预处理篇0 写在前面1 项目介绍1 1 项目背景1 2 数据来源1 3 数据集展示 2 数据预处理2 1 删除空数据2 2 增加id

  • 基于R的Bilibili视频数据建模及分析——变量相关性分析篇

    基于R的Bilibili视频数据建模及分析 变量相关性分析篇 文章目录 基于R的Bilibili视频数据建模及分析 变量相关性分析篇 0 写在前面 1 数据分析 1 1 变量相关性分析 1 2 单元数据直观展示 1 3 多元数据直观展示 2

  • 基于R的Bilibili视频数据建模及分析——聚类分析篇

    基于R的Bilibili视频数据建模及分析 聚类分析篇 文章目录 基于R的Bilibili视频数据建模及分析 聚类分析篇 0 写在前面 1 数据分析 1 1 聚类分析 1 2 聚类统计 1 3 系统聚类 1 4 Kmeans与主成分分析 2

  • 基于R的Bilibili视频数据建模及分析——建模-因子分析篇

    基于R的Bilibili视频数据建模及分析 建模 因子分析篇 文章目录 基于R的Bilibili视频数据建模及分析 建模 因子分析篇 0 写在前面 1 数据分析 1 1 建模 因子分析 1 2 对数线性模型 1 3 主成分分析 1 4 因子

  • 大数据技术之Maxwell基础知识

    大数据技术之Maxwell基础知识 文章目录 大数据技术之Maxwell基础知识0 写在前面1 Maxwell 概述1 1 Maxwell 定义1 2 Maxwell 工作原理1 2 1 MySQL 主从复制过程1 2 2 Maxwell

  • 大数据技术之Maxwell入门案例学习

    大数据技术之Maxwell入门案例学习 文章目录 大数据技术之Maxwell入门案例学习1 写在前面2 Maxwell 使用2 1 Maxwell 安装部署2 2 Maxwell 入门案例2 2 1 监控 Mysql 数据并在控制台打印2

  • Canal实时监控案例

    Canal实时监控案例 文章目录 Canal实时监控案例0 写在前面1 TCP 模式测试1 1 IDEA创建项目canal module 1 2 通用监视类 CanalClient1 2 1 Canal 封装的数据结构1 2 2 在 can

  • unity笔记--Transform.SetSibling

    transform SetAsLastSibling 将变换移动到本地变换列表的末尾 即设置为同级索引中的最后一项 transform SetAsFirstSibling 将变换移动到本地变换列表的开头 即设置为同级索引中的第一项 tran

  • 大数据技术之Canal入门篇

    大数据技术之Canal入门篇 文章目录 大数据技术之Canal入门篇写在前面第 1 章 Canal 入门1 1 什么是 Canal1 2 MySQL 的Binlog1 2 1 什么是 Binlog1 2 2 Binlog 的分类 1 3 C

热门标签