Redis最佳实践:7个维度+43条使用规范,带你彻底玩转Redis | 附实践清单

2023-05-16

大家好,我是 Kaito。

这篇文章我想和你聊一聊 Redis 的最佳实践。

你的项目或许已经使用 Redis 很长时间了,但在使用过程中,你可能还会或多或少地遇到以下问题:

  • 我的 Redis 内存为什么增长这么快?

  • 为什么我的 Redis 操作延迟变大了?

  • 如何降低 Redis 故障发生的频率?

  • 日常运维 Redis 需要注意什么?

  • 部署 Redis 时,如何做好资源规划?

  • Redis 监控重点要关注哪些指标?

尤其是当你的项目越来越依赖 Redis 时,这些问题就变得尤为重要。

此时,你迫切需要一份「最佳实践指南」

这篇文章,我将从以下七个维度,带你「全面」分析 Redis 的最佳实践优化:

  • 内存

  • 性能

  • 高可靠

  • 日常运维

  • 资源规划

  • 监控

  • 安全

在文章的最后,我还会给你一个完整的最佳实践清单,不管你是业务开发人员,还是 DBA 运维人员,这个清单将会帮助你更加「优雅」地用好 Redis。

这篇文章干货很多,希望你可以耐心读完。

图片

如何使用 Redis 更节省内存?

首先,我们来看一下 Redis 内存方面的优化。

众所周知,Redis 的性能之所以如此之高,原因就在于它的数据都存储在「内存」中,所以访问 Redis 中的数据速度极快。

但从资源利用率层面来说,机器的内存资源相比于磁盘,还是比较昂贵的。

当你的业务应用在 Redis 中存储数据很少时,你可能并不太关心内存资源的使用情况。但随着业务的发展,你的业务存储在 Redis 中的数据就会越来越多。

如果没有提前制定好内存优化策略,那么等业务开始增长时,Redis 占用的内存也会开始膨胀。

所以,提前制定合理的内存优化策略,对于资源利用率的提升是很有必要的。

那在使用 Redis 时,怎样做才能更节省内存呢?这里我给你总结了 6 点建议,我们依次来看:

1) 控制 key 的长度

最简单直接的内存优化,就是控制 key 的长度。

在开发业务时,你需要提前预估整个 Redis 中写入 key 的数量,如果 key 数量达到了百万级别,那么,过长的 key 名也会占用过多的内存空间。

所以,你需要保证 key 在简单、清晰的前提下,尽可能把 key 定义得短一些。

例如,原有的 key 为 user:book:123,则可以优化为 u:bk:123。

这样一来,你的 Redis 就可以节省大量的内存,这个方案对内存的优化非常直接和高效。

2) 避免存储 bigkey

除了控制 key 的长度之外,你同样需要关注 value 的大小,如果大量存储 bigkey,也会导致 Redis 内存增长过快。

除此之外,客户端在读写 bigkey 时,还有产生性能问题(下文会具体详述)。

所以,你要避免在 Redis 中存储 bigkey,我给你的建议是:

  • String:大小控制在 10KB 以下

  • List/Hash/Set/ZSet:元素数量控制在 1 万以下

3) 选择合适的数据类型

Redis 提供了丰富的数据类型,这些数据类型在实现上,也对内存使用做了优化。具体来说就是,一种数据类型对应多种数据结构来实现:

图片

例如,String、Set 在存储 int 数据时,会采用整数编码存储。Hash、ZSet 在元素数量比较少时(可配置),会采用压缩列表(ziplist)存储,在存储比较多的数据时,才会转换为哈希表和跳表。

作者这么设计的原因,就是为了进一步节约内存资源。

那么你在存储数据时,就可以利用这些特性来优化 Redis 的内存。这里我给你的建议如下:

  • String、Set:尽可能存储 int 类型数据

  • Hash、ZSet:存储的元素数量控制在转换阈值之下,以压缩列表存储,节约内存

4) 把 Redis 当作缓存使用

Redis 数据存储在内存中,这也意味着其资源是有限的。你在使用 Redis 时,要把它当做缓存来使用,而不是数据库。

所以,你的应用写入到  Redis 中的数据,尽可能地都设置「过期时间」。

业务应用在 Redis 中查不到数据时,再从后端数据库中加载到 Redis 中。

图片

采用这种方案,可以让 Redis 中只保留经常访问的「热数据」,内存利用率也会比较高。

5) 实例设置 maxmemory + 淘汰策略

虽然你的 Redis key 都设置了过期时间,但如果你的业务应用写入量很大,并且过期时间设置得比较久,那么短期间内 Redis 的内存依旧会快速增长。

如果不控制 Redis 的内存上限,也会导致使用过多的内存资源。

对于这种场景,你需要提前预估业务数据量,然后给这个实例设置 maxmemory 控制实例的内存上限,这样可以避免 Redis 的内存持续膨胀。

配置了 maxmemory,此时你还要设置数据淘汰策略,而淘汰策略如何选择,你需要结合你的业务特点来决定:

  • volatile-lru / allkeys-lru:优先保留最近访问过的数据

  • volatile-lfu / allkeys-lfu:优先保留访问次数最频繁的数据(4.0+版本支持)

  • volatile-ttl :优先淘汰即将过期的数据

  • volatile-random / allkeys-random:随机淘汰数据

6) 数据压缩后写入 Redis

以上方案基本涵盖了 Redis 内存优化的各个方面。

如果你还想进一步优化 Redis 内存,你还可以在业务应用中先将数据压缩,再写入到 Redis 中(例如采用 snappy、gzip 等压缩算法)。

当然,压缩存储的数据,客户端在读取时还需要解压缩,在这期间会消耗更多 CPU 资源,你需要根据实际情况进行权衡。

以上就是「节省内存资源」方面的实践优化,是不是都比较简单?

下面我们来看「性能」方面的优化。

如何持续发挥 Redis 的高性能?

当你的系统决定引入 Redis 时,想必看中它最关键的一点就是:性能

我们知道,一个单机版 Redis 就可以达到 10W QPS,这么高的性能,也意味着如果在使用过程中发生延迟情况,就会与我们的预期不符。

所以,在使用 Redis 时,如何持续发挥它的高性能,避免操作延迟的情况发生,也是我们的关注焦点。

在这方面,我给你总结了 13 条建议:

1) 避免存储 bigkey

存储 bigkey 除了前面讲到的使用过多内存之外,对 Redis 性能也会有很大影响。

由于 Redis 处理请求是单线程的,当你的应用在写入一个 bigkey 时,更多时间将消耗在「内存分配」上,这时操作延迟就会增加。同样地,删除一个 bigkey 在「释放内存」时,也会发生耗时。

而且,当你在读取这个 bigkey 时,也会在「网络数据传输」上花费更多时间,此时后面待执行的请求就会发生排队,Redis 性能下降。

图片

所以,你的业务应用尽量不要存储 bigkey,避免操作延迟发生。

如果你确实有存储 bigkey 的需求,你可以把 bigkey 拆分为多个小 key 存储。

2) 开启 lazy-free 机制

如果你无法避免存储 bigkey,那么我建议你开启 Redis 的 lazy-free 机制。(4.0+版本支持)

当开启这个机制后,Redis 在删除一个 bigkey 时,释放内存的耗时操作,将会放到后台线程中去执行,这样可以在最大程度上,避免对主线程的影响。

图片

3) 不使用复杂度过高的命令

Redis 是单线程模型处理请求,除了操作 bigkey 会导致后面请求发生排队之外,在执行复杂度过高的命令时,也会发生这种情况。

因为执行复杂度过高的命令,会消耗更多的 CPU 资源,主线程中的其它请求只能等待,这时也会发生排队延迟。

所以,你需要避免执行例如 SORT、SINTER、SINTERSTORE、ZUNIONSTORE、ZINTERSTORE 等聚合类命令。

对于这种聚合类操作,我建议你把它放到客户端来执行,不要让 Redis 承担太多的计算工作。

4) 执行 O(N) 命令时,关注 N 的大小

规避使用复杂度过高的命令,就可以高枕无忧了么?

答案是否定的。

当你在执行 O(N) 命令时,同样需要注意 N 的大小。

如果一次性查询过多的数据,也会在网络传输过程中耗时过长,操作延迟变大。

所以,对于容器类型(List/Hash/Set/ZSet),在元素数量未知的情况下,一定不要无脑执行 LRANGE key 0 -1 / HGETALL / SMEMBERS / ZRANGE key 0 -1。

在查询数据时,你要遵循以下原则:

  1. 先查询数据元素的数量(LLEN/HLEN/SCARD/ZCARD)

  2. 元素数量较少,可一次性查询全量数据

  3. 元素数量非常多,分批查询数据(LRANGE/HASCAN/SSCAN/ZSCAN)

5) 关注 DEL 时间复杂度

你没看错,在删除一个 key 时,如果姿势不对,也有可能影响到 Redis 性能。

删除一个 key,我们通常使用的是 DEL 命令,回想一下,你觉得 DEL 的时间复杂度是多少?

O(1) ?其实不一定。

当你删除的是一个 String 类型 key 时,时间复杂度确实是 O(1)。

但当你要删除的 key 是 List/Hash/Set/ZSet 类型,它的复杂度其实为 O(N),N 代表元素个数。

也就是说,删除一个 key,其元素数量越多,执行 DEL 也就越慢!

原因在于,删除大量元素时,需要依次回收每个元素的内存,元素越多,花费的时间也就越久!

而且,这个过程默认是在主线程中执行的,这势必会阻塞主线程,产生性能问题。

那删除这种元素比较多的 key,如何处理呢?

我给你的建议是,分批删除:

  • List类型:执行多次 LPOP/RPOP,直到所有元素都删除完成

  • Hash/Set/ZSet类型:先执行 HSCAN/SSCAN/SCAN 查询元素,再执行 HDEL/SREM/ZREM 依次删除每个元素

没想到吧?一个小小的删除操作,稍微不小心,也有可能引发性能问题,你在操作时需要格外注意。

6) 批量命令代替单个命令

当你需要一次性操作多个 key 时,你应该使用批量命令来处理。

批量操作相比于多次单个操作的优势在于,可以显著减少客户端、服务端的来回网络 IO 次数。

所以我给你的建议是:

  • String / Hash 使用 MGET/MSET 替代 GET/SET,HMGET/HMSET 替代 HGET/HSET

  • 其它数据类型使用 Pipeline,打包一次性发送多个命令到服务端执行

图片

7) 避免集中过期 key

Redis 清理过期 key 是采用定时 + 懒惰的方式来做的,而且这个过程都是在主线程中执行。

如果你的业务存在大量 key 集中过期的情况,那么 Redis 在清理过期 key 时,也会有阻塞主线程的风险。

图片

想要避免这种情况发生,你可以在设置过期时间时,增加一个随机时间,把这些 key 的过期时间打散,从而降低集中过期对主线程的影响。

8) 使用长连接操作 Redis,合理配置连接池

你的业务应该使用长连接操作 Redis,避免短连接。

当使用短连接操作 Redis 时,每次都需要经过 TCP 三次握手、四次挥手,这个过程也会增加操作耗时。

同时,你的客户端应该使用连接池的方式访问 Redis,并设置合理的参数,长时间不操作 Redis 时,需及时释放连接资源。

9) 只使用 db0

尽管 Redis 提供了 16 个 db,但我只建议你使用 db0。

为什么呢?我总结了以下 3 点原因:

  1. 在一个连接上操作多个 db 数据时,每次都需要先执行 SELECT,这会给 Redis 带来额外的压力

  2. 使用多个 db 的目的是,按不同业务线存储数据,那为何不拆分多个实例存储呢?拆分多个实例部署,多个业务线不会互相影响,还能提高 Redis 的访问性能

  3. Redis Cluster 只支持 db0,如果后期你想要迁移到 Redis Cluster,迁移成本高

10) 使用读写分离 + 分片集群

如果你的业务读请求量很大,那么可以采用部署多个从库的方式,实现读写分离,让 Redis 的从库分担读压力,进而提升性能。

图片

如果你的业务写请求量很大,单个 Redis 实例已无法支撑这么大的写流量,那么此时你需要使用分片集群,分担写压力。

图片

11) 不开启 AOF 或 AOF 配置为每秒刷盘

如果对于丢失数据不敏感的业务,我建议你不开启 AOF,避免 AOF 写磁盘拖慢 Redis 的性能。

如果确实需要开启 AOF,那么我建议你配置为 appendfsync everysec,把数据持久化的刷盘操作,放到后台线程中去执行,尽量降低 Redis 写磁盘对性能的影响。

12) 使用物理机部署 Redis

Redis 在做数据持久化时,采用创建子进程的方式进行。

而创建子进程会调用操作系统的 fork 系统调用,这个系统调用的执行耗时,与系统环境有关。

虚拟机环境执行 fork 的耗时,要比物理机慢得多,所以你的 Redis 应该尽可能部署在物理机上。

13) 关闭操作系统内存大页机制

Linux 操作系统提供了内存大页机制,其特点在于,每次应用程序向操作系统申请内存时,申请单位由之前的 4KB 变为了 2MB。

这会导致什么问题呢?

当 Redis 在做数据持久化时,会先 fork 一个子进程,此时主进程和子进程共享相同的内存地址空间。

当主进程需要修改现有数据时,会采用写时复制(Copy On Write)的方式进行操作,在这个过程中,需要重新申请内存。

如果申请内存单位变为了 2MB,那么势必会增加内存申请的耗时,如果此时主进程有大量写操作,需要修改原有的数据,那么在此期间,操作延迟就会变大。

图片

所以,为了避免出现这种问题,你需要在操作系统上关闭内存大页机制。

好了,以上这些就是 Redis 「高性能」方面的实践优化。如果你非常关心 Redis 的性能问题,可以结合这些方面针对性优化。

我们再来看 Redis 「可靠性」如何保证。

如何保证 Redis 的可靠性?

这里我想提醒你的是,保证 Redis 可靠性其实并不难,但难的是如何做到「持续稳定」。

下面我会从「资源隔离」、「多副本」、「故障恢复」这三大维度,带你分析保障 Redis 可靠性的最佳实践。

1) 按业务线部署实例

提升可靠性的第一步,就是「资源隔离」。

你最好按不同的业务线来部署 Redis 实例,这样当其中一个实例发生故障时,不会影响到其它业务。

这种资源隔离的方案,实施成本是最低的,但成效却是非常大的。

2) 部署主从集群

如果你只使用单机版 Redis,那么就会存在机器宕机服务不可用的风险。

所以,你需要部署「多副本」实例,即主从集群,这样当主库宕机后,依旧有从库可以使用,避免了数据丢失的风险,也降低了服务不可用的时间。

在部署主从集群时,你还需要注意,主从库需要分布在不同机器上,避免交叉部署。

这么做的原因在于,通常情况下,Redis 的主库会承担所有的读写流量,所以我们一定要优先保证主库的稳定性,即使从库机器异常,也不要对主库造成影响。

而且,有时我们需要对 Redis 做日常维护,例如数据定时备份等操作,这时你就可以只在从库上进行,这只会消耗从库机器的资源,也避免了对主库的影响。

3) 合理配置主从复制参数

在部署主从集群时,如果参数配置不合理,也有可能导致主从复制发生问题:

  • 主从复制中断

  • 从库发起全量复制,主库性能受到影响

在这方面我给你的建议有以下 2 点:

  1. 设置合理的 repl-backlog 参数:过小的 repl-backlog 在写流量比较大的场景下,主从复制中断会引发全量复制数据的风险

  2. 设置合理的 slave client-output-buffer-limit:当从库复制发生问题时,过小的 buffer 会导致从库缓冲区溢出,从而导致复制中断

4) 部署哨兵集群,实现故障自动切换

只部署了主从节点,但故障发生时是无法自动切换的,所以,你还需要部署哨兵集群,实现故障的「自动切换」。

而且,多个哨兵节点需要分布在不同机器上,实例为奇数个,防止哨兵选举失败,影响切换时间。

以上这些就是保障 Redis「高可靠」实践优化,你应该也发现了,这些都是部署和运维层的优化。

除此之外,你可能还会对 Redis 做一些「日常运维」工作,这时你要注意哪些问题呢?

日常运维 Redis 需要注意什么?

如果你是 DBA 运维人员,在平时运维 Redis 时,也需要注意以下 6 个方面。

1) 禁止使用 KEYS/FLUSHALL/FLUSHDB 命令

执行这些命令,会长时间阻塞 Redis 主线程,危害极大,所以你必须禁止使用它。

如果确实想使用这些命令,我给你的建议是:

  • SCAN 替换 KEYS

  • 4.0+版本可使用 FLUSHALL/FLUSHDB ASYNC,清空数据的操作放在后台线程执行

2) 扫描线上实例时,设置休眠时间

不管你是使用 SCAN 扫描线上实例,还是对实例做 bigkey 统计分析,我建议你在扫描时一定记得设置休眠时间。

防止在扫描过程中,实例 OPS 过高对 Redis 产生性能抖动。

3) 慎用 MONITOR 命令

有时在排查 Redis 问题时,你会使用 MONITOR 查看 Redis 正在执行的命令。

但如果你的 Redis OPS 比较高,那么在执行 MONITOR 会导致 Redis 输出缓冲区的内存持续增长,这会严重消耗 Redis 的内存资源,甚至会导致实例内存超过 maxmemory,引发数据淘汰,这种情况你需要格外注意。

图片

所以你在执行 MONITOR 命令时,一定要谨慎,尽量少用。

4) 从库必须设置为 slave-read-only

你的从库必须设置为 slave-read-only 状态,避免从库写入数据,导致主从数据不一致。

除此之外,从库如果是非 read-only 状态,如果你使用的是 4.0 以下的 Redis,它存在这样的 Bug:

从库写入了有过期时间的数据,不会做定时清理和释放内存。

这会造成从库的内存泄露!这个问题直到 4.0 版本才修复,你在配置从库时需要格外注意。

5) 合理配置 timeout 和 tcp-keepalive 参数

如果因为网络原因,导致你的大量客户端连接与 Redis 意外中断,恰好你的 Redis 配置的 maxclients 参数比较小,此时有可能导致客户端无法与服务端建立新的连接(服务端认为超过了 maxclients)。

造成这个问题原因在于,客户端与服务端每建立一个连接,Redis 都会给这个客户端分配了一个 client fd。

当客户端与服务端网络发生问题时,服务端并不会立即释放这个 client fd。

什么时候释放呢?

Redis 内部有一个定时任务,会定时检测所有 client 的空闲时间是否超过配置的 timeout 值。

如果 Redis 没有开启 tcp-keepalive 的话,服务端直到配置的 timeout 时间后,才会清理释放这个 client fd。

在没有清理之前,如果还有大量新连接进来,就有可能导致 Redis 服务端内部持有的 client fd 超过了 maxclients,这时新连接就会被拒绝。

针对这种情况,我给你的优化建议是:

  1. 不要配置过高的 timeout:让服务端尽快把无效的 client fd 清理掉

  2. Redis 开启 tcp-keepalive:这样服务端会定时给客户端发送 TCP 心跳包,检测连接连通性,当网络异常时,可以尽快清理僵尸 client fd

6) 调整 maxmemory 时,注意主从库的调整顺序

Redis 5.0 以下版本存在这样一个问题:从库内存如果超过了 maxmemory,也会触发数据淘汰。

在某些场景下,从库是可能优先主库达到 maxmemory 的(例如在从库执行 MONITOR 命令,输出缓冲区占用大量内存),那么此时从库开始淘汰数据,主从库就会产生不一致。

要想避免此问题,在调整 maxmemory 时,一定要注意主从库的修改顺序:

  • 调大 maxmemory:先修改从库,再修改主库

  • 调小 maxmemory:先修改主库,再修改从库

直到 Redis 5.0,Redis 才增加了一个配置 replica-ignore-maxmemory,默认从库超过 maxmemory 不会淘汰数据,才解决了此问题。

好了,以上这些就是「日常运维」Redis 需要注意的,你可以对各个配置项查漏补缺,看有哪些是需要优化的。

接下来,我们来看一下,保障 Redis「安全」都需要注意哪些问题。

Redis 安全如何保证?

无论如何,在互联网时代,安全问题一定是我们需要随时警戒的。

你可能听说过 Redis 被注入可执行脚本,然后拿到机器 root 权限的安全问题,都是因为在部署 Redis 时,没有把安全风险注意起来。

针对这方面,我给你的建议是:

  1. 不要把 Redis 部署在公网可访问的服务器上

  2. 部署时不使用默认端口 6379

  3. 以普通用户启动 Redis 进程,禁止 root 用户启动

  4. 限制 Redis 配置文件的目录访问权限

  5. 推荐开启密码认证

  6. 禁用/重命名危险命令(KEYS/FLUSHALL/FLUSHDB/CONFIG/EVAL)

只要你把这些做到位,基本上就可以保证 Redis 的安全风险在可控范围内。

至此,我们分析了 Redis 在内存、性能、可靠性、日常运维方面的最佳实践优化。

除了以上这些,你还需要做到提前「预防」。

如何预防 Redis 问题?

要想提前预防 Redis 问题,你需要做好以下两个方面:

  1. 合理的资源规划

  2. 完善的监控预警

先来说资源规划。

在部署 Redis 时,如果你可以提前做好资源规划,可以避免很多因为资源不足产生的问题。这方面我给你的建议有以下 3 点:

  1. 保证机器有足够的 CPU、内存、带宽、磁盘资源

  2. 提前做好容量规划,主库机器预留一半内存资源,防止主从机器网络故障,引发大面积全量同步,导致主库机器内存不足的问题

  3. 单个实例内存建议控制在 10G 以下,大实例在主从全量同步、RDB 备份时有阻塞风险

再来看监控如何做。

监控预警是提高稳定性的重要环节,完善的监控预警,可以把问题提前暴露出来,这样我们才可以快速反应,把问题最小化。

这方面我给你的建议是:

  1. 做好机器 CPU、内存、带宽、磁盘监控,资源不足时及时报警,任意资源不足都会影响 Redis 性能

  2. 设置合理的 slowlog 阈值,并对其进行监控,slowlog 过多及时报警

  3. 监控组件采集 Redis INFO 信息时,采用长连接,避免频繁的短连接

  4. 做好实例运行时监控,重点关注 expired_keys、evicted_keys、latest_fork_usec 指标,这些指标短时突增可能会有阻塞风险

总结

好了,总结一下,这篇文章我带你全面分析了 Redis 最佳实践的优化路径,其中包括内存资源、高性能、高可靠、日常运维、资源规划、监控、安全 7 个维度。

这里我画成了思维导图,方便你在实践时做参考。

图片

我还把这些实践优化,按照「业务开发」和「运维」两个维度,进一步做了划分。

并且以「强制」、「推荐」、「参考」3 个级别做了标注,这样你在实践优化时,就会更明确哪些该做,哪些需要结合实际的业务场景进一步分析。

这些级别的实施规则如下:

  • 强制:需严格遵守,否则危害极大

  • 推荐:推荐遵守,可提升性能、降低内存、便于运维

  • 参考:根据业务特点参考实施

如果你是业务开发人员,你需要了解 Redis 的运行机制,例如各个命令的执行时间复杂度、数据过期策略、数据淘汰策略等,使用合理的命令,并结合业务场景进行优化。

图片

如果你是 DBA 运维人员,你需要在资源规划、运维、监控、安全层面做到位,做到未雨绸缪。

图片

后记

如果你能耐心地读到这里,应该对如何「用好」Redis 有了新的认识。

这篇文章我们主要讲的是 Redis 最佳实践,对于「最佳实践」这个话题,我想再和你多聊几句。

如果你面对的不是 Redis,而是其它中间件,例如 MySQL、Kafka,你在使用这些组件时,会有什么优化思路吗?

你也可以沿用这篇文章的这几个维度来分析:

  • 性能

  • 可靠性

  • 资源

  • 运维

  • 监控

  • 安全

你可以思考一下,MySQL 和 Kafka 在这几个维度,需要注意哪些问题。

另外,从学习技能的角度来讲,我们在软件开发过程中,要尽可能地去思考和探索「最佳实践」的方式。

因为只有这样,我们才会不断督促自己去思考,对自己提出更高的要求,做到持续进步。

最后,求关注。如果你还想看更多优质原创文章,欢迎关注我的公众号「水滴与银弹」

我是 Kaito,是一个对于技术有思考的资深后端程序员,在我的文章中,我不仅会告诉你一个技术点是什么,还会告诉你为什么这么做?我还会尝试把这些思考过程,提炼成通用的方法论,让你可以应用在其它领域中,做到举一反三。

如果我的文章对你有所帮助,还请帮忙点赞、在看、转发一下,你的支持会激励我输出更高质量的文章,非常感谢!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Redis最佳实践:7个维度+43条使用规范,带你彻底玩转Redis | 附实践清单 的相关文章

  • 吴恩达机器学习+deeplearning课程笔记----干货链接分享

    分享两个GitHub链接 xff0c 今天看到的 xff0c 超赞超赞不能更赞了 xff0c 答应我一定要去看好吗 不论是笔记还是github中分享的其它资源 xff0c 课程视频链接 xff0c PPT下载 xff0c 作业布置等都超棒
  • 英文写作经典指导书--学术写作必备

    以下书籍文章已整理PDF版上传至我的CSDN下载资源中 xff0c 链接 资源审核不过 尴尬 xff0c 要的朋友在博客下面留言好啦 xff0c 我看到后会发送到你邮箱哒 2018 7 23 我把压缩包上传到了百度网盘里 xff0c 需要的
  • 图像处理和机器学习有什么关系?

    一篇很不错的文章 xff0c 分享给博客的朋友们 作者 xff1a 许铁 巡洋舰科技 链接 xff1a https www zhihu com question 21665775 answer 281946017 来源 xff1a 知乎 著
  • 【CVPR 2018】Learning Rich Features for Image Manipulation Detection(图像篡改检测)

    今天来给大家分享一篇CVPR2018的论文 xff0c 检测图像的篡改区域 xff0c 用更快的R CNN网络定位图像被篡改的部分 xff0c 练就PS检测的火眼金睛 让PS痕迹无处可逃 这就将图像鉴伪 xff0c 图像取证这方面与深度学习
  • 国内免费汉语语料库-NLP

    自转载https www sohu com a 196504864 236505 xff08 一 xff09 国家语委 1国家语委现代汉语语料库http www cncorpus org 现代汉语通用平衡语料库现在重新开放网络查询了 重开后
  • 【模糊数学】模糊逻辑,隶属度,模糊逻辑应用,模糊推理过程

    update 下一篇博客我将会讲如何用这篇博客的模糊推理过程构建一个图像边缘检测的模糊推理系统 链接 xff1a https blog csdn net luolan9611 article details 94296622 这是我的一项大
  • FRR BGP 协议分析 5 -- 路由更新(2)

    处理NLRI 获取NLRI的报文长度 xff0c 填入nlris NLRI UPDATE xff0c 到现在为止nlris里面的4种类型 如果有的话 xff0c 已经全部填写到nlris数组结构体里面 然后我们遍历这个数组 xff0c 处理
  • 从输入 URL 到页面加载完成中间都经历了什么

    摘要 目录 1 chrome浏览器资源加载时序分析2 w3c提供的接口performance timing分析3 一个完整的URL 解析过程细分介绍3 1 缓存相关3 1 1 URL解析 3 2 网络相关3 2 1 DNS解析3 2 2 建
  • ALC5621声卡调试记录

    转载请注明出处 xff1a https blog csdn net luomin5417 article details 80731790 平台 imx6q 内核版本 linux 3 14 1 硬件连接 图 1 1 硬件连接 2 设备树修改
  • Pytorch转Caffe最简单方法

    由于需要移植模型到比特大陆 xff0c 华为昇腾这些平台 他们基本都支持caffe的模型 xff0c 对其他模型支持不太好 用其他方法pytorch转caffe不然就是绕道太多 xff0c 不然就是很多坑 这里记录一个最简单的方法 xff1
  • No module named ‘index‘ after install pyflann

    如题 xff0c 墙内没有 I have some problems installing pyflann in python 3 7 3 after execute pip install pyflann The installation
  • 多维 opencv Mat访问

    你看完这篇文章之后 xff0c 将学会以下知识 xff1a 二维 三维 四维等任意维度的Mat的常用建立方法 xff1b 任意维度Mat中值的索引 xff1b 以及一些Mat常用的操作 下面是对各维度矩阵的介绍 xff1a 注意 xff1a
  • H264/H265码流的编码码率设置

    一 什么是视频码率 xff1f 视频码率是视频数据 xff08 视频色彩量 亮度量 像素量 xff09 每秒输出的位数 一般用的单位是kbps 二 设置视频码率的必要性 在视频会议应用中 xff0c 视频质量和网络带宽占用是矛盾的 xff0
  • 检测图像失焦、偏色、亮度异常

    要求通过算法检测监控设备是否存在失焦 偏色 亮度异常等问题 问题本身不难 xff0c 在网上查看了一些资料 xff0c 自己也做了一些思考 xff0c 方法如下 xff1a 1 失焦检测 失焦的主要表现就是画面模糊 xff0c 衡量画面模糊
  • Jupyter 安装与使用

    最近由于项目需要 xff0c 开始学习python xff0c 然后发现一个非常有用的python交互式编辑器 xff0c 非常容易上手而且非常有用和实在 xff0c 本博文是对学习jupyter notebook的一个汇总和记录 xff0
  • C语言 print()函数 规则,格式 意思

    C语言 print 函数 规则 xff0c 格式 意思 C语言格式字符print 函数 printf后面的参数包括 格式控制字符串 和输出变量的列表 格式控制字符串 由格式控制字符和普通字符 其中前者以 开始加某一个特殊字符 比如 d为输出
  • tensorflow C++ 环境搭建及实战

    摘要 xff1a 最近在研究如何使用tensorflow c 43 43 API调用tensorflow python环境下训练得到的网络模型文件 参考了很多博客 xff0c 文档 xff0c 一路上踩了很多坑 xff0c 现将自己的方法步
  • 关于Linux进程优先级数字混乱的彻底澄清

    Linux进程的调度优先级数字会在好几个地方出现 xff1a 内核 xff0c 用户 xff0c top命令 他们各自都有自己的表示法 我们用一个实际的例子来说明 xff0c 下面在Linux写一个最简单的程序 xff1a 编译它运行 xf
  • 神经网络时间复杂度和空间复杂度(参数量计算和计算量计算)

    在梳理CNN经典模型的过程中 xff0c 我理解到其实经典模型演进中的很多创新点都与改善模型计算复杂度紧密相关 xff0c 因此今天就让我们对卷积神经网络的复杂度分析简单总结一下下 本文主要关注的是 针对模型本身的复杂度分析 xff08 其
  • ALPR-License Plate Detection and Recognition in Unconstrained Scenarios阅读笔记

    xff08 1 xff09 简介 论文下载地址 xff1a License Plate Detection and Recognition in Unconstrained Scenarios pdf github 的项目地址 xff1a

随机推荐

  • 解决Can't use SPARSE_SCHUR with EIGEN_SPARSE because Eigen's sparse linear algebra was not enabled whe

    如图问题 xff1a xff08 墙内没有 墙外好像也没搜到 xff0c 只有自己解决咯 xff09 Can 39 t use SPARSE SCHUR with EIGEN SPARSE because Eigen 39 s sparse
  • 两台USRP-LW N210搭建视频传输系统

    用两台USRP LW N210搭建视频传输系统 系统实现原理如下 1 xff1a 电脑通过摄像头采集到视频信号 xff0c 并信号进行压缩 xff0c 编码 xff0c 调制2 xff1a 电脑产生的数据通过千兆网口传给USRP LW N2
  • ImageNet数据集应用

    ImageNet数据集是为了促进计算机图像识别技术的发展而设立的一个大型图像数据集 其图片数量最多 xff0c 分辨率最高 xff0c 含有的类别更多 xff0c 有上千个图像类别 每年ImageNet的项目组织都会举办一场ImageNet
  • vs2017:点F12定义到dll源码

    不要直接引用dll文件 xff0c 在项目中添加引用 xff0c 引用生成dll文件的项目 右键项目名称 gt 点击菜单中的 添加 gt 点击 引用 gt 在弹出窗中点击 解决方案 下的 项目 xff0c 勾选要引用的项目 xff0c 点击
  • Linux安装HDF5及遇到的问题总结

    ubuntu版本 xff1a 16 04 2 64位 从HDF官网 xff08 https support hdfgroup org HDF5 xff09 上下载hdf5 1 8 17 tar gz 简要安装步骤如下 xff1a xff08
  • 【Github教程】史上最全github使用方法:github入门到精通

    初识Github 首先让我们大家一起喊一句 Hello Github YEAH 就是这样 Git是一个分布式的版本控制系统 xff0c 最初由Linus Torvalds编写 xff0c 用作Linux内核代码的管理 在推出后 xff0c
  • Win10系统下提示“系统组策略禁止安装此设备”的解决方案(家庭版无组策略)

    今天客户有台机器 xff0c U盘 移动硬盘都无法识别 xff0c 设备管理器 安装更新驱动显示 xff1a windows已找到设备的驱动程序软件 xff0c 但在试图安装时出现错误 查询信息提示 xff1a 系统策略组禁止安装此设备 请
  • 如何将CentOS Stream退回为CentOS 8.5

    CentOS 8 已于 2021 年年底正式停止维护 xff0c 因业务需要 xff0c 老大说 xff0c 换Steam吧 xff0c 后面环境有问题果然反悔了 xff0c 哈哈 xff0c 怎么办 xff0c 没降级工具哦 xff0c
  • 详解:什么是VXLAN?

    本文介绍了什么是VXLAN xff0c 以及VXLAN的基本概念和工作原理 什么是VXLAN VXLAN xff08 Virtual eXtensible Local Area Network xff0c 虚拟扩展局域网 xff09 xff
  • windows2022远程桌面连接管理员已结束会话解决方法

    您的远程桌面会话已结束 您的远程桌面会话已结束 可能是下列原因之一 管理员已结束了会话 在建立连接时发生错误 发生网络问题 今天有台服务器连不上 xff0c 提示这个 百思不得其解 后面问了 xff0c 原来这台机子装了BT面板 xff0c
  • 樱花大战常见问题解答

    樱花大战1 请使用免CD补丁 还有windows98兼容性 安装目录名字只能用英文 不可以用手柄 使用免CD补丁 还有windows98兼容性可以在XP系统下运行 右键点击樱花大战的启动程序 xff0c 然后 属性 xff0d 兼容性 xf
  • 【小白注意】Windows XP 大胆拥抱Linux系统所遇到的问题

    Windows XP到4月8日就不再有微软的官方技术支持了 xff0c 尽管你仍然可以继续用 xff0c 但是用起来的风险就大多了 xff0c 一不留神就可能被黑客入侵 似乎 xff0c Linux也是一个不错的选择 也许很多文章开始教你如
  • RapeLay(电车之狼R)的结局介绍 (隐藏结局攻略)

    RapeLay xff08 电车之狼R xff09 的结局介绍 隐藏结局 必备知识要让MM怀孕很简单 起初刚进入调教模式后 只要H一次 MM就开始有时期状态 生理 连上有红晕 gt 不详状态 闭目第一次 gt 危险状态 闭目第二 次 只要在
  • 海茶3 らぶデス3 入门经典教程

    又一次在百忙之中给大家写教程了 真的很忙啊 xff0c 4个汉化组 61 1个程序坑 43 1个润色坑 43 2个翻译坑 所以本文第一句话就是 xff1a 这么简单的游戏要什么教程 xff0c 不算LOADGAME xff0c 10分钟上手
  • GALGAME文字提取agth 特殊码大全(特殊码表)和使用方法

    NOTE Make sure you are using the latest version of AGTH 注意 请使用最新版AGTH 大师用的是这个 AGTH 教程也在这里 GALGAME文字提取agth v2008 11 20汉化
  • 70天复习一次通过信息系统项目管理师考试经验和心得

    和我徒弟一样发文纪念下 xff0c 信息系统项目管理师考试45分 xff0c 我报好名 xff0c 开始复习 xff0c 具体时间 xff0c 自己去某网站看 xff0c 上面写着倒计时70天 xff0c 也不知道对不对 把我 一次通过信息
  • 尤菲·如月 与你有约 ぐりぐりキュートユフィ汉化补丁

    游戏名称 xff1a 游戏厂商 xff1a 游戏大小 xff1a 1 98G 游戏语言 xff1a 汉化 发售日期 xff1a 2010年03月20日 是否有喵咪 xff1a 有 3D T Graph GuriGuriCuteYuffie
  • GALGAME引擎识别工具

    神月星人问过一个问题 最近制作RR汉化时碰到解包器难题 xff0c 有程序人员问起星人说RR游戏是用哪个脚本引擎 xff0c 星人一时哑口无言 xff0c 因为星人并不知道如何得知一款游戏的脚本引擎 要怎麽做呢 我做这个脚本引擎识别工具 可
  • 史上最新最全的ADB命令行

    Android开发工具系列目录 Android项目中Git工具的使用史上最全Git命令使用手冊史上最全的ADB命令行Android中的su命令使用Postman测试WebService接口 adb操作及命令 一 ADB的认识1 ADB组成2
  • Redis最佳实践:7个维度+43条使用规范,带你彻底玩转Redis | 附实践清单

    大家好 xff0c 我是 Kaito 这篇文章我想和你聊一聊 Redis 的最佳实践 你的项目或许已经使用 Redis 很长时间了 xff0c 但在使用过程中 xff0c 你可能还会或多或少地遇到以下问题 xff1a 我的 Redis 内存