分布式ID生成器(雪花算法改进版)ID不重复

2023-11-08

snowflake是Twitter开源的分布式ID生成算法,结果是一个long型的ID。其核心思想是:使用41bit作为毫秒数,10bit作为机器的ID(5个bit是数据中心,5个bit的机器ID),12bit作为毫秒内的流水号(意味着每个节点在每毫秒可以产生 4096 个 ID),最后还有一个符号位,永远是0。

snowflake算法的组成部分:

  1. 41位的时间序列(精确到毫秒,41位的长度可以使用69年)
  2. 10位的机器标识(10位的长度最多支持部署1024个节点)
  3. 12位的计数顺序号(12位的计数顺序号支持每个节点每毫秒产生4096个ID序号) 最高位是符号位,始终为0。

优点:

  • 性能好,低延时, 能满足Twitter每秒上万条请求
  • 独立部署, 稳定性高
  • 可根据自身业务分配bit位, 灵活性好

缺点:

  • 强依赖机器时间, 如果机器上时间回拨,会导致发号重复或者服务会处于不可用状态。
  • 微服务系统,极端情况会出现重复
  • 线程不安全,会出现重复

针对上述会重复的缺点进行改进。

1、增加自动获取机器码和数据中心ID的实现方法。

2、增加单例模式获取,线程安全。

Java代码实现:

/**
 * Twitter_Snowflake<br>
 * SnowFlake的结构如下(每部分用-分开):<br>
 * 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 <br>
 * 1位标识,由于long基本类型在Java中是带符号的,最高位是符号位,正数是0,负数是1,所以id一般是正数,最高位是0<br>
 * 41位时间截(毫秒级),注意,41位时间截不是存储当前时间的时间截,而是存储时间截的差值(当前时间截 - 开始时间截)
 * 得到的值),这里的的开始时间截,一般是我们的id生成器开始使用的时间,由我们程序来指定的(如下下面程序IdWorker类的startTime属性)。41位的时间截,可以使用69年,年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69<br>
 * 10位的数据机器位,可以部署在1024个节点,包括5位datacenterId和5位workerId<br>
 * 12位序列,毫秒内的计数,12位的计数顺序号支持每个节点每毫秒(同一机器,同一时间截)产生4096个ID序号<br>
 * 加起来刚好64位,为一个Long型。<br>
 * SnowFlake的优点是,整体上按照时间自增排序,并且整个分布式系统内不会产生ID碰撞(由数据中心ID和机器ID作区分),并且效率较高,经测试,SnowFlake每秒能够产生26万ID左右。
 */
public class SnowflakeIdUtil {
    // ==============================Fields===========================================
    /** 开始时间截 (2021-09-01) */
    private final long twepoch = 1630425600000L;

    /** 机器id所占的位数 */
    private final long workerIdBits = 5L;

    /** 数据标识id所占的位数 */
    private final long datacenterIdBits = 5L;

    /** 支持的最大机器id,结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数) */
    private final long maxWorkerId = -1L ^ (-1L << workerIdBits);

    /** 支持的最大数据标识id,结果是31 */
    private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);

    /** 序列在id中占的位数 */
    private final long sequenceBits = 12L;

    /** 机器ID向左移12位 */
    private final long workerIdShift = sequenceBits;

    /** 数据标识id向左移17位(12+5) */
    private final long datacenterIdShift = sequenceBits + workerIdBits;

    /** 时间截向左移22位(5+5+12) */
    private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;

    /** 生成序列的掩码,这里为4095 (0b111111111111=0xfff=4095) */
    private final long sequenceMask = -1L ^ (-1L << sequenceBits);

    /** 工作机器ID(0~31) */
    private long workerId;

    /** 数据中心ID(0~31) */
    private long datacenterId;

    /** 毫秒内序列(0~4095) */
    private long sequence = 0L;

    /** 上次生成ID的时间截 */
    private long lastTimestamp = -1L;

    //==============================Constructors=====================================
    /**
     * 构造函数
     * @param workerId 工作ID (0~31)
     * @param datacenterId 数据中心ID (0~31)
     */
    private SnowflakeIdUtil(long workerId, long datacenterId) {
        if (workerId > maxWorkerId || workerId < 0) {
            throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
        }
        if (datacenterId > maxDatacenterId || datacenterId < 0) {
            throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
        }
        this.workerId = workerId;
        this.datacenterId = datacenterId;
    }

    // ==============================Methods==========================================
    /**
     * 获得下一个ID (该方法是线程安全的)
     * @return SnowflakeId
     */
    public synchronized long nextId() {
        long timestamp = timeGen();

        //如果当前时间小于上一次ID生成的时间戳,说明系统时钟回退过这个时候应当抛出异常
        if (timestamp < lastTimestamp) {
            throw new RuntimeException(
                    String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
        }

        //如果是同一时间生成的,则进行毫秒内序列
        if (lastTimestamp == timestamp) {
            sequence = (sequence + 1) & sequenceMask;
            //毫秒内序列溢出
            if (sequence == 0) {
                //阻塞到下一个毫秒,获得新的时间戳
                timestamp = tilNextMillis(lastTimestamp);
            }
        }
        //时间戳改变,毫秒内序列重置
        else {
            sequence = 0L;
        }

        //上次生成ID的时间截
        lastTimestamp = timestamp;

        //移位并通过或运算拼到一起组成64位的ID
        return ((timestamp - twepoch) << timestampLeftShift) //
                | (datacenterId << datacenterIdShift) //
                | (workerId << workerIdShift) //
                | sequence;
    }

    /**
     * 阻塞到下一个毫秒,直到获得新的时间戳
     * @param lastTimestamp 上次生成ID的时间截
     * @return 当前时间戳
     */
    protected long tilNextMillis(long lastTimestamp) {
        long timestamp = timeGen();
        while (timestamp <= lastTimestamp) {
            timestamp = timeGen();
        }
        return timestamp;
    }

    /**
     * 返回以毫秒为单位的当前时间
     * @return 当前时间(毫秒)
     */
    protected long timeGen() {
        return System.currentTimeMillis();
    }

    /**
     * 根据 host address取余,发生异常就获取0-31之间的随机数
     *
     * @return 机器ID
     */
    private static long getWorkId() {
        try {
            return getHostId(Inet4Address.getLocalHost().getHostAddress());
        } catch (UnknownHostException e) {
            return new Random().nextInt(32);
        }
    }

    /**
     * 根据 host name取余,发生异常就获取0-31之间的随机数
     *
     * @return 数据中心ID
     */
    private static long getDataId() {
        try {
            return getHostId(Inet4Address.getLocalHost().getHostName());
        } catch (UnknownHostException e) {
            return new Random().nextInt(32);
        }
    }

    /**
     * 获取字符串的的字节数组,然后将数组元素相加,对(max+1)取余
     */
    private static long getHostId(String s) {
        byte[] bytes = s.getBytes();
        int sums = 0;
        for (int b : bytes) {
            sums += b;
        }
        return sums % 32;
    }

    volatile private static SnowflakeIdUtil instance = null;

    
    public static SnowflakeIdUtil getInstance(){
        try{
            if (null == instance){
                synchronized (SnowflakeIdUtil.class){
                    if (null == instance){
                        instance = new SnowflakeIdUtil(getWorkId(), getDataId());
                    }
                }
            }
        }catch (Exception e){
            e.printStackTrace();
        }
        return instance;
    }
}

测试方法:

ExecutorService executorService = Executors.newFixedThreadPool(8);
        long startTime = TimeUtils.nowMs();
        CountDownLatch countDownLatch = new CountDownLatch(10000);
        for (int i = 0; i < 10000; i++) {
            final String user = mockSeqName + i;
            executorService.submit(
                    () -> {
                        try{
                             // 雪花算法:推荐
        SnowflakeIdUtil snowflakeIdUtil = SnowflakeIdUtil.getInstance();
                            Long newId = snowflakeIdUtil.nextId();
                            System.out.println(newId);
                        }catch (Exception e){
                            System.out.println(e.getMessage());
                        }finally {
                            countDownLatch.countDown();
                        }
                    }
            );
            
        }
        countDownLatch.await();
        System.out.println(TimeUtils.diffMs(startTime));
        

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

分布式ID生成器(雪花算法改进版)ID不重复 的相关文章

  • uniapp实现小程序云开发

    打开微信开发者工具 填写你的appid 勾选使用云开发 对应的uniapp里也要配置上你的appid喔 在这个文件manifest json 我在App vue页面 不一定是在这个页面 可以视你的情况而定 里调用 了wx cloud ini
  • JavaScript算法之动态规划

    动态规划的基本概念 动态规划 Dynamic Programming DP 是运筹学的一个分支 是求解决策过程最优化的过程 动态规划算法通常用于求解具有某种最优性质的问题 在这类问题中 可能会有许多可行解 每一个解都对应于一个值 我们希望找
  • pyqt5 tableWidget入门,和treewidget联动功能

    1 成品 最近在做项目的过程中需要用到QTreeWidget和QTableWidget联动 上一篇文章介绍了 QTreeWidget的基本用法 这里介绍一下QTableWidget的基本用法 及我在项目中的使用 先看看最终成品 要实现以上图

随机推荐

  • Visual Studio 2017 、2019安装Windows SDK失败的解决办法(改盘符引起)

    如果是改盘符出错就请往下看 如果不是就别往下看了 这是血泪踩出来的坑 希望有所帮助 我是手残把电脑盘符改了 然后vs就开始疯狂报错 百试无果 百度不出 果断放弃 刚开始是安装的2017 卸载完后安装的2019 安好后就开始报 fatal e
  • vue(vue-cli3)根据不同环境打包

    配置环境 在项目根目录下创建两个文件 env test NODE ENV production VUE APP ENV test env build NODE ENV production VUE APP ENV production 修改
  • 雪梨小白的“码绘”起步——p5.js实现心形动态图形的绘制

    作为一个快乐的程序媛 尤其还是一个快乐的树莓程序媛 当然应该什么都会 所以这学期学院开了很多偏艺术类的课程让我们学习 然后就开始了互动媒体这门课的学习 这一次的作业要利用p5绘制动态图形 我自己还真的是活力满满的选了一个 emmmm 一点都
  • RBF与BP神经网络的实际案例研究

    RBF与BP神经网络的实际案例研究 应用实例 基于近红外光谱的汽油辛烷值预测 辛烷值是汽油最重要的品质指标传统的实验室检测方法存在样品用量大 测试周期长和费用高等问题 不适用与生产控制 特别是在线测试 今年发展起来的近红外光谱分析方法 NI
  • Python 常见170道面试题解析

    文章目录 基础 语言特性 编码规范 数据类型 字符串 列表 字典 综合 操作类题目 高级特性 正则表达式 其他内容 算法和数据结构 爬虫相关 网络编程 并发 Git 面试题 基础 1 列出 5 个常用 Python 标准库 os 与操作系统
  • Oracle12c连接问题ORA-28040:没有匹配的验证协议

    使用hibernate 连接oracle12c时报名如下 ORA 28040 没有匹配的验证协议 google 发现修改文件即可解决 ORACLE HOME network admin sqlnet ora 加入如下 SQLNET ALLO
  • 设置缓存的大小

    目录 1 CacheManager级别 2 Cache级别 3 大小衡量 4 配置大小示例 缓存大小的限制可以设置在CacheManager上 也可以设置在单个的Cache上 我们可以设置缓存使用内存的大小 也可以设置缓存使用磁盘的大小 但
  • 在HTML中用循环语句

    注意文件名后缀为 jsp 实例 table border 1 tr style background color FCFAF0 color 8F0000 td 编号 td td 编号 td td td tr table
  • 数字化孪生技术现状分析及发展趋势探讨

    今年的技术趋势报告继续在开头回顾了11年来技术趋势的发展 显示了技术趋势时间演变的全过程 最新的宏观科学技术力量为业务变革基础带来的共生利益和不久的未来新兴科学技术力量 随着企业应对不断变化的技术并迅速作出反应 期望更多的IT领导者和财务领
  • 启明智显分享

    SSD20X 点SPI RGB屏和SSD212 类似 区别在于对应文件名不同 SSD20X没有config ini文件 SSD20X SPI初始化文件 vi boot common cmd customer init c SSD20X由于没
  • 三维家可以导入别人的方案吗_三维家辅助工具如何使用?三维家辅助工具安装使用教程...

    三维家辅助工具是三维家3D云设计平台的辅助软件 可以通过这个工具直接批量上传产品模型和贴图 还能预览3vj格式的文件 可以借助这个辅助工具启动CAD 并从CAD导出图纸 有些朋友不太清楚这款软件是如何安装和使用的 接下来的文章中会有详细的介
  • 云创集团丨5G对于智能制造到底有何意义

    随着5G时代的来临 5G技术的应用已成为社会热门话题 诸如5G与人工智能 5G与车联网等 而在制造领域 当智能制造成为全球发展共识 5G对于智能制造来说 又有什么意义呢 接下来 云创智能集团将从以下三个方面探讨5G与智能制造的关系 智能制造
  • Java并发编程学习9-并发基础演练

    Java并发编程学习系列 构建高效且可伸缩的结果缓存 引言 主要内容 1 HashMap 并发机制 2 ConcurrentHashMap 3 ConcurrentHashMap Future 4 ConcurrentHashMap Fut
  • qt designer使用自定义ui控件

    文章目录 qt designer使用自定义ui控件 使用须知 插件应该存放的位置 Qt creator内置的designer 独立的designer 构建一个可使用的插件 Qt creator内置的designer使用 独立的designe
  • 你所不知道的android开发图标资源站

    1 Icon finder 这个网站的界面非常干净 它只有一个目的 为你的web项目找到合适的图标 在搜索框中输入关键字 你便会得到一组自动滚动加载的图标 网站也提供方便的工具 比如改变颜色 像素尺寸 这些选项都会帮助你找到最佳的图标 提供
  • vue-router嵌套路由(页面路径跳转但页面显示空白)

    如图所示从欢迎页跳转至用户列表 欢迎页 路径 welcome 用户页 路径 users 可以看到路径发生了跳转 但跳转后的用户列表页面显示空白 路由嵌套代码如下 查询相关资料 有两种解决方案 1 path路径不用携带 未解决 2 在home
  • 使用linux系统做HTTP代理

    在Linux系统上 可以使用Squid作为HTTP代理服务器 以下是安装和配置Squid的步骤 1 安装Squid 在终端中输入以下命令 sudo apt get update sudo apt get install squid 2 配置
  • uwsgi找不到新安装的python模块问题解决

    uwsgi找不到新安装的python模块问题解决 当你新安装python模块后 运行uwsgi 发现uwsgi找不到你新安装的模块 此时在本地能运行程序 环境也是正确的 但就是找不问题所在 这时可以在uwsgi ini中声明pythonpa
  • Disconnected from the target VM, address: ‘127.0.0.1:‘, transport: ‘socket‘(权威+靠谱)

    概述 IDEA很强大 也非常吃内存 有时会因为各种原因如蓝屏 Windows开发者 断电 非常少见 内存不足 表现为卡死 通过任务管理器强杀进程 等导致IDEA不正常退出 现象 某次IDEA非正常原因杀掉进程退出 事后的反思 上午还好好的
  • 分布式ID生成器(雪花算法改进版)ID不重复

    snowflake是Twitter开源的分布式ID生成算法 结果是一个long型的ID 其核心思想是 使用41bit作为毫秒数 10bit作为机器的ID 5个bit是数据中心 5个bit的机器ID 12bit作为毫秒内的流水号 意味着每个节