趋势递增分布式ID生成方法:Snowflake
来源:互联网 发布:言论自由 知乎 编辑:程序博客网 时间:2024/06/11 21:07
1.介绍
SnowFlake的结构如下(每部分用-分开):
0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000
1.第一位是标识位,由于long基本类型在Java中是带符号的,最高位是符号位,正数是0,负数是1,所以id一般是
正数,最高位是0。
2.41位时间截(毫秒级),注意,41位时间截不是存储当前时间的时间截,而是存储时间截的差值
(当前时间截 - 开始时间截得到的值),这里的的开始时间截,一般是我们的id生成器开始使用的时间,由我们程序
来指定的(如下下面程序IdWorker类的startTime属性)。 41位的时间截,可以使用69年,
使用年计算公式 T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69
3.10位的数据机器位,可以部署在1024个节点,包括5位datacenterId(数据中心)和5位workerId(机器ID)
4.12位序列,毫秒内的计数,12位的计数顺序号支持每个节点每毫秒(同一机器,同一时间截)产生4096个ID序号
加起来刚好64位,为一个Long型。
SnowFlake的优点是,整体上按照时间自增排序,并且整个分布式系统内不会产生ID碰撞 (由数据中心ID和机器ID作
区分),并且效率较高,经测试,SnowFlake每秒能够产生26万ID左右。其中时间截位,数据机器位,毫秒内计数位
是可以根据自己的业务进行调整的。
2.代码
public class SnowflakeIdWorker { /** * 开始时间截 (2017-01-01) */ private static final long twepoch = 1483200000000L; /** * 机器id所占的位数 */ private static final long workerIdBits = 5L; /** * 数据标识id所占的位数 */ private static final long datacenterIdBits = 5L; /** * 支持的最大机器id,结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数) */ private static final long maxWorkerId = ~(-1L << workerIdBits); /** * 支持的最大数据标识id,结果是31 */ private static final long maxDatacenterId = ~(-1L << datacenterIdBits); /** * 序列在id中占的位数 */ private final long sequenceBits = 12L; /** * 机器ID向左移12位 */ private final long workerIdShift = sequenceBits; /** * 数据标识id向左移17位(12+5) */ private final long datacenterIdShift = sequenceBits + workerIdBits; /** * 时间截向左移22位(5+5+12) */ private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits; /** * 生成序列的掩码,这里为4095 (0b111111111111=0xfff=4095) */ private final long sequenceMask = ~(-1L << sequenceBits); /** * 工作机器ID(0~31) */ private long workerId; /** * 数据中心ID(0~31) */ private long datacenterId; /** * 毫秒内序列(0~4095) */ private long sequence = 0L; /** * 上次生成ID的时间截 */ private long lastTimestamp = -1L; /** * 构造函数 * * @param workerId 工作ID (0~31) * @param datacenterId 数据中心ID (0~31) */ public SnowflakeIdWorker(long workerId, long datacenterId) { if (workerId > maxWorkerId || workerId < 0) { throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId)); } if (datacenterId > maxDatacenterId || datacenterId < 0) { throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId)); } this.workerId = workerId; this.datacenterId = datacenterId; } /** * 获得下一个ID (该方法是线程安全的) * * @return SnowflakeId */ public synchronized long nextId() { long timestamp = timeGen(); //如果当前时间小于上一次ID生成的时间戳,说明系统时钟回退过这个时候应当抛出异常 if (timestamp < lastTimestamp) { throw new RuntimeException( String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp)); } //如果是同一时间生成的,则进行毫秒内序列 if (lastTimestamp == timestamp) { sequence = (sequence + 1) & sequenceMask; //毫秒内序列溢出 if (sequence == 0) { //阻塞到下一个毫秒,获得新的时间戳 timestamp = tilNextMillis(lastTimestamp); } } //时间戳改变,毫秒内序列重置 else { sequence = 0L; } //上次生成ID的时间截 lastTimestamp = timestamp; //移位并通过或运算拼到一起组成64位的ID return ((timestamp - twepoch) << timestampLeftShift) | (datacenterId << datacenterIdShift) | (workerId << workerIdShift) | sequence; } /** * 阻塞到下一个毫秒,直到获得新的时间戳 * * @param lastTimestamp 上次生成ID的时间截 * @return 当前时间戳 */ protected long tilNextMillis(long lastTimestamp) { long timestamp = timeGen(); while (timestamp <= lastTimestamp) { timestamp = timeGen(); } return timestamp; } /** * 返回以毫秒为单位的当前时间 * * @return 当前时间(毫秒) */ protected long timeGen() { return System.currentTimeMillis(); } /** * 测试 */ public static void main(String[] args) throws ParseException { SnowflakeIdWorker idWorker = new SnowflakeIdWorker(1, 1); ThreadPoolExecutor threadPoolExecutor = new ThreadPoolExecutor(10, Integer.MAX_VALUE, 5, TimeUnit.SECONDS, new SynchronousQueue<>()); for (int i = 0; i < 10000; i++) { threadPoolExecutor.execute(() -> { long start = System.currentTimeMillis(); long id = idWorker.nextId(); System.out.println(System.currentTimeMillis() - start); }); } threadPoolExecutor.shutdown(); }}3.数据机器位从哪里获取的思考
数据中心位我们可以写死到配置文件中。机器ID怎么获得呢。我的想法是项目启动时通过redis获取当前机器是否已
经分配过机器ID,redis.get(ip),如果当前机器没有获得,则通过redis自增获得一个redis.incr(key) key建议取项目名
,并set到redis中。
- 趋势递增分布式ID生成方法:Snowflake
- SnowFlake 分布式ID生成Java实现
- 分布式ID生成方法
- 分布式ID生成方法
- 分布式ID生成方法
- 分布式ID生成方法
- 分布式ID生成方法
- C语言实现分布式自增有序的唯一ID生成算法-snowflake算法
- C语言实现分布式自增有序的唯一ID生成算法-snowflake算法
- 分布式自增ID解决方案-Twitter Snowflake
- Twitter分布式自增ID算法Snowflake
- Twitter分布式自增ID算法Snowflake
- 分布式自增ID解决方案-Twitter Snowflake
- 分布式ID自增算法 Snowflake
- twitter id生成算法snowflake详解
- 基于Twitter的snowflake算法生成ID
- snowflake 不重复id代码生成类
- PHP使用SnowFlake算法生成唯一ID
- Error:Execution failed for task ':caldroid:compileDebugJavaWithJavac'. > Cannot find System Java Com
- 【Matlab/Python】Matlab和Python之间的数据传输
- 用Swing开发GUI程序(四)JList
- C#中委托的+=和-=深入研究 委托的多次注册
- TensorFlow 学习积累(1):variable 和 placeholder
- 趋势递增分布式ID生成方法:Snowflake
- Java中静态、动态代理的实现
- 代码上传git 码云
- APACHE配置SSL【使用代理转发/请求分别走HTTP和HTTPS】
- codility CountDistinctSlices
- 飞跃绝境长城之openVPN的搭建
- 近期海投笔试遇到的问题(2)
- 报警邮件的php脚本
- 【HDU6199 2017 ACM ICPC Asia Regional Shenyang Online F】【博弈 DP】gems gems gems 双人从左侧拿宝石 每次拿相同或加一的最小差值