趋势递增分布式ID生成方法:Snowflake

来源:互联网 发布:言论自由 知乎 编辑:程序博客网 时间:2024/06/11 21:07

1.介绍

SnowFlake的结构如下(每部分用-分开):

0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000

1.第一位是标识位,由于long基本类型在Java中是带符号的,最高位是符号位,正数是0,负数是1,所以id一般是

数,最高位是0。

2.41位时间截(毫秒级),注意,41位时间截不是存储当前时间的时间截,而是存储时间截的差值

(当前时间截 - 开始时间截得到的值),这里的的开始时间截,一般是我们id生成器开始使用的时间,由我们程序

来指定的(如下下面程序IdWorker类的startTime属性)。 41位的时间截,可以使用69年,

使用年计算公式 T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69

3.10位的数据机器位,可以部署在1024个节点,包括5位datacenterId(数据中心)和5位workerId(机器ID)

4.12位序列,毫秒内的计数,12位的计数顺序号支持每个节点每毫秒(同一机器,同一时间截)产生4096个ID序号

加起来刚好64位,为一个Long型。

SnowFlake的优点是,整体上按照时间自增排序,并且整个分布式系统内不会产生ID碰撞 (由数据中心ID和机器ID

),并且效率较高,经测试,SnowFlake每秒能够产生26ID左右。其中时间截位,数据机器位,毫秒内计数位

是可以根据自己的业务进行调整的。

2.代码

public class SnowflakeIdWorker {    /**     * 开始时间截 (2017-01-01)     */    private static final long twepoch = 1483200000000L;    /**     * 机器id所占的位数     */    private static final long workerIdBits = 5L;    /**     * 数据标识id所占的位数     */    private static final long datacenterIdBits = 5L;    /**     * 支持的最大机器id,结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数)     */    private static final long maxWorkerId = ~(-1L << workerIdBits);    /**     * 支持的最大数据标识id,结果是31     */    private static final long maxDatacenterId = ~(-1L << datacenterIdBits);    /**     * 序列在id中占的位数     */    private final long sequenceBits = 12L;    /**     * 机器ID向左移12     */    private final long workerIdShift = sequenceBits;    /**     * 数据标识id向左移17(12+5)     */    private final long datacenterIdShift = sequenceBits + workerIdBits;    /**     * 时间截向左移22(5+5+12)     */    private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;    /**     * 生成序列的掩码,这里为4095 (0b111111111111=0xfff=4095)     */    private final long sequenceMask = ~(-1L << sequenceBits);    /**     * 工作机器ID(0~31)     */    private long workerId;    /**     * 数据中心ID(0~31)     */    private long datacenterId;    /**     * 毫秒内序列(0~4095)     */    private long sequence = 0L;    /**     * 上次生成ID的时间截     */    private long lastTimestamp = -1L;    /**     * 构造函数     *     * @param workerId     工作ID (0~31)     * @param datacenterId 数据中心ID (0~31)     */    public SnowflakeIdWorker(long workerId, long datacenterId) {        if (workerId > maxWorkerId || workerId < 0) {            throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));        }        if (datacenterId > maxDatacenterId || datacenterId < 0) {            throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));        }        this.workerId = workerId;        this.datacenterId = datacenterId;    }    /**     * 获得下一个ID (该方法是线程安全的)     *     * @return SnowflakeId     */    public synchronized long nextId() {        long timestamp = timeGen();        //如果当前时间小于上一次ID生成的时间戳,说明系统时钟回退过这个时候应当抛出异常        if (timestamp < lastTimestamp) {            throw new RuntimeException(                    String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));        }        //如果是同一时间生成的,则进行毫秒内序列        if (lastTimestamp == timestamp) {            sequence = (sequence + 1) & sequenceMask;            //毫秒内序列溢出            if (sequence == 0) {                //阻塞到下一个毫秒,获得新的时间戳                timestamp = tilNextMillis(lastTimestamp);            }        }        //时间戳改变,毫秒内序列重置        else {            sequence = 0L;        }        //上次生成ID的时间截        lastTimestamp = timestamp;        //移位并通过或运算拼到一起组成64位的ID        return ((timestamp - twepoch) << timestampLeftShift)                | (datacenterId << datacenterIdShift)                | (workerId << workerIdShift)                | sequence;    }    /**     * 阻塞到下一个毫秒,直到获得新的时间戳     *     * @param lastTimestamp 上次生成ID的时间截     * @return 当前时间戳     */    protected long tilNextMillis(long lastTimestamp) {        long timestamp = timeGen();        while (timestamp <= lastTimestamp) {            timestamp = timeGen();        }        return timestamp;    }    /**     * 返回以毫秒为单位的当前时间     *     * @return 当前时间(毫秒)     */    protected long timeGen() {        return System.currentTimeMillis();    }    /**     * 测试     */    public static void main(String[] args) throws ParseException {        SnowflakeIdWorker idWorker = new SnowflakeIdWorker(1, 1);        ThreadPoolExecutor threadPoolExecutor = new ThreadPoolExecutor(10, Integer.MAX_VALUE, 5, TimeUnit.SECONDS, new SynchronousQueue<>());        for (int i = 0; i < 10000; i++) {            threadPoolExecutor.execute(() -> {                long start = System.currentTimeMillis();                long id = idWorker.nextId();                System.out.println(System.currentTimeMillis() - start);            });        }        threadPoolExecutor.shutdown();    }}

3.数据机器位从哪里获取的思考

数据中心位我们可以写死到配置文件中。机器ID怎么获得呢。我的想法是项目启动时通过redis获取当前机器是否已

经分配过机器ID,redis.get(ip),如果当前机器没有获得,则通过redis自增获得一个redis.incr(key) key建议取项目名

,并set到redis中。

阅读全文
0 0
原创粉丝点击