bolt:一个纯Go实现的KV数据库
来源:互联网 发布:远程桌面软件 win7 编辑:程序博客网 时间:2024/05/29 15:12
简介
bolt是一个纯go语言实现的键值数据库,支持完全的ACID实务操作,尽管不像SQLite那样有完善的查询语言,但是接口简单易用。bolt本身通过使用一个内存映射的磁盘文件来管理数据,逻辑清晰,接口简单易用。下面代码就是bolt提供的简单的操作接口示例。
db, err := bolt.Open("example.db", 0600, nil) if err != nil { log.Fatal(err) } defer db.Close() // 当传递的函数中返回了error,bolt将会自动的执行 // rollback操作,不需要手动执行任何操作 err := db.Update(func(tx *bolt.Tx) error{ // ... }) // 只读的实务操作定义在db.View函数中,仅仅可以读取 // 和迭代数据 err := db.View(func(tx *bolt.Tx)error{ // ... })
bolt设计灵感来源于LMDB(一个轻量级的内存映射数据库)。LMDB本身可以提供高性能的读操作和线程安全的写入操作,并且支持ACID实务操作,bolt早期仅仅打算做成一个Go版本的LMDB,但是如今已得到越来越多的关注github的star数量也突破了7000。
一些常见的关系数据库,比如MySQL以及Postgres这些数据库,提供对于结构化数据的存储以及SQL语句的支持,可以灵活的查询和存储数据来满足业务的需求,但是解析和处理SQL层也会带来很大的开销。bolt所有的数据访问都是通过键来完成,基于B+树存储结构的设计使得读写数据效率较高。同时常规数据库往往与程序分离部署,通过网络序列化完成传递,也会增加一部分处理延迟和降低处理效率。bolt通过一个文件来存储数据,尽管访问问题上不是足够灵活,但是效率较高。
LevelDB,也属于一个键值数据库,Google开源C++语言实现。提供一个排序的数据存储结构,但是不支持实务操作,通过LSM树来存储键值数据到,支持高效的随机写入但是对于读取效率不高,特别是当数据的容量越来越大的时候。如果对于读取效率要求比较高,可以考虑使用bolt来进行测试。 ·
代码实例
Bolt的键值数据对存储在一个有序的map结构中,由于是有序的因此可以获得稳定的迭代数据,另外bolt定义了bucket的结构,类似于一堆键的集合或者类似于数据库的表,另外可以在bucket中存储其他的buckets。如下是一个简单的存储和查询的流程
err = db.Update(func(tx *bolt.Tx) error { b, err := tx.CreateBucketIfNotExists([]byte("posts")) if err != nil { return err } return b.Put([]byte("2017-11-20"), []byte("new post"))})err = db.View(func(tx *bolt.Tx) error { b := tx.Bucket([]byte("posts")) v := b.Get([]byte("2017-11-20")) fmt.Printf("%s", v) return nil})
如果需要存储一个复杂的数据结构比如自定义的结构体数据则需要调用一些序列化的函数来获得编码后的数据存储,比如使用json.Marshal来编码:
type User struct { Name string `json:"name"` Address string `json:"address"` Age int `json:age`}… err = db.Update(func(tx *bolt.Tx) error { b, err := tx.CreateBucketIfNotExists([]byte("users")) if err != nil { return err } encoded, err := json.Marshal(user) if err != nil { return err } return b.Put([]byte(user.Name), encoded) }) err = db.View(func(tx *bolt.Tx) error { b := tx.Bucket([]byte("users")) v := b.Get([]byte("mike")) user := new(User) err := json.Unmarshal(v, user) if err != nil { return err } fmt.Printf("%+v", user) return nil })
另外bolt提供命令行工具来完成对于数据库状态的检查和测试。
Usage:
bolt command [arguments]
The commands are:
bench run synthetic benchmark against boltcheck verifies integrity of bolt databasecompact copies a bolt database, compacting it in the processinfo print basic infohelp print this screenpages print list of pages with their typesstats iterate over all pages and generate usage stats
bolt尽管API比较简单,但是实现较为优雅,很多大的企业在内部使用bolt来存储一些业务数据。如果有一些对于读要求较为高的应用可以考虑测试一下bolt的使用效果。
另外注意的是:对于bolt来说存储的文件由于是内存映射的对象存储内容,因此是大小端敏感的,可能会导致拷贝到特定的机器上不能正常使用。不过大部分的用户使用现代的CPU来说是小端存储,因此问题不大。
- bolt:一个纯Go实现的KV数据库
- SSD入门以及实现一个基于SSD的KV存储
- 一个bolt接收spout和另一个bolt的tuple
- CMU440-P0:Implementing a Key-Value database server(实现一个kv数据库服务器)
- 一个支持memcache协议的支持在线批量更新的kv数据库(适用于推荐引擎)
- storm的bolt实现阶段统计
- 一个纯JDBC访问数据库的顺序
- 打造先进的内存KV数据库-5 TCP侦听
- 打造先进的内存KV数据库-6 PHP支持
- JRobin RRDTool的一个纯Java实现
- 一个通用纯C队列的实现
- 一个纯C#的Lua 5.2实现
- go: 一个通用log模块的实现
- go 实现一个简单的UUID生成器
- 基于第三方KV存储的消息队列实现
- 基于mmap的KV数据存储实现(一)概述
- Bolt的生命周期
- KV存储的对比
- 指针笔记
- 赋值 和复合赋值操作符
- Hessian庖丁解牛
- 多路复用模型之epoll
- linux中部分概念
- bolt:一个纯Go实现的KV数据库
- JavaScript HTML DOM基础操作
- (连载)一个很长的梦——(一)
- cmd 删除所有文件夹以及子文件夹下的文件
- Wireshark抓包分析和过滤策略
- 浅谈C语言自定义类型
- Linux(centos6.8)下安装mysql
- 干货:为什么直播娃娃机要用rtmp摄像机方案
- (三十四)Palette 使用和 MaterialDesign 整合使用