SequoiaDB数据库管理

来源：互联网发布：广电网络编辑：程序博客网时间：2024/05/01 23:28

1. 数据库配置

sequoiadb支持命令行和配置文件两种方式，当共存时命令行会覆盖配置文件。

2. 监控

1）快照

上下文快照（等等）

列出当前数据库节点中所有绘画所对应的上下文。每个会化为一条记录，如果一个会话中包括一个或一个以上的上下文时，Contexts数组字段对每个上下文产生一个对象。

标示

SDB_SNAP_CONTEXTS

字段信息

字段名类型描述SessionID字符串会话 ID（主机名：端口号：ID）Contexts.ContextID长整型上下文 IDContexts.Type字符串上下文类型，如：DUMPContexts.Description字符串上下文的描述信息，如：包含当前的查询条件Contexts.DataRead长整型所读数据Contexts.IndexRead长整型所读索引Contexts.QueryTimeSpent浮点数查询总时间（秒）Contexts.StartTimestamp时间戳创建时间

示例

> db.snapshot(SDB_SNAP_CONTEXTS){  "SessionID": "vmsvr2-suse-x64:11820:28",  "Contexts": [    {      "ContextID": 12,            "Type": "DUMP",      "Description": "BufferSize:0",      "DataRead": 0,      "IndexRead": 0,      "QueryTimeSpent": 0,      "StartTimestamp": "2013-09-27-18.06.37.079570"    }  ]}

2）列表

集合空间列表（等等）

集合列表

描述

集合快照列出当前数据库节点中所有的非临时集合（协调节点中列出用户集合），每个集合为一条记录。

标示

SDB_LIST_COLLECTIONS

字段信息

由于数据节点与编目节点保存的集合信息不同，集合列表在协调节点与其它节点所返回的结构有所不同：

非协调节点字段信息

字段名类型描述Name字符串集合完整名Details.ID整型集合 ID，范围0~4095，集合空间内唯一Details.LogicalID整型集合逻辑 IDDetails.Sequence整型序列号Details.Indexes整型该集合所包含的索引数量Details.Status字符串集合当前状态

Free：空闲
Normal：正常
Dropped：被删除
Offline Reorg Shadow Copy Phase：离线重组复制阶段
Offline Reorg Truncate Phase：离线重组清除阶段
Offline Reorg Copy Back Phase：离线重组重入阶段
Offline Reorg Rebuild Phase：离线重组重建索引阶段

协调节点字段信息

字段名类型描述Name字符串集合完整名

非协调节点示例

> db.list(SDB_LIST_COLLECTIONS){  "Name": "foo.test",  "Details": [    {      "ID": 0,      "Logical ID": 0,      "Sequence": 1,      "Indexes": 2,      "Status": "Normal"    }  ]}

协调节点示例

> db.list(SDB_LIST_COLLECTIONS){  "Name": "foo.bar"}

3. 引擎调度单元

引擎调度单元
概念
引擎调度单元（Engine Dispatchable Unit）是 SequoiaDB 数据库中任务运行的载体，一般来说一个 EDU 意味着一个单独的线程。
每个 EDU 可以用来执行用户的请求，或者执行系统内部的维护任务。
EDU 之间相互独立，不同 EDU 单独负责不同的用户会话。一个用户会话与一个 EDU，在一个数据节点中相互绑定。
每个 EDU 拥有一个进程内唯一的64位整数标示，称作“EDU ID”。
EDU 可以分为用户 EDU 与系统 EDU，分别代表执行用户任务的线程，与执行系统任务的线程。
用户 EDU
用户 EDU 为执行用户任务的线程，一般又叫作代理（Agent）线程。
在 SequoiaDB 中，主要存在下列代理线程类型：
名称类型描述Agent代理代理线程负责由 svcname 服务传入的请求，一般来说该请求由用户直接传入ShardAgent分区代理分区代理线程负责由 shardname 服务传入的请求，一般来说该请求由协调节点传入数据节点CoordAgent协调代理协调代理线程负责由svcname服务传入的请求，一般来说该请求由用户直接传入，仅作用于协调节点ReplAgent复制代理复制代理线程负责由 replname 服务传入的请求，一般来说该请求由数据主节点传向从节点，多作用于非协调节点HTTPAgentHTTP 代理HTTP 代理线程负责由 httpname 服务传入的 REST 请求，一般来说该请求由用户直接传入
系统 EDU
系统 EDU 为系统内部维护数据结构及一致性的线程，一般来说对用户完全透明。
在 SequoiaDB 中，存在但不局限于下列系统 EDU：
名称类型描述TCPListener服务监听该线程负责监听 svcname 服务，并启动 Agent 代理线程HTTPListenerHTTP 监听该线程负责监听 httpname 服务，并启动 Agent 代理线程Cluster集群管理集群管理线程用于维护集群的基本框架，启动 ReplReader 与 ShardReader 线程ReplReader复制监听复制监听线程负责由 replname 服务传入的请求，并启动 ReplAgent 代理线程ShardReader分区监听分区监听线程负责由 shardname 服务传入的请求，并启动 ShardAgent 代理线程LogWriter日志写日志写线程用于将日志缓冲区中的数据写入日志文件WindowsListenerWindows 事件监听Windows 环境特有，用于监听 Windows 中 SequoiaDB 定义事件Task后台任务处理后台任务处理线程，一般来说用于处理后台任务请求，例如数据切分CatalogMC编目主控编目主控线程用于接收和分发编目节点接收到的请求CatalogNM编目节点控制编目节点控制线程用于处理编目节点内部集群信息相关的请求CatalogManager编目控制编目控制线程用于处理编目节点内部元数据相关的请求CatalogNetwork编目网络监听编目网络监听线程用于监听编目服务 catalogname 下的请求CoordNetwork协调网络监听协调网络监听线程用于监听分区的请求
监控
用户可以使用会话快照监控系统与用户 EDU。
Related information会话快照
4. 日志
同步日志
日志文件
SequoiaDB 采用日志方式进行副本间的数据同步。日志文件存在于 replicalog 目录中。文件大小和个数可以分别通过 logfilesz 和 logfilenum 参数进行设置。默认分别为64M（不包含头大小）和20。参数生效后无法修改。（如果要修改必须离线删除全部日志文件，重新配置参数并启动 SequoiaDB。但此举通常会引起全量同步。）
同步
数据组内所有备节点会定期将其他数据节点日志打包下载到本地进行日志回放。同步源并不限于主节点。因为我们期望所有节点的数据版本差距在一个很小的窗口内。当处于这个窗口内时，所有备节点向主节点同步数据。但是当某些节点的数据版本与主节点相差过大时，则选择其他备节点进行同步。当发生版本冲突时，以当前主节点数据版本为准。如果冲突不能解决则进入全量同步。当组内不存在主节点时，同步无法进行。
全量同步
触发全量同步的原因有：
1. 宕机重启。
2. 节点数据版本与其他节点相差过大。
3. 数据不一致并且无法修复。
Note: 正常重启后，如果数据版本仍在可同步范围内则不会触发全量同步。
发生全量同步的节点会清空本地所有数据及日志，同时将组内另一个节点（不限于主节点）的数据全部复制到本地。期间同步源发生的数据改变同样会被复制到本地。全量同步期间本节点对外不提供服务。当组内不存在主节点时，全量同步无法进行。全量同步会极大地影响整个组的性能，甚至导致其他备节点同步性能降低。建议通过增加分区及日志容量来避免全量同步。

0 0