TAE-MatrixOne云原生事务与分析引擎

很多数据库在使用对象存储时，要么作为冷备使用，要么以牺牲延迟为代价在提交事务时同步写入到对象存储中。TAE有效的利用云存储资源，将新写入的数据先保存到日志服务的本地磁盘中，随后异步的将日志中的数据转存至对象存储中。这样TAE既保留了存算分离的可能性，又避免了过高的写入延迟。

比如说：

• TAE可以管理远大于本地存储容量的数据。本地内存和磁盘都可以作为缓存，只保存最新被访问到的数据；

• TAE可以以很小的代价，在一个新结点上装载出完整的数据副本。这对于服务的 HA 还有计算资源的隔离非常的重要。

日志服务的核心需求有以下几点：

• 高吞吐

• 低延迟

• 高可靠

• 高可用

在写流程中，TAE会将提交事务写入日志，并且异步的转存至对象存储。这些都发生在DN（Data Node）结点。

 >>>举例说明 

DN的状态由以下三部分组成:

1. 快照 [0,100]，该快照包含6个数据块 [“block-1”, “block-2”, “block-3”, “block-4”, “block-5”, “block-6”]

2. 持久化的数据块 “block-7“ [115, 140]

3. 内存数据块 “block-8” [120, 150]

CN接收到查询请求，假设该请求的时间戳为118：

1. CN检查当前状态机的状态为[0, 0], 最大时间戳小于118；

2. CN会向DN 发出一条读请求，请求0到118之间的LogTail；

3. CN收到DN的响应，将LogTail应用到本地的状态机；

4. 更新CN状态机的状态为 [1, 118]；

5. 开始查询。

1. CN检查当前状态机的状态为[1, 118], 最大时间戳小于130；

2. CN会向DN发出一条读请求，请求118到130之间的LogTail；

3. CN收到DN的响应，将LogTail应用到本地的状态机；

4. 更新CN状态机的状态为[1, 130]；

5. 开始查询。

定义表结构时，可以指定分区键，将表数据分布在多个DN上。每个CN表数据包含了多个DN分区的数据，这有利于一些跨分区的查询。

纵观DN的职责，主要有以下三点：

用户的计算负载不会被调度到DN, 我们认为当前架构下DN的数量可以控制在有限个数量，甚至单个 DN就可以满足大多数的需求。通过扩容CN的数量，提高系统的性能。

 >>>举例说明 

1. CN处理事务Txn-[t1]的写请求时，会做一次基于时间戳t1的冲突检测

2. CN将Txn-[t1]提交给DN, DN会用Txn-[t1]的writeset和[t1,now]产生的writeset做一次冲突检测

增量冲突检测机制，可以提高DN处理事务的吞吐能力，不会随着表数据的增长而逐渐下降

这里通过三种方式支持大事务:

1. CN在提交事务前，将事务的数据建好相关索引，并写入到对象存储中，提交至DN的只有相关元数据；

2. DN在提交事务时，利用相关的索引加速检测；

3. DN在提交事务时，只更新元数据。