来了来了！MatrixOne技术架构详解来了！

前一段时间在知乎上有个小伙伴吐槽说已放弃阅读MatrixOne源代码，想必是对MatrixOne的代码可读性与解释文档的缺乏不太满意。确实，MO在这些方面还需要做很多改进工作，作为一个开源项目，良好的代码和文档可阅读性是让大家来参与的基础。

社区中也有很多小伙伴问到MatrixOne是否有一个整体架构和模块说明的文档？那必须给大家安排上！本文将说明MatirxOne每个模块的现状与进展，希望通过技术架构详解，大家对MatrixOne能够有更清楚的了解，同时也欢迎大家贡献代码~

对互联网企业而言，行业红利已经接近天花板，下半场的强监管与精细化运营必然对降低成本提出更高要求。而对大量还在数字化转型过程中的传统企业而言，在还未尝到数字化的甜头的时候，由于数据处理的复杂性和高IT门槛就已经足够劝退大量企业。

MatrixOne希望通过一套比较简洁的架构，能提供一套统一的满足大部分场景数据处理需求的平台，将复杂性包含在系统内部，让用户能够高效快速的处理和应用数据。

举一个例子来讲，现在的数据库产品就类似于一个个独立的电子设备，MP3，数码相机，收音机，电话，每个实现一部分相对突出的功能。而MatrixOne希望提供的是一个类似智能手机的产品，将大部分相对通用的功能集成在产品内部，极大的简化使用体验和维护成本。

关于我们的产品理念和初衷，可点击文末“阅读原文”参见我们发布于InfoQ的《昂贵、复杂、低效... 中小型企业如何打破大数据技术栈困境？》一文。

MatrixOne将极简易用作为重要的设计准则，尽管是分布式数据库，但在部署上只提供单一Binary，每个节点只运行完全同样的单一进程即可。

图：MatrixOne的整体架构

计算层Query Parser: 接收到来自SQL Frontend的请求之后，SQL Parser负责将其解析并转化为抽象语法树。尽管提供 MySQL语法，但MatrixOne并没有采用流行的开源Query Parser，如TiDB，Vitess的Parser等。事实上，在2021 年10月发布的MatrixOne 0.1版本中，就采用的TiDB Parser，但在0.2版本中，我们自研了一个新的Parser，这主要是因为:

计算层MPP SQL Execution：这是MatrixOne的MPP计算引擎，该引擎由Golang实现，其中针对SQL计算引擎的一些基础操作的向量化加速，部分操作采用了汇编改写做加速。目前仅实现了Intel X86架构中AVX2，AVX512指令集的适配和加速。另外，我们通过独有的因子化加速能力，在针对多表join的场景下会有非常高效的表现。这些技术细节都会有后续的文章介绍。但是总的来说我们目前距离完善的SQL能力和底层适配还有很长的路要走，这里也欢迎社区可以更多的贡献针对其他如ARM处理器架构以及更多SQL操作的汇编加速实现。

元数据层Catalog：这是存放数据库整体元数据的组件，例如Table/Schema定义等。目前Catalog还是一个临时方案，采用一个Key Value引擎存放，后续Catalog将整体迁入一个标准的OLTP引擎，提供进一步更完善的ACID能力来支撑Catalog组件。

分布式框架MatixCube：这个组件是实现NewSQL架构的分布式基础架构库，目前是一个独立的仓库。它包含两部分的功能，一个是提供复制状态机实现的共识协议部分，当前采用Multi Raft机制。另一个是提供基于Raft的副本调度机制，该调度器在代码中称为Prophet。MatrixCube是一个通用的库，它可以对接各种存储引擎，这也是目前把它放到一个独立的仓库 的原因，任何第三方开发者，都可以比较方便的采用它来实现分布式强一致的存储引擎和数据库。MatrixCube还有一个非常重要的工作，就是提供分布式事务能力，这个工作目前正在方案设计中，很快也会将方案公开给开发者参考与讨论。

图：MatrixCube架构图

存储层Storage Engine：在MatrixOne中，存储引擎被定义为Engine，因此采用DDL创建表的时候，可以通过指定Engine，来决定用什么存储引擎来存放表数据。在当前的仓库里，只实现了一个Engine: AOE引擎。在最初的版本里，AOE的意思是Append Only Engine，这是一个Append Only的列存引擎。前面提到MatrixOne目前提供了2种存储的挂载，一个是Key Value，另一个是列存。但是目前，Key Value还没有完成Engine的抽象，它对应的名字叫做TPE(Transaction Processing Engine)，目前正在开发中，因此前述的Catalog是临时方案，待TPE完成后，Catalog将采用TPE实现。未来，不排除TPE对外暴露提供完整SQL能力的可能。AOE本质上是一个Demo存储引擎，它验证了将列存跟 NewSQL架构结合的一系列设计问题，这跟基于Key Value的NewSQL有着很大不同。目前开源的分布式数据库中，只有MatrixOne和Apache Kudu实现了基于列存的NewSQL架构。AOE的一个演进叫做TAE(Transactional Analytical Engine)，这是一个基于列存的HTAP引擎，会提供完整ACID能力及强大的OLAP能力，类似于MySQL与Clickhouse整合的同时带完整分布式事务能力的数据库，目前正在紧张开发中。待完成后，MatrixOne将拥有完整的分布式 HTAP能力，完成Apache Kudu多年一直没有做到的事情：兼顾事务和高性能。

MatrixOne的内核代码全在"matrixone/pkg/ "文件夹下。与上述架构图中对应的模块代码库位置：

• SQL Frontend: frontend/

• SQL Parser: sql/parser

• MPP SQL Execution: sql/

  - 向量化: vectorize/

• Catalog: catalog/

• MatrixCube: MatrixCube目前为单独仓库「https://github.com/matrixorigin/matrixcube」

• Storage Engine: vm/engine，这里vm的意思是虚拟机，这里借用了SQLite的概念，类似整个MatrixOne的runtime，整个存算逻辑包装在vm中，提供对物理资源的抽象，方便进行资源管理。

  - AOE: vm/engine/aoe

  - TPE: vm/engine/tpe

我们在github上有一个完整的good-first-issue列表，相对于MatrixOne这个庞大系统，这些任务相对比较容易上手和实现，期待各位开发者来认领参与~

图 ：MatrixOne good-first-issue列表

「https://github.com/matrixorigin/matrixone/issues/1907」