数据技术大融合，HSTAP数据库有多少想象空间？

“在继分布式、NoSQL/NewSQL之后，国内数据库技术界的当红炸子鸡，非云原生、HTAP莫属。”去年DTCC2021中国数据库技术大会后，一位专家如此写道。

HTAP是TP与AP的融合，希望用一套系统，解决用户的TP和AP需求，这一数据库的融合趋势，不限于中国，在全球都是一样的来势汹汹。比如，2022年 5月，Google Cloud 发布了主打HTAP的云端数据库AlloyDB, 6月，Snowflake发布了行存储引擎Unistore，正式进军HTAP。此前，包括MySQL发布Heatwave，增强分析能力，也是加入了HTAP大战。

Gartner分析师甚至指出，HTAP已经成为新一代数据库的入场筹码，HTAP能力成为数据库必备选项。信通院在7月中旬也启动了首批“可信数据库”-HTAP数据库产品评测……

2014年Gartner对HTAP数据库给出了明确定义，即需要同时支持OLTP和OLAP场景，基于创新的计算存储框架，在同一份数据上保证事务的同时支持实时分析，省去费时的ETL过程。也就是说，支持混合负载的数据库能够避免传统架构中在线与离线数据库之间大量的数据交互，同时也能够针对最新的业务数据进行实时统计分析。

HTAP火热的背后是需求推动，越来越多的实时分析场景出现，比如，金融业中对实时性要求较高的风控、实时账单、实时促销等业务场景，以及新一代Web3.0、NFT、区块链等对实时数据敏感的领域。在原来的架构下只能支持T+1或者T+N分析，已经不能满足需求，而省去ETL的HTAP数据库可以实现T+0的实时分析。

通常来讲，实现HTAP可以分为两大类，第一大类是将现有的 TP 与 AP 包装，通过一些中间件的方式将其连接起来再做封装，以类似中台的方式封装实现。比如，TP用了MySQL，AP用某数据仓库或者数据湖，中间用Flink串起来，且对用户透明，包装成一个相对比较统一的管理界面。实现起来容易，但是组件多，成本高。第二大类，融合架构，抛弃现有的 TP 与 AP 独立架构，从底层存储开始就将 TP 与 AP 的引擎融合起来，形成一套系统。为了避免在线实时读写与批处理作业之间的资源干扰，HTAP混合负载型数据库通常使用读写分离或内存处理技术实现。一般来说，分布式数据库的多副本架构天然支持读写分离技术，而基于传统架构的数据库往往采用内存处理技术进行实现。不过，融合架构下的HTAP数据库也是乱花渐欲迷人眼。

矩阵起源CTO张颖峰认为，在数字化转型浪潮中，数据库将扮演比以往更为重要的角色，在数据技术融合的大趋势下，现在的HTAP还有不足，矩阵起源提出了超融合HSTAP数据库的定位，多出来的“S”又是什么？

“为什么要加S呢？是指用户使用TP和AP时的数据结构和能力要求不一定相同，一定要有东西在这两者之间做桥梁。”张颖峰介绍，在挖掘数据价值过程中，数据库是企业数据资产或者数据平台的组成基础，如在一个数据中台中，用户需要基于OLTP(通常来自业务中台)的表做ETL工作，Join成宽表保存到OLAP用来做交互式分析。为什么要有宽表呢？这有两方面的原因：其一是分析师建模方便，其二是增加许多维度字段，提升查询效率。在这种场景下，以Flink为核心的数据流处理，成为了串起上下游的核心引擎，而其中的典型操作，就是Stream Join，把多个表实时连接成一张表保存到目标数据库，进一步资产化。单纯的HTAP，通常只能用于实时分析，无法满足这种通用场景的要求。

矩阵起源所提的HSTAP中的“S”指的是串联AP和TP的Streaming能力，即在HTAP数据库内部实现了数据库内置流处理能力。通过一种创新的架构实践极简理念，把数据库的复杂度留给产品的研发阶段，而把简单、易用、好用的最终体验带给用户。

“我们定义的HSTAP是指，在这个平台里面，无论是TP还是AP负载，用户都可以随心所欲地去创建各种表，也可以随心所欲用一个流，用类似于流的语法，把各种表连起来。”张颖峰强调。比如用户希望对订单明细表进行分析，需要Stream Join成一张宽表。那么，随着有订单明细表的数据更新，宽表也将自动更新，但是不用维护该更新机制。即把用户的ETL工作内置到数据库当中，这样就让一个数据库同时具备AP、TP和S（流）的能力。

在矩阵起源团队看来，当下的数据栈，包括数据库、数据仓库、数据湖，这些本身就不应该如此割裂。之所以割裂，这里面有技术的因素，也有历史因素，同时具备TP、AP、流三者能力的HSTAP会帮助客户彻底打破数据孤岛问题，成为企业将来的智能化核心数据基础设施。“HTAP、流批一体、湖仓一体，这些新的技术趋势都可以包含在HSTAP的范畴内。”张颖峰指出。

有人对此会有疑问，HTAP还没有做好，去做HSTAP不是天方夜谭、痴人说梦吗？

矩阵起源Global CTO田丰指出，实现一个HSTAP有两方面的挑战，一是架构方面的取舍。使用一款开源和成熟的数据库来扩展，会比较稳定而且容易快速推出产品，但有非常沉重的历史包袱，无法应对未来新型应用和基础设施的需要，因此MO（MatrixOne缩写）决定自己从头开始研发。 二是如何实现不同负载的资源隔离以及高效的资源分配。在这一点上，MO创新性的提出了储存、计算和事务分层解耦的架构，使得资源分配可以随着各种负载的变化高效分配，并可以做到单种负载的独立扩展。

▲MatrixOne愿景架构图

去年成立的矩阵起源，其核心创始团队成员都是数据库领域的资深人士，公司创始人&CEO 王龙，曾在腾讯云担任副总裁，对数据库有着独特的见解和洞察。Global CTO田丰博士师从数据库元老David DeWitt，多篇论文入选数据库顶会SIGMOD、VLDB。公司CTO张颖峰经历过互联网大厂，并在大型企业担任过技术负责人，深耕后端分布式存储等技术，既懂甲方也懂乙方。去年该公司接连获得两轮融资，获得资本的青睐。

从信息化到数字化，几十年来，数据技术栈不断丰富，从数据库、数据仓库、数据湖、湖仓一体，到流处理引擎Flink、批处理引擎Kafka等，由于技术以及历史发展等多种原因，很多企业都以搭积木的形式积累了丰富的IT资产。如今数据技术走向了大融合，比如湖仓一体、HTAP，以及矩阵起源提出的HSTAP。很像十年前，iPhone智能手机的出现融合了通信、音频MP3、视频MP4、相机等。如今，MP3已经消失，MP4演化为iPad等继续活跃，便捷的智能手机替代了大部分专业相机和MP3的使用场景。

数据技术的超融合是否会像智能手机一样发生？

田丰认为，像智能手机一样，未来企业数据平台的融合是一个趋势，现在一个企业可能有MySQL、SQLite、Oracle、Spark、Flink、Clickhouse等多种数据库或者数据处理技术，而在未来一个公司所有数据或者大部分数据都会集中在一个整合的、简单易用、易运维、高性价比的数据平台上，最大程度保证数据的安全和可靠，同时降低应用开发和管理的难度以及复杂度。不过由于过去数十年很多大企业已经积累了十几种甚至更多的IT系统，整合的过程是漫长和曲折的。矩阵起源希望并相信MatrixOne这样的超融合数据库会是一个理想的载体。

相比于消费级的智能手机，作为数字基础设施的数据库，其替换难度和成本都太高。而且没有任何一套架构或者一套系统能够打遍天下，企业也不希望系统过重造成供应商锁定。田丰强调，MatrixOne并不是封闭的，而是会积极融入到开放的数据技术生态中，比如企业已经部署了Flink计算引擎，MatrixOne会与之适配。但企业新建一个业务系统，MatrixOne会是好的选择。正是因为秉持开源开放的原则，MatrixOne从一开始便选择了开源。

一个好的数据库是用出来的，数据技术融合趋势不可挡，HSTAP这个新理念未来会在更多实际场景中验证、发展和成长。