近日,由中国信息通信研究院和中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)共同组织的 2023 大数据“星河(Galaxy)”案例征集活动评选结果现已公示。案例征集自9月启动以来,受到了业界广泛关注和踊跃报名。经过形式审查和专家评审,矩阵起源与深圳智慧城市大数据中心有限公司联合申报的《基于超融合数据库的一站式交通大数据平台》在 706 份申报案例中成功入选数据库优秀案例。 案例介绍 1 案例名称 基于超融合数据库的一站式交通大数据平台 2 项目背景 在智慧交通应用中面临着复杂的数据处理需求,即:人、车辆、道路和环境等各个方面都会产生大量异构数据,交通管理人员需要实时分析和决策这些数据,以应对各种交通事件。深智城大数据公司在承接了多个交通领域的大数据项目之后,形成了一套基于传统数据库与 Hadoop 架构的大数据解决方案。但在实际使用中发现: 在交通场景中有较大缺陷:无法满足超大规模高频数据写入、实时数据分析、数据实时更新、数据一致性保证和异构数据兼容等业务需求。 在管理复杂度上存在较大问题:Hadoop 技术栈组件分散、运维复杂,对于快速交付和长期的运维都造成了很大的挑战。 对于新兴的云原生基础设施(如 K8s)的兼容性不够高:无法充分利用底层硬件资源,管理维护碎片化。 3 项目过程 矩阵起源历时 10 个月,帮助其将存量的百TB数据离线数据及数十 TB 的实时数据分别从 Hadoop 及 ClickHouse 中迁移到 MatrixOne 中,针对业务需求的实时分析链路进行专项性能优化;并针对一些半结构化和非结构化的数据定制了数据类型及 UDF 函数。最终,成功使得深圳智慧城市大数据中心有限公司减少 80% 数据组件个数,并降低 50% 运维成本。此案例是交通行业首个采用超融合数据库的大数据业务项目,也是首个原生使用 K8s 将数据层和业务层统一纳管并完全容器化的项目。 案例价值 此次成功入选大数据“星河”案例,证明了矩阵起源团队在项目中展现出了卓越的专业技能和技术创新能力,为深圳智慧城市大数据中心有限公司带来了显著的效益,同时也为整个交通行业提供了一种全新的数据处理思路和解决方案。该案例为行业带来了深远的影响,为大数据技术在交通行业的广泛应用和推动行业进步贡献了重要力量。
关于矩阵起源 矩阵起源是是业界领先的大数据及数据库管理系统(DBMS)技术和服务提供商,主要团队成员来自国内外知名科技公司,具备强大的创新能力。矩阵起源的目标是打造并使用世界一流的数据基础设施技术和产品,协助企业实现从信息化、数字化到智能化的转型和升级。矩阵起源在云计算、数据库、大数据及人工智能相关领域拥有核心竞争力,具备广阔的行业和国际视野以及前瞻性,能够快速有效的将先进技术在不同领域实用化并规模化扩展。 关于MatrixOne 矩阵起源的核心产品MatrixOne,是基于云原生技术,可同时在公有云和私有云部署的多模数据库。该产品使用存算分离、读写分离、冷热分离的原创技术架构,能够在一套存储和计算系统下同时支持事务、分析、流、时序和向量等多种负载,并能够实时、按需的隔离或共享存储和计算资源。MatrixOne能够帮助用户大幅简化日益复杂的IT架构,提供极简、极灵活、高性价比和高性能的数据服务。 关键词:超融合数据库、多模数据库、云原生数据库、国产数据库。 关于深圳智慧城市大数据中心有限公司 深圳市智慧城市大数据中心有限公司是深圳市智慧城市科技发展集团有限公司全资子公司,致力于提供基于高科技与高质量的富有高附加值的信息系统和服务,成为能为客户的企业价值创造做出贡献的解决方案服务企业。 大数据公司目前主要业务是建设运营大数据中心、国资国企云和发展鲲鹏产业、以及推动数据立法工作。 大数据公司致力于提供基于高科技与高质量的富有高附加值的信息系统和服务,成为能为客户的企业价值创造做出贡献的解决方案服务企业,打造生态集群成为新型城市智慧平台,汇聚各方资源实现全产业链发展,成为定制化多云管理服务提供商。