为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况,从2022年4月起,墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》,持续传播数据技术知识、努力促进技术创新与行业生态发展,目前已更至第五期。
8月《中国数据库行业分析报告》已正式发布(点击即可跳转,欢迎大家下载查阅),本期报告介绍了墨天轮“中国数据库流行度排行”、国内外新品发布以及投融资的最新情况,从前沿动态窥得数据库行业的火热发展。
当前,我们所面临的数据量正呈指数型增长、数据库所面向的场景也更为丰富,这导致行业对数据实时分析、并行处理的需求日益崛起。本期报告重点聚焦分析型数据库的技术架构与演进趋势,详尽分析MPP、HTAP数据库的架构特点、优势应用与发展前景,并展示了国产数据库在此方面的突破与发展,帮助大家了解前沿趋势、把握热点技术。
一、数据库排行榜及前沿动态
本章节目录👆
- 8月中国数据库流行度排名分析
8月的墨天轮中国数据库流行度排行榜共有236个数据库参与排名,本月榜单前十名的变化可以用“两反超”来概括:openGauss 以12.7分优势反超达梦重回第二。PolarDB 得分较上月上涨5.9%,反超人大金仓位列第六。此外,排行榜第十八名之后,竞争激烈,动向频繁。在第18名-35名这一赛区,涌现了一批新兴力量,开始崭露头角。
8月,排行榜排名规则有所微调,为了更加真实客观地展现各厂商在学术领域和前沿技术上的成就,特定若其产品在VLDB、SIGMOD、ICDE三大顶会上发表论文,则每篇可额外加2分。此外,从2022年7月起,墨天轮新增了俄罗斯数据库流行度排行榜,现收录了32个俄罗斯数据库,竞相争艳。目前ClickHouse、GigaBASE、Postgres Pro分别位于前三甲。
- 海内外数据库行业发展动向
自甲骨文和微软于 2019 年合作推出 Oracle Interconnect for Microsoft Azure 以来,至今已有数百家企业在全球 11 个区域中采用了这个安全的专用互联解决方案。今年,微软和甲骨文继续携手合作,推出面向 Microsoft Azure 的 Oracle 数据库服务以进一步简化 Microsoft Azure 客户的多云体验。
近期,海内外投融资、新品发布消息频频。2022年7月5日,滴普科技完成1.1亿 B+ 轮融资;云原生数据库 SingleStore 已完成新一轮1.16 亿美元融资;Snowplow 也完成了4000万美元B轮融资。更多公司介绍、产品特点及其融资历史大家可以通过报告查看。
7月18日, 矩阵起源自研的新一代超融合异构云原生数据库 MatrixOne 0.5 版本正式发布,推出了同时支持TP和AP能力的HTAP存储引擎TAE。7月12日下午,亚信科技召开线上发布会,正式对外发布了 AntDB 数据库 v7.0,具有融合内存、磁盘双引擎以及将业务逻辑整合到数据库服务端执行的新特性。8月10日, OceanBase 召开2022年度发布会、宣布产品、服务、生态、开发者应用全面升级,正式迈入 4.0 时代,同时发布业内首个单机分布式一体化架构。大家可以通过报告查看详细内容。
二、MPP 并行技术演进
本章节目录👆
- 研究缘起与架构演进介绍
1990 年代以前,日常动态业务处理相关的 OLTP 需求为主,OLAP 并未独立;但此后,随着数据量不断增多、场景逐渐丰富, 分析型需求开始普及,MPP 架构的 OLAP 产品开始出现;到了2010年代,伴随着物联网等技术的发展,企业对实时数据分析的需求提升,且OLAP、大数据技术栈不断分化也给企业实际运维管理多套系统带来挑战, HTAP ( Hybrid Transactional Analytical Processing)混合事务分析处理数据库的概念也应运而生。
近年来,国内传统数据库厂商、 新锐厂商和公有云等各类厂商纷纷加大了对分析型数据库的投入和布局。从墨天轮排行榜不难发现,当前SQL关系型数据库152个,占比66%。其中OLTP数据库107个,占比70%, HTAP数据库为23个,占关系型数据库的15%。随着技术不断转型发展, 国产分析型数据库将迎来新机遇。本月报告则围绕 MPP、HTAP 技术展开了具体的技术分析介绍。
接下来,报告对 Shared Everything、 Shared Disk、 Share Memory 和 Shared Nothing 四种主要的数据库构架设计进行了阐释,同时通过对硬件并行架构的分类(多处理器结构 SMP 、非一致存储访问结构 NUMA 、海量并行处理结构 MPP)及其详细特征的介绍进行了技术溯源展示。
- MPP 数据库基本特征、发展历程与特点
MPP 即大规模并行处理结构,由多台SMP服务器通过一定的节点互联网络进行连接,协同工作,完成相同的任务。从用户的角度来看是一个服务器系统, 每个节点只访问自己的资源, 是一种完全无共享( Shared Nothing) 结构。MPP 数据库是针对分析工作负载进行了优化的数据库,以聚合和处理大型数据集,具有强大的高吞吐、 低时延计算能力。
报告对 MPP 数据库架构的定义、特点、典型产品、发展历程以及优势和瓶颈作了详细介绍,此处摘选几张报告截图进行展示,更多内容可以查阅报告全文。
- 未来发展趋势与代际演进历程
虽然传统的数据仓库、 数据湖能满足当前的需求, 但是随着数据量指数型增长,数据湖、智能湖仓已然走上舞台,或许下一代智能湖仓能够帮助国产数据库迅速抢占分析型数据库市场,实现弯道超车。本章节末,则对MPP架构到数据湖架构、智能湖仓架构的演进及其具体的架构特点进行了介绍,同时对当前四代分析型数据库架构的应用场景、数据类型、量级、指标要求及存储资源做了展开分析。
同时,为了帮助大家更好地掌握 MPP 架构的应用与发展最新现状,报告选取了 Teradata、Netezza、Greenplum、Vertica 这四款基于 MPP 架构产生的典型产品进行了介绍,通过对其架构图的展示与特性、优势的分析,展示 MPP 架构产品的应用场景与发展情况,欢迎大家下载报告浏览。
三、HTAP 融合架构解析
本章节目录👆
- 研究缘起与架构演进介绍
随着全球进入数字化时代,数字化技术渗透到各行各业,同时产生海量数据,数据的存储和应用成为企业决策的重要依据,业务需要实时根据TP的落地数据进行C端快速反馈,比如实时风控、交易历史明细查询、欺诈监测、千人千面等等,传统的数仓ETL链路长、延迟大,很难满足业务快速多变的诉求,业务场景的变化也掀起了一股HTAP浪潮。这部分内容,报告则展示了 HTAP 诞生的背景与历史沿革,供大家了解 HTAP 技术的演进发展。
HTAP 特性优势概述与存储架构、核心技术介绍
混合事务 /分析处理( (Hybrid Transactional/Analytical Processing)是 Gartner 报告在 2014 年提出的一种应用架构, 它利用内存计算技术在同一个内存数据存储上实现并发分析和事务处理。这种架构应该消除对提取-转换-加载 (ETL) 流程的需求, 从而加速数据分析并带来巨大的业务创新。本章节对 HTAP 的优势、特性、应用场景进行了分析展示。
同时介绍了主行存储+内存中列存储、主列存储+增量行存储、分布式列存储+磁盘行存储、分布式行存储+列存储副本这四种存储架构,以及事务处理、分析处理、数据同步、查询优化、资源调度五种关键技术,篇幅所限此处仅为大家展示其中几张,大家可以下载报告获取更多内容。
此外,也为大家介绍了市场上最早的分布式HTAP数据库之一——SingleStore (S2DB,以前称为 MemSQL),以及谷歌针对内部的OLTP数据库( F1,spanner等)增加 HTAP 服务实现的分布式系统——Lighting 的相关情况,感兴趣的报告可以查阅报告了解。
报告的最后选取了 SingleStore、TiDB、OceanBase、PolarDB、OushuDB、Apache Doris、MySQL、ClickHouse 等数据库相关典型产品进行了介绍,欢迎各位朋友查阅报告了解其发展、优势。
本文仅对8月《中国数据库行业分析报告》的部分内容进行了摘录、整理,更多完整、详细内容大家可以下载报告全文了解,也欢迎各位数据行业同道交流、讨论、建言献策,我们一同见证、共同助力中国数据库产业的发展壮大!
报告全文下载地址:https://www.modb.pro/doc/74438
【相关阅读】
- 墨天轮中国数据库流行度排行
- 国产数据库大事记-月度合辑
- 国产数据库排行榜-月度解读
- 《中国数据库行业分析报告》往期合辑
查看更多精彩内容尽在墨天轮社区,围绕数据人的学习成长提供一站式的全面服务,打造集新闻资讯、在线问答、活动直播、在线课程、文档阅览、资源下载、知识分享及在线运维为一体的统一平台,持续促进数据领域的知识传播和技术创新。
关注官方公众号: 墨天轮、 墨天轮平台、墨天轮成长营、数据库国产化 、数据库资讯