全球知名的科技市场研究机构 IDC 主办的“2022 IDC 中国数字金融论坛暨颁奖典礼”在北京隆重举行。Kyligence 服务的重庆银行“大数据智能分析平台项目”凭借在数据模型和智能创新方面的独创性贡献,荣获“2022 IDC 中国金融行业技术应用场景 FinTech 突破奖。
“ 重庆银行引入 Kyligence Enterprise 智能分析平台,通过与多维分析模型的有机融合,实现了数据分析全流程一体化、智能化和敏捷化!解决看数、用数、管数难题。”
1. 为什么选择 Kyligence?
近年来,重庆银行业务快速发展,数字化转型不断深入,行内数据量迅速增长,数据复杂度持续加大。由于历史数据量较大,业务关联数据表较多,数据分析的查询响应难以满足业务部门的需求。
在此背景下,重庆银行选择引入 Kyligence Enterprise 智能多维数据库产品连接悟空门户和Smartbi,针对原有的数据分析功能进行整合,建设了统一数据智能分析平台,助力数据开发、管理、分析效率的提升。
2. 统一数据智能分析平台的项目架构
重庆银行此项目以大数据平台为基础,提供多数据源的对接,以 Kyligence 数据预处理 OLAP 技术产品体系为核心,实现数据模型化管理,数据分析的预处理,高并发、低延迟多维数据分析,多通道数据访问等功能。
该项目建设部署在“水土”数据分析环境,作为大数据平台上的计算及应用模块,实现数据自助智能分析功能,包括数据源层、数据模型层和数据应用层三个层次,其具体架构如下:
数据源层
提供多数据源对接能力,支持按需扩展数据源,实现数据统一。本项目对接重庆银行“水土”数据分析环境,以独立的集群支持数据分析的数据需求。
数据模型层
数据模型层主要负责数据加工,把原始数据如客户信息、合同信息、交易流水数据,加工成面向主题分析的业务模型;整个实施过程分成源数据分析、MAPPING、ETL、数据标准化、测试等;最终形成的主题模型层,如个金部主题、公司业务主题、风险主题等,用于门户系统的分析、挖掘工具的数据支撑。
- 提供可视化数据模型设计和管理能力,实现数据模型的统一;
- 提供数据立方体预计算能力,实现高并发、低延迟的多维数据分析;
- 提供 ODBC/JDBC/MDX/RestAPI 多种数据访问能力,实现多维查询的统一;
- 提供 BI 可视化、自助分析、WEB/APP 数据应用、数据智能化 Python 等多种通道对接能力,实现用数统一。
数据应用层
通过“悟空”门户,该平台将 Smartbi、Excel、Python 等应用提供给管理决策者、普通业务用户、数据科学家等不同数据消费者使用,其看到的数据模型、获取的数据均保持一致。该平台实现了报表可视化、多维分析、即席查询、自助分析等基础功能,以及数据挖掘算法、机器学习等高级功能数据层面的完全统一。
3. 创新方案与应用
通过预构建数据立方体 Cube、统一数据业务语义管理,Kyligence 为管理决策者、普通业务用户、数据科学家提供了统一的分析平台,实现了对数据模型的管理。基于这些模型进行语义定义,该平台将数据模型转换为业务友好的语言,赋予数据业务价值,满足业务人员在数据分析方面快速高效、简单易用等需求。
3.1 新增数据分析工具,提升数据分析性能
Kyligence Enterprise 智能多维数据库通过预先构建多索引的数据立方体,将计算结果存储在多个维度值所映射的空间中。业务人员进行查询和数据分析时,通过对 Cube 的查询及简单处理即可快速获取结果,实现自助的数据洞察和有效的业务决策。
3.2 大数据 OLAP 预处理分析技术方案
大数据 OLAP 预处理分析技术是对多维分析可能用到的维度和度量进行预计算,将计算好的结果保存成 Cube,供查询时直接访问,把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,这保障了 OLAP 平台能够拥有优秀的查询响应和高并发能力。
3.3 多维数据分析与建模服务
多维数据分析与建模服务是本项目关键核心模块,基于预计算多维分析技术,Kyligence 提供了多数据源接入,数据模型设计和管理,数据立方体预计算构建,亚秒级多维实时分析查询,企业级数据安全等功能,满足了重庆银行在易用、性能、稳定、安全、兼容、高级分析等方面的要求,提供 PB 级数据集上的高并发低延迟查询。
重庆银行坚持把自主创新放在科技赋能和数字转型的关键位置,从数字化、智能化等多维度推动全行高质量创新发展,以科技创新为关键变量,实现金融发展的最大增量。未来,Kyligence 将继续携手重庆银行,以数据赋能业务,助力数字化转型。
关于 Kyligence
上海跬智信息技术有限公司 (Kyligence) 由 Apache Kylin 创始团队于 2016 年创办,致力于打造下一代企业级智能多维数据库,为企业简化数据湖上的多维数据分析(OLAP)。通过 AI 增强的高性能分析引擎、统一 SQL 服务接口、业务语义层等功能,Kyligence 提供成本最优的多维数据分析能力,支撑企业商务智能(BI)分析、灵活查询和互联网级数据服务等多类应用场景,助力企业构建更可靠的指标体系,释放业务自助分析潜力。
Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售等行业客户,包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、Costa、UBS、MetLife 等全球知名企业,并和微软、亚马逊、华为、Tableau 等技术领导者达成全球合作伙伴关系。目前公司已经在上海、北京、深圳、厦门、武汉及美国的硅谷、纽约、西雅图等开设分公司或办事机构。