如何搭建数据决策系统,涉及到的产品架构是怎样的?
搭建一个数据辅助决策系统需要涉及到多个层次的数据模块,层层递进,最终呈现数据,辅助决策的实施。观远数据Galaxy的产品架构主要分为数据源层、数仓层、智能数据分析平台层。
1.数据源层
数据源,一般是指企业的业务系统,如 ERP、CRM、POS、WMS 等,同时也包括一些 SaaS 数据源、Excel/CSV 等文本数据,如企业内部产生的数据与外采的数 据等。将数据从数据源接入 Galaxy,进行处理与融合,从而可实现进一步的可视化分析。
2.数据仓库层
数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。
一般情况下,企业会基于数据源构建数据仓库,数据仓库按照 ODS-DW-DM 进行三层设计。ODS 又称为贴源数据层,一般与业务系统具有类似的表结构,用于 业务数据的同步拷贝。DW 层一般又分作 DWD-DWB-DWS 进行三层设计。基于 DW 再构建 DM(Datamart)层。再将 DM 层作为数据源接入到 BI 平台。同时,数据仓库层也需要有相应的主数据管理、任务调度、元数据管理等功能模块来支 撑整个数仓的建设。
以上是一个相对较为标准的数仓架构。但较不理想的情况是,如果企业信息化建
设程度不够,不一定会有比较完善的数仓建设。这种情况下,Galaxy 可以直接对接业务系统的备库进行数据接入,然后在 Galaxy 内利用 Smart ETL 进行轻型数仓构建。需要注意的是,如果对接业务系统,那么请勿直接对接生产库,而选择使用备库,以免大量数据抽取对企业的业务系统带来压力。
随着企业数据化建设的不断完善,有些企业在数据仓库方面可能已经发展为数据湖或数据中台,拥有更加完善的数据开发、数据管理与数据服务能力。但不管如何,还是会建设数据仓库,而对于上层 BI 系统来说,Galaxy 数据接入的形式没有改变。
3.智能数据分析平台层
智能数据分析平台,是指通过运用统计学、模式识别、机器学习、数据抽象等数据分析工具从数据中发现知识的平台。这一部分是指 Galaxy 产品自身的能力,主要分为:数据接入、数据准备、数据可视化分析、数据应用四个层级。
- 数据接入:数据接入层支持文件数据、数据库数据、API 接口接入、填报接入,以及支持实时数据引擎支持下的混合数据接入。就数据库而言,支持直连、抽取(全量抽取/增量更新)与实时数据接入三种模式,以实现不同数据分析场景下的需求;
- 数据准备:在抽取模式下,数据经过全量抽取、增量抽取、Workbench 推入等各种方式进入到 Galaxy 后,存储在面向分析的大数据列式储存 Delta Lake 内,可通过 Smart ETL 进行数据的再加工,为卡片端的数据分析做进一步的数据清洗、转换、融合和预计算;
- 数据可视化分析:用户通过拖拽的方式进行可视化卡片的创建。针对直连模式、非直连模式与实时数据模式三种不同的数据接入方式,实际上使用了三种不同的数据分析引擎来执行数据的计算;
- 数据应用:主要是由卡片组成的数据可视化应用,包括业务分析看板、敏捷自助分析、固定报表、自定义报表、移动轻应用、数据门户、数据大屏、订阅预警分发等;
- 基础设施:整个 Galaxy 底层有完善的任务调度系统、元数据管理、运维系统、日志系统、权限管理系统等来支撑上层的数据分析应用
观远数据以敏捷化的BI数据产品能力和大量新锐品牌数字化BI运营服务经验为企业提供整体的数字化BI运营规划及一站式智能BI数据分析与BI决策平台的搭建。