波士顿咨询陈果:BI应该是能让业务人员应用的工具
说到商业智能(BI),很多人会立马想起“报表”“可视化”,但其实这些关键词仅仅是BI的一个部分。一个成功的BI,应该是一个辅助决策的智能系统,它的核心是帮助企业汇集数据、用好数据,让业务人员、决策者、管理者能够随时随地从数据中获取关键信息,了解业务变化,基于数据采取决策,最终提高决策水平。
在给各种企业提供BI平台的这些年,观远数据发现在企业内部,老板有老板的需求,业务部门有业务部门的需求,而技术团队也各有自己的诉求。尤其是对于大型企业、处于规模化发展阶段的企业来说,业务条线更加复杂的同时,需求也就更加复杂。
碎片化的需求就像一幅拼图。如果企业在建设BI,或者选择BI平台的时候,不能从宏观的视角,高瞻远瞩地了解这幅拼图的框架、边界和最后的样子,那么就很难用一块块碎片拼起这幅图。
这就意味着,BI建设需要一个成体系的思路和框架。也正是因为这些挑战和问题存在,观远数据于日前发布了业内首部《企业级BI平台白皮书》,深入规模型企业数字化转型,探寻让业务真正广泛、高频、活跃用起来的BI平台企业级能力建设方法论。
作为首位分享嘉宾,波士顿咨询董事总经理陈果是业内非常知名的数字化专家,所供职的波士顿咨询(BCG)对于“企业商业智能的能力”也有着一套清晰的评估方法。陈果认为:商业智能是企业的一种运营能力,必须持之以恒地打造。
以下为波士顿咨询董事总经理陈果的分享实录:
首先感谢观远数据邀请我来跟大家分享关于BI的看法。这是我第三次出席观远数据的活动,上次是在去年的智能决策峰会上,我跟大家分享的是企业怎样去建立BI的组织。我个人非常赞同且欣赏观远数据BI产品的理念,即BI赋能要“让业务用起来”。
“BI”这个词听起来很技术,对企业来说也好像是IT部门要做的事,而且确实很多公司是把BI当做一个信息系统来建设。但事实上,我们认为BI应该是一种企业的能力。
BI(Business Intelligence)意为商业智能,但I(Intelligence)所代表的这个词,我个人觉得还不是那么准确,更加准确的词应该叫洞察(Insight),即商业洞察(Business Insight)。它在软件圈里的应用领域更多,比如洞察软件的性能等等。
BI其实是用数据分析的方法,来发现业务中的事实或真相,这是BI本身的含义。所以,BI应该是能让业务人员应用的工具。
今天我要给大家分享的,是BCG针对“企业建立BI数据分析能力应从何处入手”这一问题的研究结果。
第一阶段:分析洞察
即企业利用新技术,替换或建立企业级的数据仓库,包括现在流行叫的数据湖或者一体化等等。但大家不用关心这些技术术语的词语表述,简单来说就是将企业相关的数据,例如消费品企业内部会员系统、ERP系统、经销商系统、电商系统等等不同数据源中的数据整合起来。
整合的方式,不论是用传统意义上的数仓,还是今天比较流行的所谓数据湖或湖仓一体化平台等等,甚至是现在更新的一个术语——数据编织,总之就是将数据收集起来,然后通过数据分析能力来支持业务。这是我们用数据产生业务洞察的第一阶段。
第二阶段:资产价值
就是我们不仅能够在需要数据的时候取用数据,更重要的是数据本身能够变成产品,能够产生变现能力,能够发挥数据的资产价值。
近几年,这个话题在国家层面都非常重视,如果大家有关心我们国家的一些政策,就会发现在党的十九届四中全会首次将数据作为新的生产要素之后,相关话题甚至写进了国务院印发《“十四五”数字经济发展规划》中,提出“加快数据要素市场化流通”这一点。国家层面已经认可了数据是一种社会生产要素,跟人力、土地一样,是一种要素资产。很多地方也已经开始了这方面的探索,比如上海数据交易所。很多企业也在将数据做成数据产品,进行数据交易和变现。
第三阶段:转型重塑
在第二阶段,企业要有自己分析的能力,才能产生数据的商业价值,但第三阶段,数据要成为推动企业商业模式转型的一个手段。例如我们看到很多互联网公司,谷歌、阿里、美团、滴滴等等互联网巨头,它们的实质其实就是用数据来变现的公司,是用数据去重新组合的商业模式。
今天我们在这里所谈的BI,对企业来讲,基本上是指第一到第二阶段的能力。所以,企业要打造数据分析能力,才能够实现企业的业务转型。
那么,基于这样一个大背景,企业要如何才能管好数据、用好数据?
BCG推出了一个企业BI能力评估框架,这其实是一套问卷,但对于企业思考如何构建企业BI能力是非常好的参考模型。
今天我想重点给大家介绍一下我们在数据分析和应用这一层,即商业智能的成熟度评估模型。
我们究竟要从哪些角度来思考一个企业的BI水平、发展的成熟度?
我们给到了这样一个企业BI转型的旅程图。我非常同意观远数据的一个观点,即BI不仅仅是一个报表或仪表盘、图表等各种各样数据可视化的方式。
但现状可能并不理想,例如我观察到市场上“数据中台”这个词,至少已经成为热词两年以上,2018年、2019年时就开始在市场涌现。很多企业也在这方面投入很大,用巨大的投入去建数据中台,数据确实是汇聚起来了,因为数据质量不好,也花了很多时间去对数据做清洗。但即便这么大量的投入,最后的产出可能也就十几张报表。我已经见到不下十个大中型企业花了上千万的投入做数据中台,最后产出十几个报表。这让企业觉得整个数据分析的投入产出非常不成比例。
那我们要如何改变这种现状呢?其实对于企业来讲,是应该要建立企业数据分析的场景蓝图。数据分析的应用不仅仅是报表,它其实是要看我们怎样发掘数据本身的商业价值,要去找到数据的应用场景,这是一个非常长远的过程。企业未来要走到这个旅程中间,去实现一个非常宏伟的愿景的话,就要做好起点。
所以BCG的这个问卷,也是对企业BI转型起点的一个评估。企业要和国际上这些数据驱动的先进的标杆企业相比,去看自身的差距、改进点在哪里。找到差距、找到抓手,才能真正让企业在数据方面的投入,发挥真正的价值。
过去以数据可视化为代表的分析方式,传统意义上被称为BI。BI通常又有两种,一种是所谓的描述性分析,即对“过去发生了什么事情”通常以报表的方式进行展现。另一种是诊断性分析,即根据过去历史发生的事件的数据分析,找到内在原因。例如利润的提升是因为成本的降低,还是因为促销的有效性等,我们要通过数据分析找到里面的原因,是对过去历史数据的分析或对历史业务真相的洞察。
高级分析则通常是面向未来的,也有两种方式。一种是预测性分析,另一种是规范性分析。
预测性分析通过一些统计学的方法找到数据中的规律,通过对历史规律的仿真模拟,来验证预测模型的可靠性,并通过可靠的预测模型来预测未来将发生什么。常见的预测场景有通过时间序列模型,对销量、库存、客流等进行预测。消费品企业里的推荐引擎也是一个典型的预测,根据已购用户的行为预测消费者发生某个行为时,可能会购买某商品并进行推荐,这就是预测性的推荐引擎。金融行业里的风控模型也是预测性的,当用户信用卡出现异常刷卡,即代表可能出现风险。
比预测性分析更为高级的,是规范性分析,即根据企业在未来可能出现的场景,通过一些运筹学的算法,根据已有的优化条件,例如收入最优、成本最优、交付周期最优等,从多个优化方案中,以基于约束的规划方式,找到最适合自身、能够达到优化目的的一个方案。
尽管过去将预测性分析和规范性分析称为高级分析,描述型分析和诊断性分析称作BI(商业智能),但当前,随着人工智能、云服务等技术越来越通用化,我们在使用高级分析的时候,从算法、模型到分析,较之过去都越来越易用、越来越贴近业务。所以,今天我们说BI和高级分析(AI范畴)的分界点也越来越模糊,不再有严格区分。
这也印证了观远数据提到的我们今天所谈的商业智能,不仅仅是报表图标,而是智能分析,这也已经被划入到商业智能的范畴。
首先我们可以看到企业建立数据分析体系时常见的一个组织环境。今天直播的另一位嘉宾来自宁波银行,我也跟很多银行的技术部门有非常多的交流,很多技术部门都会有一个困惑,就是数据分析究竟是不是属于技术部门的责任。
我见过的银行里,每个银行业务部门用数的能力是参差不齐的,有些银行的用数能力水平很高,有些银行或者银行内部某些部门数据能力相对来说就较弱。
而关于用数,首先要关注的是企业整个数据平台能否提供标准的指标,或数据清洗之后,能否提供高质量的面向数据分析的准备。到了前端,则是要关注是否能通过类似观远数据的这些数据分析工具,更好地去消费数据服务。我们会看到从数据的生成到数据的消费的整个管道,分成所谓的后中前台。观远数据主要提供的是前台的应用,是已预先对数据进行处理的标准化的数据分析产品,可以让数据分析师等角色快速去使用。
所以,数据分析一方面要关注的是数据源。这些数据源包括了我们前面谈到的一些相对来说比较规范的数据,例如ERP、CRM等核心系统的数据;也会包含一些质量不太高、不太规范的数据,例如电商平台的数据;甚至也会有一些外部的数据,例如社交媒体数据。观远数据有很多客户是做消费品的,消费品的销售预测就可能会用到社会统计学,数据源中就可能会有类似自然气象等外部数据源。
从数据源到数据消费之间,整个数据管理的过程或数据通道,有些人会把它叫做数据中台,最近还有一个流行的词,我个人比较欣赏,叫做“数据编织”。
那么,从“数据中台”到“数据编织”,最大的区别在哪里呢?
数据中台,它非常强调要有个“台”,要先将数据集中到一个平台之上,再进行处理,这是所谓“数据中台”的概念。“数据编织”的概念则本身并不强调一定要将数据集中化,而是通过一些虚拟化的方式,将数据变成资产,从物理上来讲是将数据放在不同的地方,但从逻辑上来讲依然是将数据集中管理,这是所谓“数据编织”的概念。
但不管是数据中台也好,还是数据编织也好,核心处其实涉及到了不同的角色,包括通常叫做信息管家的数据标准管理方,主要管理数据源的数据标准;数据工程师,用技术方法从数据源中提取数据做数据产品;数据科学家,做高级分析模型,在数据平台之上,让前端数据消费时能够调用;数据分析师,对数据产品做预处理;数据资产的高管,对企业数据资产进行盘点、分门别类、估值、计价、交易等等商业行为。
以上种种角色,如果要将商业智能应用起来,支持企业的数据分析,就会涉及到一些常见的挑战。例如:
第一,数据治理。从数据源头到数据应用之间既然涉及到这么多角色,每个人承担什么样的职责;
第二,数据质量。怎样保证数据的可信度,保证数据的可得;
第三,数据技术栈。数据从源头到使用,中间通常涉及到很多技术组件,怎样去管理这些技术组件;
第四,数据服务标准化。要将数据变成数据服务来供数据消费,就对数据服务产品本身数据格式的规范化、标准化有要求;
第五,业务分析/公民分析。这也是我们和观远数据一直在提倡的“让业务用起来”,让业务部门先用起来,即业务分析怎么样真正能够实现所谓的“公民分析”。
“公民分析”是最近很流行的一个词,指的是非技术人员也能够运用分析工具来用数据做分析,以及另一个当下的流行词“低代码”所指意义也与之相近。对业务人员来讲,他不能在做数据整理的时候还像技术一样去写Python、SQL等代码,他需要的是能够简单采用拖拉拽的方式,就能够实现数据的获取、表格或图表的编辑,甚至包括人工智能算法的叠加之后能实现数据分析的结果,这就是所谓的“公民分析”。
以上是数据分析的大背景,那么下面,就是BCG对于企业BI能力分析的评估框架。这个评估框架分为三个方面,涵盖了一百几十个问题,包含选择题、简答题和详细问答题等不同的问卷方式,这些问题总体分为三类:
第一类是宏观问题,对企业总体的评估,例如企业认为数据能否给企业业务带来价值等相对宏观的问题;
第二类是从业务视角上来看,包括对于数据分析的愿景企业领导是不是足够的支持,是否有比较明确的分析指标,指标本身的设计的有效性,数据的可信度、数据质量;
第三类是从技术视角上看,包括企业BI平台从前端的可视化到数据分析工具、数据集成工具,到数据的存储(数据库或数据平台)、存放(数据库或数据分析工具是在云上还是本地)。以及开发工具是否足够完善,对技术的各个角色和技能的拉通是否到位,数据治理体系是否到位。
通过这三个大方面下若干个小方面的研究,共同构成了BCG对企业BI能力评估的问卷。通过这个问卷,BCG会给予企业一个BI能力的评估报告,并从八个方面让企业总体认识到企业BI能力所处的水平。
第一,总体调研结果。从业务和技术两个角度,以全球水平4分为满分,进行打分;
第二,业务团队的BI能力。即从前面提到的业务视角的五个点,通过红绿黄不同的颜色就成熟度进行评估表示;
第三,数据和技术能力。从技术体系上通过红绿黄不同的颜色就成熟度进行评估表示;
第四,预算和成本投入。BCG会与已经参与调研的全球几百家企业的行业平均水平来进行对比,看看企业在BI方面的投入是否足够。
第五,人员。也就是前面我们介绍过的相关的五种角色,尤其是在数据消费方,不同业务部门有多少数据消费者;
第六,现有报表和驾驶舱。BCG会进行一个统计,目前企业BI中存在多少报表或者数据的用例;
第七,数据质量和可信度。以4分为满分,对各个数据域的数据可信度进行评估。顺便一提,BCG对企业数据资产有一个五级分类的体系,五级分类中最高的一类即所谓“数据域”,通常是营销、财务、人力资源等等,被称作企业级的数据域。按照数据域来看,从数据的可信度、可得度、新鲜度、准确度、及时性等等,评估数据质量。
第八,应用速度。即数据应用的交付速度,无论是一个新的数据源产生后,能够多快被利用,或者一个新的报表或图表需求提出后,多久能够交付。从数据应用的交付速度来看BI应用的成熟度。
BCG就是从这八个维度来评估企业BI能力的成熟度。
业务团队的BI能力
从业务角度来看,首先是强调自助服务的能力。这点跟观远数据所说的“让业务用起来”非常匹配,即我们非常强调无论是数据的可得性,还是数据的使用,成熟度越高的企业,越能够摆脱过去“做报表是业务部门提需求,IT部门来开发”这种模式。BI用得好,业务部门自己就能够用起来,不需要IT部门去开发。
但IT部门也仍然很重要,是因为它要提供好的数据服务。要把数据资产分门别类,要记录良好,要让数据容易找到,例如使用数据目录。所以我们会看到数据中台,国内有些会叫它数据资产管理,数据中台中也会叫它所谓的“数据编目”,怎样将数据资产从数据源里拉到数仓里,进入数仓后又用例如元数据分析的方法,知道我们有什么数据编目。现在因为数据源性质不一样,甚至会用一些先进的工具,例如人工智能的方法来对数据源进行自动编目。对此通常也叫做Data Intelligence,即所谓数据智能,指的就是怎样去洞察数据资产,看到我有什么数据资产,它是按照什么方式进行编目。
总之,从业务上来讲,就是对数据管理得越好,数据质量越好,分析的效率就越高,对业务价值的贡献就越大。
另外一些实践,就要讲到让业务人员先用起来,这里同时更表示一定要让领导先用起来。对于BI能力很强的企业来说,它们有一个很重要的特征,就是领导亲自在参与BI驱动业务决策这件事。我们会看到很多BI在领导级的应用,例如典型的BI在企业预算管理场景的应用,以及营销费用管理场景的应用。
以上是我们看到的一些业务团队应用BI时的最佳实践,另一方面就是技术。
数据和技术能力
从技术角度来看最佳实践,主要涉及到八个方面,包括可视化、分析、集成、存储、存放、工具、角色和技能、数据治理。
可视化方面,传统的可视化相对来讲是比较静态的,例如格式化的报表,但今天比较先进的BI应用,可视化是更加支持动态特性和机器学习模型集成的分析。例如我们在做数据分析的时候,分析条件可以通过自然语言输入,就像我们在百度里搜索网页的时候只用输入关键词,就会自动跳出网页。我想生成报表,我就只用输入一句话,想看什么产品的品类、某个区域今年上半年的利润和去年同期的变化情况,我只要输入这句话,报表就会自动出现,这就是动态的数据可视化,而在这背后,是很多机器学习模型的集成,这也是典型的BI能力先进度的提升。
分析方面,这里也是非常强调要具备高度的自助服务的能力,而且能够实现分析能力的邦联化。所谓“邦联化”,即企业尤其是大型企业中,它的各个业务单位,包括不同的事业单位、不同管理职能体系,例如财务、人力资源等等,它们都有自己的一些数据分析的需求。这就要求企业的数据分析能力一方面要存在于这些业务单位里,又要在企业内部实现互通。
所以,企业内部分析能力从组织上来讲,要能够建立数据分析的COE,这些COE既要有拉通能力,又能形成在各个业务单位中形成自有的COE。先进组织内部的分析能力,就是一种实现了能力的互通,以及建立在基层之上的一种分析能力。
数据集成方面,现在大多数企业数据服务处在一种解耦的状态,前面我有讲到数据编织,现在大家会认为数据编织相对于前些年讲的数据中台来说,是相对比较先进的一种架构,因为很多企业做数据中台的投入非常大,它要建立一个数据的平台,要建立很多数据分析的工具,对企业来讲开支非常大,且对技术人员要求非常高。那么有没有一种低成本的方法,不去建立很复杂的数据中台,依然能够让处于分布式的数据源,用虚拟化的方式集中管理,并且能够服务于数据分析的场景,并且当新的数据源出现的时候,也能够用低成本的方式快速集成到我所部署的数据集成框架里呢?这也是我们谈到BI能力时,技术角度上一个非常重要的能力。
存放方面,也就是数据分析上云。数据分析本身是非常耗费计算资源的,所以今天我们会看到企业应用的数据源本身也越来越多在云上,所以企业也在思考怎么样能够更好地做多云管理,能够让数据上云为企业带来规模效应。过去两年我看到很多企业,尤其是中大型企业,也会担心一个问题,即如果数据不在企业内部,会不会出现数据泄密等问题。当然每个企业都会有它自己的IT策略,不能一概而论,但从我个人观点上来讲,我是非常坚定的一个企业上云的拥护者。我个人认为本地化这种数据存储的方式很快会消失。
从大的宏观环境上来看,国家的东数西算,整个云计算的基础设施也越来越发达,国外尤其是美国所有新兴的跟数据相关的供应商全都是纯云的,无论是去年前年比较火的Snowflake的云数仓的SaaS服务,还是一些主流的云平台提供的服务、基于云上的机器学习的平台等等,美国先进的数据工具全部是在云上的。所以我认为对中国企业来说,是否采用云的架构,是否有云管理的能力,也是衡量BI能力一个非常重要的指标。
最后,我还想要强调一点,数据的人才。今天我们都在谈数字化,数字化转型最大的挑战就是人才。企业的数字化分为两个方面,第一个是所有的业务要数字化,那就需要业务数字化的人才;另一个是当你的业务数字化后,产生大量的数据,要利用数据,就要具备足够的人才,没有人才,就没有办法打造企业的BI能力。