建议使用以下浏览器,以获得最佳体验。 IE 10.0+以上版本 Chrome 31+谷歌浏览器 Firefox 30+ 火狐浏览器
2020-12-07

阿里云DataWorks:新零售企业产品技术架构设计

   在我们看来,数据中台不仅是一种解决方案,也是一个团队的职能。企业应该建设一个独立的数据中台团队来支持业务。对于企业来说,数据和商品、会员以及设备一样,是非常重要的资产。企业数据中台团队的同学,是资产的建设者、管理者和运营者,通过这些资产去驱动整个零售供应链全链路、智能化的升级。通过采集、管理、建设数据,让数据更好地运用到业务上。


阿里云DataWorks:新零售企业产品技术架构设计


   首先介绍一下通用性,整个基础设施的建设基本采用的是阿里云的基础设施,阿里云上的DataWorks+MaxCompute十一年来一直支持阿里巴巴集团数据中台的建设。在整个数据分层这边,源数据层基本上来自于业务系统,接入层相对来说会比较复杂一点,很多企业现在讲全渠道覆盖,包含APP,线下,甚至一些企业还有自己的配送员、电动车,以及门店的一些IOT设备数据,人力资源等,所以这里面就会出现很多结构化和非结构化的数据。通过数据加工层把非结构化的数据进行一定的加工,最终会形成非常重要的数据资产层。


   数据资产层构建之后就会有一定的业务含义,这部分数据是可以直接被业务使用的。但是在数据资产层上我们会定一层数据服务层,让数据使用起来更方便,开箱即用。到了服务这一层,可能还是无形的,从业务方来看,肯定希望业务用户能直接去用数据,而不是去到很多表里面查数据。所以在数据服务层之上,数据应用层数据中台团队可以建立很多数据产品,通过产品化的方式给到业务,提供真正的数据使用。产品形式也会比较多,在不同的端,包括PC、钉钉、掌中宝,还有很多IOT的小设备,可能就是一个小的黑白屏幕,都会有数据的透传。并且在最右侧数据中台会有一套管理体系,通过这种管理体系,让企业整个运营和运维可以有效地执行起来。这个架构图,就是我们理解的一个偏业务型的数据中台分层架构图。


   基于刚才提到这种业务型的数据中台分层架构,我们需要继续设计一套数据中台的技术架构。大家如果做过大数据的话,在数据采集的时候经常会碰到,同时有离线和实时的计算该怎么办?离线计算我们推荐阿里云上的MaxCompute,阿里巴巴几乎所有的离线数据都放在MaxCompute上,2020年双11MaxCompute每日数据处理量达到1.7EB级。实时计算我们推荐Flink,峰值每秒处理消息规模达到40亿条,计算的性能也非常强大。除了计算,还要去做数据的存储,比如实时计算Flink的数据汇总加工后,可以存储到MaxCompute交互式分析(Hologres),来构建我们的实时数据仓库,MaxCompute交互式分析(Hologres)可以支持峰值写入速度达到5.96亿条,同时支持PB级数据的亚秒级查询,以及在线搜索Elasticsearch,并且这些存储都会变成一个个数据服务。数据服务会有指标明细,还有特征、标签等等,这些数据可以推广到运营最常使用的一些设备、运营平台、钉钉移动办公、智能化管理等,这些更多是runtime层面的。在整个数据集市运营层面,还有元数据、数据质量、容灾管控、数据治理等等。这个技术架构图,更多的是当成一个技术需求架构图,是新零售企业技术团队在做数据中台的时候需要去做的一些事情。


上一篇: 华为云数据使能DAYU全新升级,释放数据价值

下一篇: 华为云2021金融系列产品上新计划,迈向金融云原生2.0