数据仓库基本架构

文 | Smartbi大数据百科 2021-09-29 阅读次数:5806 次浏览

商业智能BI产品更多介绍:https://www.smartbi.com.cn/

商业智能BI产品更多介绍:点击前往

    一、数据操作层ODS(Operational Data Store)

    用于原始数据在数据平台的落地,这些数据从数据结构、数据之间的逻辑关系上都与数据层基本一致。在源数据进入这一层时,通常要进行数据清洗,如业务字段提取、去掉不用字段、脏数据处理等。默认保留近30天的数据,表命名规范为:ods_主题_原表名。


    二、数据维度层DIM(Dimension Data Layer)

    主要用于存储公共的信息数据,如地理位置、时间、数据格式一般是维表,如以国家ID等字段为主键,按需存储,保留历史至今的所有数据。表命名规范为:dim_业务描述,如dim_time。


    三、数据明细层DWD(Data Warehouse Detail)

    数据明细层为了满足DWS层和DM层无法覆盖的需求,用于源系统数据在数据平台中的永久存储,所以默认保留历史至今的所有数据,表命名规范为:dwd_主题域_描述,如dws_driver_detail 司机个人信息表。


    四、数据汇总层DWS(Data Warehouse Service)

    主要包含两类汇总表,一是细粒度的宽表,二是粗粒度的汇总表。例如打车业务,包含基于订单、乘客、司机、车辆等细粒度的宽表和基于维度组合如(用户日下单量汇总、用户日完单量汇总、司机日接单量汇总)的粗粒度汇总表。DWS层的汇总数据目标时满足80%的业务计算,默认保留历史至今的所有数据,表命名规范为:dws_主题域_描述,如dws_订单_今日下单量。


申请试用 了解更多
Copyright© 广州思迈特软件有限公司  粤ICP备11104361号

电话咨询

售前咨询
400-878-3819 转1

售后咨询
400-878-3819 转2
服务时间:工作日9:00-18:00

sales邮箱

商务咨询请联系邮箱

邮箱地址:sales@smartbi.com.cn