功能覆盖数据分析全流程,一站式平台,产品功能可组合! 申请试用
发布时间:2021-06-18 游览量:9762
一、数据建模的定义
数据建模指的是对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 将经过系统分析后抽象出来的概念模型转化为物理模型后,在visio或erwin等工具建立数据库实体以及各实体之间关系的过程(实体一般是表)。
二、数据建模的基本流程
1、确定数据及其相关过程,如实地销售人员需要查看在线产品目录并提交新客户订单。
2、定义数据,如数据类型、大小和默认值。
3、确保数据的完整性,使用业务规则和验证检查。
4、定义操作过程,如安全检查和备份。
5、选择数据存储技术,如关系、分层或索引存储技术。
6、一定要知道建模通常会以意想不到的方式涉及公司的管理。例如,当对哪些数据元素应由哪些组织来维护有新的见解时,数据所有权以及数据维护、准确性和及时性的隐含责任通常会遭到质疑。数据设计常常促使公司认识到企业数据系统是如何相互依存的,并且鼓励公司抓住协调后的数据规划所带来的效率提高、成本节约和战略性机遇。
三、数据建模的类型
1、ER模型
OLAP中的ER模型,与OLTP中的有所区别。其本质差异是站在企业角度面向主题的抽象,而不是针对某个具体业务流程的实体对象关系的抽象。
2、星型模型
星型模型,是维度模型在关系型数据库上的一种实现。该模型表示每个业务过程包含事实表,事实表存储事件的数值化度量,围绕事实表的多个维度表,维度表包含事件发生时实际存在的文本环境。这种类似于星状的结构通常称为"星型连接"。其重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。在星型模型基础上,在复杂场景下还可以进一步衍生出雪花模型。
3、多维模型
多维模型,是维度模型的另一种实现。当数据被加载到OLAP多维数据库时,对这些数据的存储的索引,采用了为维度数据涉及的格式和技术。性能聚集或预计算汇总表通常由多维数据库引擎建立并管理。由于采用预计算、索引策略和其他优化方法,多维数据库可实现高性能查询。
四、数据建模案例
1、Smartbi大数据挖掘平台算法丰富,而且可扩展
数据挖掘平台支持多种高效实用的机器学习算法,包含了分类、回归、聚类、预测、关联,5大类机器学习的成熟算法。其中包含了多种可训练的模型:逻辑回归、决策树、随 机森林、朴素贝叶斯、支持向量机、线性回归、K均值、DBSCAN、高斯混合模型。除提供主要算法和建模功能外,数据挖掘平台还提供了必不可少的数据预处理功能,包括字段拆分、行过滤与映射、列选择、随机采样、过滤空值、合并列、合并行、JOIN、行选择、去除重复值、排序、增加序列号、增加计算字段等。
2、Smartbi 大数据挖掘平台功能完备,无缝集成到企业BI应用
1)适合大型企业
分布式云计算,线性扩展,保证性能,与BI平台无缝整合,一键发布挖掘模型,模型库提高知识复用,减少重复投入,支持跨库查询,统一控制数据访问权限,训练自动化、模型自学习。
2)适合普通用户
直观的流式建模,极简风格的节点配置界面,支持可视化探索,轻松理解数据质量和数据并联,流程节点在线帮助,模型超参数自动调整。
3)专业算法能力
内置5大类机器学习成熟算法,支持文本分析处理,支持使用Python扩展挖掘算法, 支持使用SQL扩展数据处理能力。
三、Smartbi大数据挖掘平台易学易用,一站式完成数据处理和建模
更聪明的大数据分析软件,快速挖掘企业数据价值!
电话:
邮箱: