提升数据建模的10种技术措施

文 | Smartbi大数据百科 2021-06-16 阅读次数：1924 次浏览

商业智能BI产品更多介绍：https://www.smartbi.com.cn/

商业智能BI产品更多介绍：点击前往

了解所需的业务需求和成果

数据建模的目的是帮助组织更好地运作。作为数据建模者，收集，组织和存储用于分析的数据，用户只能通过了解其企业需求来实现这一目标。正确地捕获这些业务需求，以了解哪些数据优先，收集，存储，转换，并提供给用户通常是最大的数据建模挑战。所以，不能说：通过向人们询问数据中需要的结果，清楚地了解需求。然后开始组织你的数据。

可视化数据建模

盯着无数行和列的字母数字条目不太可能为人们带来启示。大多数人都希望通过图表更加舒适地查看数据，可以快速查看任何异常情况，或使用直观的拖放屏幕界面快速检查和连接数据表。像这样的数据可视化方法可以帮助你清理数据，使其完整一致，并避免出现错误和冗余。它们还可以帮助你发现对应于相同现实生活实体（例如“客户ID”和“客户参考”）的不同数据记录类型，然后将其转换为使用常用的字段和格式，从而更轻松地组合不同的数据源。

从简单数据建模开始，然后扩展

由于大小，类型，结构，增长率和查询语言等因素，数据可能会迅速复杂化。开始时保持数据模型小而简单，可以更容易地纠正任何问题或错误的转折。当你确定自己的初始模型是准确和有意义的时，可以引入更多的数据集，消除任何不一致的情况。你应该寻找一种可以轻松开始的工具，但是以后可以支持非常大的数据模型，还可以让你从不同的物理位置快速“混搭”多个数据源。

将业务查询分解为事实、维度、过滤器和订单

了解如何通过事实、大小、过滤器和订单这四个元素定义业务问题，将有助于你以更容易提供答案的方式组织数据。例如，假设你的组织是一家在不同地点设有商店的零售公司，并且你想知道去年哪些商店销售的产品最多。在这种情况下，其事实将是整个历史销售数据（所有商店在过去“N”年的每一天所有商品的所有销售量），所考虑的维度是“产品”和“商店位置”，过滤器是“前12个月”，订单可能是“给定产品销售额下降的五大门店”。通过使用单独的表格来组织数据，以了解事实和维度，你可以方便分析，以便在每个销售期间查找顶级销售人员以及回答其他商业智能问题。

使用需要的数据，而不是所有可用的数据

使用巨大数据集的计算机很快就会遇到计算机内存和输入输出速度的问题。然而，在许多情况下，只需要很少的数据来回答业务问题。在理想情况下，你应该能够在屏幕上勾选方框，以指出要使用哪些部分数据集，从而避免数据建模浪费和性能问题。

提前计算以防止最终用户分歧

数据建模的一个关键目标是建立一个真相的版本，用户可以向他们询问他们的业务问题。虽然人们对于如何使用答案可能有不同的意见，但是对于基础数据或用于得出答案的计算，应该不会有任何异议。例如，可能需要进行计算以汇总每日销售数据以获取每月数据，然后将其进行比较以显示最佳或最差的月份。而不是让每个人都采用他们的计算器或其电子表格应用程序（这是用户错误的常见原因）进行计算，你可以提前设置此计算来避免问题，作为数据建模的一部分，并使其在最终用户的信息中心中可用。到他们的计算器或电子表格应用程序（用户错误的共同原因），您可以避免问题，提前建立这个计算作为您的数据建模的一部分，并使其在仪表板的最终用户。

在继续之前验证数据建模的每个阶段

在进行下一步之前，应检查每个操作，然后从业务需求的数据建模优先级开始。例如，必须为数据集选择一个称为主键的属性，以便数据集中的每个记录可以通过该记录中主键的值唯一标识。假设你选择“ProductID”作为上述历史销售数据集的主键。通过比较数据集中“ProductID”的总行数与完全不同（不重复）行计数，可以验证是否令人满意。如果两个计数匹配，则可以使用“ProductID”来唯一标识每个记录;如果没有，请查找另一个主键。相同的技术可以应用于两个数据集的连接，以检查它们之间的关系是一对一还是一对多，并且避免导致过于复杂或无法管理的数据模型的多对多关系。

寻找因果关系，而不仅仅是相关性

数据建模包括使用建模数据的方式的指导。最终用户为自己获取商业智能提供了一个很大的进步，同样重要的是避免错误的结论。例如，也许他们看到两种不同产品的销售情况似乎一起上升和下降。一个产品的销售是否导致另一个产品的销售（一个因果关系），或者是因为经济或天气等另外一个因素而一起上升（简单的关联）呢？令人困惑的因果关系可能导致产生错误或不存在的机会，从而浪费业务资源。

使用智能工具提供重型功能

在分析开始之前，更复杂的数据建模可能需要编码或其他操作来处理数据。但是，如果软件应用程序可以为您提供“重型”功能，则可以免除你了解不同编程语言的需要，并让你将时间花在企业的其他有价值的活动上。合适的软件产品可以促进或自动化数据ETL（提取，转换和加载）的所有不同阶段。可以在视觉上访问数据，而无需任何编码，不同的数据源可以使用简单的拖放界面进行组合，甚至可以根据查询类型自动完成数据建模。