想要高效简洁自助处理数据,Smartbi的这些功能少不了!
商业智能(BI)与大数据分析软件
效益,因管理而变,管理因我们(Smartbi)而变

想要高效简洁自助处理数据,Smartbi的这些功能少不了!

发布时间:2020-08-13      游览量:64


Smartbi轻量级ETL功能,它是可视化流程配置,简单易用,业务人员都能参与。无需单独部署,能够与Smartb无缝连接,允许将数据准备的结果,以数据表方式直接提供给BI使用。它还采用分布式计算架构,单节点支持多线程,能够处理海量数量,提高数据处理的性能。

这块强大数据处理功能不仅支持异构数据,还内置排序、去重、映射、行列合并、行列转换聚合、去空值等等数据预处理功能,满足客户日常数据处理的需要。下面我们就举例介绍几种数据预处理功能。

过滤和映射

过滤和映射是指根据用户需求,通过写SQL语句(片段)的方式,对数据集中指定字段进行条件筛选过滤。

如下图,原先示例数据源的输出结果有150条数据,对其进行过滤与映射,设置过滤器的表达式:[Species]='versicolor' ,即只输出Species为versicolor的数据。

image.png 

我们通过可视化流程操作,拖拽过滤器映射对象,通过设置过滤器条件来实现,如下图:

image.png 

去除重复值

去除重复值是用于删除数据集中的重复行(假如有两行相同,保留其中一行)。也是数据处理中比较常见的要求。

如下示例,原先关系数据源的输出结果有9条数据,对其进行去除重复值,在选择列弹框中选择所有的列。

image.png 

我们通过可视化流程操作,拖拽去除重复值对象,对其参数进行选择列设置来实现,如下图:

image.png 

空值处理

空值处理节点是将空值替换为均值、最大频数或者用户自定义的值等,实现空值的填充或者过滤。空置处理的替换值包括最大值、最小值、平均值、中位数、按空值百分比删除列、出现频率最多替换、指定值、过滤整行,用于满足不同的用户需求。

我们来看一个示例:我们将空值处理为该列出现频率最多的值,例如number出现频率最多的值为“4”,则空值经过处理后变成“4”;count出现频率最多的值为“100”,则空值经过处理后变成“100”。

image.png 

我们通过可视化操作拖拽空值处理对象对原先数据源行空值处理,设置如下图,存在空值,对其进行空值处理,选择列:number、count ,空值处理为“出现频率最多替换”。

image.png 

 

行转列/列转行

行转列是用于实现将数据结果的行转换成列。列转行是用于实现将数据结果的列转换成行。

下面我们举一个行转列的例子。如下图,原先数据集有4条数据,对其进行行转列。

image.png

我们通过可视化操作拖拽行转列对象对原先数据源进行空值处理,设置如下图,设置选择要透视的列为“科目”,请选择值列为“分数”,聚合方式为“最大值”。

image.png 

除了以上功能,Smartbi数据预处理功能还有采样、拆分、JOIN、排序、合并列/合并行、增加序号列、聚合、派生列等,有兴趣的小伙伴可以到我们wiki上学习使用哦!

使用这些预处理功能处理完成的数据,我们就可以输出到目标源中了。这样不仅可以提高数据的质量,也能让数据更好地进行数据分析和数据挖掘!

 

申请试用


© 2017-2021 smartbi.com.cn 版权所有  粤ICP备11104361号

咨询

电话

商务咨询:400-878-3819 转1

项目支持:400-878-3819 转2

支持

小麦二维码

技术支持服务二维码

邮箱

您好,商务咨询请联系邮箱

邮箱地址:sales@smartbi.com.cn