数据准备——直观的数据处理

为什么需要数据处理

数据处理指的是在数据分析之前对数据进行清洗（extract）、转换（transform）、加载（load），简称ETL。源数据可能来自不同的业务系统，它们有不同的数据格式，也包含一些冗余的信息。ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后，进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘提供决策支持的数据。

数据准备的功能和亮点

Smartbi通过封装ETL算法，将技术分离，可以实现业务人员进行自助ETL操作。自助ETL以工作流的形式实现为库表提取数据模型的语义，通过易于操作的可视化工具，将数据加工成具备语义一致性与完整性的数据模型，也可以增强构建数据模型的能力。

自助ETL，无需单独部署，能够与Smartbi无缝连接，允许将数据准备的结果，以数据表方式直接提供给BI使用。自助ETL采用分布式计算架构，同时单节点情况下支持多线程，这极大地提高了数据处理的性能，亿级的数据量处理时间可以达到分钟级。自助ETL具备以下五个特点：

1. 一体化：集成在Smartbi中，无需独立部署就可以使用。

2. 可视化：完全界面化直接操作，业务人员都能参与。

3. 高性能：分布式计性能强悍，采用业界先进架构，能够处理海量数量，最大规模可以达到PB级，数据量处理的性能是同类型传统工具的10倍

4. 强功能：拥有丰富的处理节点，如采样、过滤、去重、空值处理、排序、聚合等，拖拽连接即可进行数据处理。

5. 可扩展：支持python、SQL扩展，实现更加复杂或是个性化的数据处理。
   

   
   

自助ETL管理界面以列表的形式显示所有ETL流程，支持用户对ETL流程进行编辑和删除的操作。如下图所示：

ETL流程定制界面用于设计定制ETL工作流。如下图所示：

应用案例

马上体验

如果你正在为手工编写ETL脚本而焦头烂额，或者正在考虑购买一款轻量级的自助ETL工具，请马上申请产品试用，体验Smartbi自助ETL功能的便捷和易用吧。

体验中心、试用申请