数据清洗的原理及步骤

文 | Smartbi大数据百科 2021-06-08 阅读次数:4060 次浏览

商业智能BI产品更多介绍:https://www.smartbi.com.cn/

商业智能BI产品更多介绍:点击前往

    数据清洗的原理

    数据清洗原理:利用有关技术如数理统计数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数据。

    数据清洗的步骤

    (1)准备

    包括需求分析、大数据类别分析、任务定义、小类别方法定义、基本配置,以及基于以上工作获得数据清洗方案等。通过需求分析明确知识库系统的数据清洗需求,大数据类别分析将大数据归类以便同类数据进行分析,任务定义要明确具体的数据清洗任务目标,小类别方法定义确定某类非清洁数据合适的数据清洗方法,基本配置完成数据接口等的配置,要形成完整的数据清洗方案,并整理归档。

    (2)检测

    对数据本身及数据间的预处理检测包括相似重复记录、不完整记录、逻辑错误、异常数据等,并且对检测结果进行统计,全面获得的数据质量信息,并将相关信息整理归档。

    (3)定位

    对检测结果的归档信息进行数据质量进行评估,获得非清洁数据的定位并进行数据追踪分析,分析非清洁数据及由此可能的知识表示的影响,分析产生非清洁的根本原因;进而确定数据质量问题性质及位置,给出非清洁的修正方案,并将相关信息归档。根据定位分析情况,可能需要返回“检测”阶段,进一步定位需要修正数据的位置。

    (4)修正

    在定位分析的基础上,对检测出的非清洁数据进行修正,包括非清洁数据标记、不可用数据删除、重复记录合并、缺失数据估计与填充等,并对数据修正过程进行存储管理。

    (5)验证

    对修正后的数据与任务定义的符合性进行比对验证,如果结果与任务目标不符合,则做进一步定位分析与修正,甚至返回“准备”中调整相应准备工作。

申请试用 了解更多

2024年度精选《思迈特制造行业BI最佳实践合集》

立即下载
Copyright© 广州思迈特软件有限公司  粤ICP备11104361号 网站地图

电话咨询

售前咨询
400-878-3819 转1

售后咨询
400-878-3819 转2
服务时间:工作日9:00-18:00

微信咨询

添加企业微信 1V1专属服务