数据挖掘中的数据预处理需要做什么

企业每天都在生产大量的数据，但是大多数据是不完整和不一致的脏数据。不能直接挖掘或挖掘的结果往往误差很大，结果不尽如人意。为了提高数据挖掘的质量，减少实际挖掘所需的时间，获得有价值的信息资源，数据预处理技术应运而生。

数据分析师对数据分析和数据挖掘并不陌生，但可能很少有人知道数据预处理。先简单介绍一下数据预处理的定义，数据预处理的流程环节。数据预处理是指对收集到的数据进行分类或分组前的审核、筛选、排序等必要处理。数据预处理过程一般包括：数据清理、数据提取与集成、数据分析、数据可视化四个环节。

数据预处理的内容是什么？处理内容可分为三类：数据审核、数据筛选和数据排序。

一、数据审核

从不同渠道获得的统计数据在审计内容和方法上有所不同。原始数据主要有两个审核。

完整性和准确性。

完整性审查主要是检查应调查的单位或个人是否有遗漏，所有调查项目或指标是否完整。准确性审查主要包括两个方面：一是检查数据是否真实反映客观实际情况，内容是否符合实际情况；二是检查数据是否错误，计算是否正确。审查数据准确性的方法主要包括逻辑检查和计算检查。

二、数据筛选

尽可能纠正审核过程中发现的错误。调查结束后，当数据发现的错误无法纠正，或有些数据不符合调查要求，无法弥补时，需要筛选数据。

数据筛选包括两个方面：一是消除一些不符合要求的数据或明显错误的数据；二是筛选符合特定条件的数据，消除不符合特定条件的数据。数据筛选在市场调查、经济分析和管理决策中非常重要。

三、数据排序

数据排序是按照一定的顺序排列数据，让研究人员通过浏览数据找到一些明显的特征或趋势，找到解决问题的线索。此外，排序还有助于数据检查纠错，为重新分类或分组提供依据。

数据分析、数据挖掘等大数据分析工作贯穿于社会生产和生活的各个领域，可见数据预处理技术作为数据挖掘基石的重要性。当然，数据预处理技术的作用离不开数据挖掘工具的支持。例如，思迈特软件Smartbi数据挖掘工具提供了许多必不可少的数据预处理功能，包括字段分割、行过滤和映射、列选择、随机采样、过滤空值、并行、并行、重复值去除、排序、序列号增加等。

像Smartbi这样的功能特有效地减少不必要的数据冗余，降低大数据系统中的存储和计算成本。从而提高用户使用数据的体验，提高使用数据的效率。

申请试用