大数据时代数据分析面临的挑战

热门文章

• 01

  财务数据分析中常用的财务指标有哪些？

  阅读量：1260

• 02

  国产BI工具崛起：全面剖析思迈特软件Smartbi

  阅读量：60

• 03

  企业数据分析能力怎么提升？数据分析工具的重要性

  阅读量：3767

• 04

  无需编程技术！代码白痴也能使用的数据挖掘工具

  阅读量：4198

• 05

  数据分析网站有哪些图表可使用

  阅读量：169

• 06

  中科院《互联网周刊》排行榜公布！思迈特软件荣登多项榜单

  阅读量：4495

文章目录

数据分析技术的挑战（一）数据噪音的增多&sma&<p><span style="font-size: 14px;">数据量大并不一定意味着数据价值的增加，也有可能是意味着数据噪音的增多。</span></p><p><span style="font-size: 14px;">因此，在数据分析之前必须进行数据清洗等预处理工作，但是预处理如此大量的数据，对于计算资源和处理算法来讲都是非常严峻的考验。</span></p>

数据分析技术的挑战（二）大数据时代的算法需要进行调整&sma&<p><span style="font-size: 14px;">大数据的应用常常具有实时性的特点，算法准确率不再是大数据应用的最主要指标。很多时候，算法需要在处理实时性和准确率之间博得一个平衡点。</span></p><p><span style="font-size: 14px;">其次，分布式并发计算系统是进行大数据处理的有力工具，这就要求很多算法必须做出调整以适应分布式并发的计算框架，算法需要变得具有可扩展性。许多传统的数据挖掘算法都是线性执行的，面对海量的数据很难在合理的时间内获取所需的结果。因此需要重新把这些算法实现成可以并发执行的算法，以便完成对大数据的处理。</span></p><p><span style="font-size: 14px;">最后，在选择处理大数据的算法时必须谨慎，当数据量增长到一定规模以后，可以从少量数据中挖掘出有效信息的算法并非一定适用大数据。</span></p>

数据分析技术的挑战（三）数据结果的衡量标准&sma&<p><span style="font-size: 14px;">对大数据进行分析并非易事，同样的，对大数据分析结果好坏如何衡量也是大数据时代数据分析面临的更大挑战之一。</span></p><p><span style="font-size: 14px;">大数据时代的数据体量大、类型混杂、产生速度快，进行分析时如果没有对整个数据的分布特点了如指掌，无疑会导致在设计衡量的方法、指标时遇到困难。</span></p>

专题推荐