400-878-3819
EN
EN

通用大数据处理工具的不足之处

文 | Smartbi大数据百科 2021-06-15 阅读次数：2302 次浏览

商业智能BI产品更多介绍：https://www.smartbi.com.cn/

商业智能BI产品更多介绍：点击前往

    大数据处理工具的不足（一）开发效率低

    因为不是单一的软件，需要集成4个以上模块，很多模块都不是标准的POSIX或SQL接口，都有自己的开发工具、开发语言、配置等，需要一定的学习成本。而且由于数据会从一个模块流动到另外一个模块，数据的一致性容易受到破坏。同时，这些模块基本上都是开源软件，总会有各种漏洞，一旦被一个技术问题卡住，总要耗费工程师不少时间。总的来讲，企业需要搭建一支优秀的团队才能将这些模块顺利地组装起来，因此需要耗费较多的人力资源。

    大数据处理工具的不足（二）运行效率低

    现有的这些开源软件主要用来处理互联网上的非结构化数据，但是通过物联网采集来的数据都是时序的、结构化的。用非结构化数据处理技术来处理结构化数据，无论是存储还是计算，消费的资源都大很多。

    大数据处理工具的不足（三）运维成本高

    每个模块，无论是Kafka、HBase、HDFS还是Redis，都有自己的管理后台，都需要单独管理。在传统的信息系统中，数据库管理员只要学会管理MySQL或是Oracle就可以了，但现在数据库管理员需要学会管理、配置、优化很多模块，工作量大了很多。由于模块数过多，定位一个问题就变得更为复杂。比如，用户发现有一条采集的数据丢失了，至于是Kafka、HBase、Spark丢失的，还是应用程序丢失的，则无法迅速定位，往往需要花很长时间，只有将各模块的日志关联起来才能找到原因。而且模块越多，系统整体的稳定性就越低。

    大数据处理工具的不足（四）产品推出慢、利润低

    由于源软件研发效率低，运维成本高，导致将产品推向市场的时间变长，让企业丧失商机。而且这些开源软件都在演化中，要同步使用最新的版本也需要耗费一定的人力。除互联网头部公司外，中小型公司在通用大数据平台上花费的人力资源成本一般都远超过专业公司的产品或服务费用。

    大数据处理工具的不足（五）对于小数据量场景，私有化部署太重

    在物联网、车联网场景中，因为涉及生产经营数据的安全，很多还是采取私有化部署。而每个私有化部署，其处理的数据量有很大的区别，从几百台联网设备到数千万台联网设备不等。对于数据量小的场景，通用的大数据解决方案就显得过于臃肿，投入与产出不成正比。因此，有的平台提供商往往有两套方案，一套针对大数据场景，使用通用的大数据平台，一套针对小数据场景，使用MySQL或其他数据库。但这样会导致研发、维护成本提高。

申请试用 了解更多

文章目录

大数据处理工具的不足（一）开发效率低 大数据处理工具的不足（二）运行效率低 大数据处理工具的不足（三）运维成本高 大数据处理工具的不足（四）产品推出慢、利润低 大数据处理工具的不足（五）对于小数据量场景，私有化部署太重
试用申请

更聪明的大数据分析软件，快速挖掘企业数据价值！

相关推荐

UI主题套用，模板免费下载

友情链接：

社区问答在线文档达观数据八爪鱼采集器

Copyright© 广州思迈特软件有限公司  粤ICP备11104361号

在线咨询

电话咨询

售前咨询
400-878-3819 转1

售后咨询
400-878-3819 转2
服务时间：工作日9:00-18:00

sales邮箱

商务咨询请联系邮箱

邮箱地址：sales@smartbi.com.cn

Demo体验