大数据平台架构设计案例

发布时间：2020-10-12      游览量：5109

• powerbi和smartbi哪个好数据分析大数据平台大数据平台架构

大数据平台的整体架构可以由以下几个部分组成：

一、业务应用：其实指的是数据采集，你通过什么样的方式收集到数据。互联网收集数据相对简单，通过网页、App就可以收集到数据，比如很多银行现在都有自己的App。

更深层次的还能收集到用户的行为数据，可以切分出来很多维度，做很细的分析。但是对于涉及到线下的行业，数据采集就需要借助各类的业务系统去完成。

二、数据集成：指的其实是ETL，指的是用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。而这里的Kettle只是ETL的其中一种。

三、数据存储：指的就是数据仓库的建设了，简单来说可以分为业务数据层（DW）、指标层、维度层、汇总层（DWA）。

四、数据共享层：表示在数据仓库与业务系统间提供数据共享服务。Web Service和Web API ，代表的是一种数据间的连接方式，还有一些其他连接方式，可以按照自己的情况来确定。

五、数据分析层：分析函数就相对比较容易理解了，就是各种数学函数，比如K均值分析、聚类、RMF模型等等。

列存储让磁盘中的各个Page仅存储单列的值，并非整行的值。这样压缩算法会更加高效。进一步说，这样能够减少磁盘的I/O、提升缓存利用率，因此，磁盘存储会被更加高效的利用。

而分布式计算能够把一个需要非常大的算力才能解决的问题分成很多小部分，接着把这些部分给到许多计算机同时处理，然后把这些计算结果综合起来，得到最终的结果。

综合这两种技术，就能够大幅度提高分析环节的效率。Yonghong MPP可以说是目前在这两方面做的最出色的了。

六、数据展现：结果以什么样的形式呈现，其实就是数据可视化。这里建议用敏捷BI，和传统BI不同的是，它能通过简单的拖拽就生成报表，学习成本较低。国内的敏捷BI中，个人用户推荐Tableau，像银行这类的企业级需求推荐Yonghong BI 。

七、数据访问：这个就比较简单了，看你是通过什么样的方式去查看这些数据，图中示例的是因为B/S架构，最终的可视化结果是通过浏览器访问的。

Smartbi银行应用产品总体解决方案

Smartbi建设方案：

  ● Smartbi在存储层之上构建了数据分析中台，它包括了完整的数据中台、技术中台与业务中台。其本质上是构建具备数据共享能力的应用中心；

  ● Smartbi以连接数据中台与业务中台，实现应用呈现为目标，构建了满足技术中台要求的银行数据分析技术中台产品。产品包括可视化组件、数据分析组件、数据挖掘组件等，将数据背后的价值展现在人们面前；

  ● 通过这个产品的部署，连接银行现有的数据，根据银行的个性化需求，可简单的满足对于自助分析、报表、数据挖掘、管理驾驶舱等系统的要求。我们也抽象了些应用模板、数据模板。

方案价值：

  ● 管理驾驶舱：指标全面性、移动监控性、监管目标性、响应快速性、工作汇报便捷性；

  ● 数据准确性、分析即时性、风险预警性和辅助决策性；

  ● 自助分析：数据回归业务、数据答疑、图表快速自助、简化工作流程、业务价值共享；

  ● 明细查询、节约维护成本、业务自助分析和数据快速排查。

申请试用