大数据行业数据岗位需要掌握的技能

一、数据科学家需要掌握的技能

1、计算机科学

一般来说，数据科学家大多需要编程和计算机科学相关的专业背景。简而言之，它是处理大数据所需的hadoop、Mahout等大规模并行处理技术与机器学习相关的技能。

2、数学、统计、数据挖掘等

除了数学、统计素养外，还需要具备使用SPS、SAS等主流统计分析软件的技能。其中，开源编程语言及其运行环境“R”最近备受关注。R的优势不仅在于它包含了丰富的统计分析库，还具有可视化结果的高质量图表生成功能，可以通过简单的命令运行。此外，它还具有CRAN(The Comprehensive R Archive Network)的包扩展机制，通过导入扩展包，可以使用标准状态下不支持的函数和数据集。

3、数据可视化(Visualization)

信息的质量很大程度上取决于它的表达。分析数字列表组成的数据的意义，开发Web原型，使用外部API统一图表、地图、Dashboard等服务，使分析结果可视化，这是数据科学家非常重要的技能之一。

二、数据工程师需要掌握的技能

1、与数学和统计学专业相关的背景

大数据工程师的要求是统计学和数学背景的硕士或博士学位。缺乏理论背景的数据工作者更容易进入技能上的危险区域，即是一堆数字，根据不同的数据模型和算法总能得到一些结果，但如果你不知道它代表什么，它就不是一个真正有意义的结果，而且很容易误导你。只有具备一定的理论知识，才能理解模型。重用模型甚至创新模型来解决实际问题。

2、计算机编码能力

作为大数据工程师，实际开发能力和大规模数据处理能力是必不可少的因素。因为很多数据的价值来自挖掘过程，你必须自己去发现金子的价值。例如，人们在社交网络上产生的许多记录都是非结构化的数据。如何从这些毫无头绪的文本、语音、图像甚至视频中获取有意义的信息，需要大数据工程师亲自挖掘。即使在一些团队中，大数据工程师的职责主要是商业分析，他们也应该熟悉计算机处理大数据的方法。

3、具体应用领域或行业的知识

大数据工程师的作用非常重要，因为大数据只有与特定领域的应用相结合才能产生价值。因此，在一个或多个垂直行业的经验可以为申请人积累对该行业的认知，这对以后成为一名大数据工程师有很大的帮助。因此，这也是申请该职位时更有说服力的加分项。

三、数据分析师需要掌握的技能

1、了解业务。从事数据分析的前提是了解业务，即熟悉行业知识。对于公司的业务和流程，最好有自己独特的见解。如果脱离行业认知和公司业务背景，分析结果只会是脱线风筝，使用价值不大。

2、了解管理。一方面，建立数据分析框架的要求，如确定分析思路，需要营销、管理等理论知识的指导。如果你不熟悉管理理论，就很难建立数据分析框架，后续的数据分析也很难进行。另一方面，对数据分析结论提出了指导性的分析建议。

3、懂得分析。是指掌握数据分析的基本原理和一些有效的数据分析方法，并能灵活运用到实践中，从而有效地进行数据分析。基本分析方法有：对比分析、分组分析、交叉分析、结构分析、漏斗图分析、综合评价分析、因素分析、矩阵关联分析等。先进的分析方法有：相关的分析方法、回归分析方法、聚类分析方法、判断分析方法、主要成分分析方法、因子分析方法、相应的分析方法、时间序列等。

4、了解工具。指掌握与数据分析相关的常用工具，比如Smartbi。数据分析方法是理论，数据分析工具是实现数据分析方法理论的工具。面对越来越大的数据，我们不能依靠计算器进行分析，我们必须依靠强大的数据分析工具来帮助我们完成数据分析。

5、了解设计。理解设计是指利用图表有效地表达数据分析师的分析观点，使分析结果一目了然。图表的设计是一门大学问题，如图形的选择、布局的设计、色彩的搭配等，都需要掌握一定的设计原则。