大数据工程师的职业素养,大数据软件工程师需要知识嘛,大数据工程师需要具备哪些能力
经常看到有近几万的朋友在疑惑学习Java应该选择哪个开发方向。我们在上一篇文章中已经提到了这一点。Java开发在这个领域有三种选择：
JavaEE，主要用于企业应用开发；安卓发展方向；嵌入式应用开发方向。这里建议你选择JavaEE方向，因为它应用广泛，工作设置也很多。
但是我们从来没有讨论过学习Java。这辈子只能做Java后端开发吗？难道只能在这条路上战斗到底吗？中间没有其他选择了吗？
偶然认识的一个朋友，一开始从事Java后端开发。后来利用业余时间自学成功转入大数据行业。现在是
大数据工程师
的员工，工资比以前好多了。前提是他是Java后端开发者。大数据是我们现在的一个热门发展方向。
但是大数据的起点要高，什么都不用就可以入门。
我们将要谈到的对大数据的学习是有条件的。首先你需要是一个普通的工程师，如果是Java工程师就更好了，但是如果是危机四伏的天空，那你只有成为工程师之后才能学习大数据。
一
认识大数据
大数据实际上是数据，但它也包括一些新功能：
数据来源广；
数据格式多样化
(结构化数据、非结构化数据、Excel文件等。);数据量大
(至少TB级别，甚至可能PB级别)；数据增长速度快。
并且对于上述新特性有许多问题要考虑：比如数据来源很多，如何收集汇总？收集后，应该存放什么？数据存储后，如何通过运算转换成想要的结果？
我们需要有相应的知识来解决这些问题。
二
大数据所需技能要求
Python语言：
写一些脚本的时候会用到。
Scala语言：
编写Spark程序的最佳语言。当然，你也可以选择Python。
Ozzie，azkaban：
用于计划任务的工具。
Hue，Zepplin：
图形化任务执行管理和结果查看工具。
Allluxio，Kylin等：
通过预处理存储数据来加速操作的工具。
必须掌握的技能：
高级Java(虚拟机、并发)、Linux基本操作、Hadoop(HDFS MapReduce Yarn)、HBase(JavaAPI operation Phoenix)、Hive(HQL基本操作和原理理解)、Kafka、Storm/JStorm、Scala、Python、Spark(核心Spark SQL Spark Streaming)、辅助小工具(Sqoop/Flume/Oozie/Hue)等)
高阶技能6条：
机器学习算法和mahout库加MLlib，r语言，Lambda架构，Kappa架构，Kylin和Alluxio。
三
学习规划
第一阶段
Linux学习：
Linux操作系统介绍及安装，Linux常用命令，Linux常用软件安装，Linux网络，防火墙，Shell编程等。
Java 高级学习：
主多线程、契约下队列、JVM技术、反射和动态代理、JMS。
Zookeeper学习：
Zookeeper分布式协调服务介绍，Zookeeper集群的安装部署，Zookeeper数据结构，命令。
第二阶段
Hadoop、Hive、HBase、Scala、Spark、Python
第三阶段
Sqoop、Flume、Oozie、Hue主要可以在CSDN、51CTO和官网学习。
总结
在科技行业，每天都会有新的东西出现，所以我们需要关注最新的科技动态，不断学习。任何通用技术都是先学习理论，然后在实践中不断完善的过程。
如果觉得自己的阅读效率太慢，可以在网上搜集一些课程。
快速学习的能力，解决问题的能力，沟通的能力，真的是这个行业很重要的指标。
善于使用StackOverFlow和Google帮助你解决学习过程中遇到的问题。
以上是我们对大数据学习的总结。我们需要有编程基础。我们需要有扎实的编程基础和经验，自学相对比刚开始容易。那么对大数据感兴趣或者想进入这个行业的可以学习一下。
大数据学习群：8688 47735一起学习共享资源
