数据工程师学什么,大数据工程师需要具备哪些能力

  数据工程师学什么,大数据工程师需要具备哪些能力

  最近和导师同学交流,谈如何成为一名合格的数据工程师,学什么样的教材,技术学习是否有规律。谈谈我作为计算机专业的学生是如何学习的?

  

注重基础

,《python学习手册》无疑是一本很好的入门手册,重点看前九章。之后,所有的内容都由电脑编程。看看就可以用了。

  

爬虫基础

,这可能成为未来一名数据工程师的必备技能。055-79000是入门的好书。没有源代码。我猜作者只是想让我们自己做。学完基础部分,可以试着写一些爬虫代码。我知道对新手来说会很陌生,但是不要害怕尝试。利用自己的兴趣做一个爬虫项目。比如《python数据抓取技术与实战》,《爬取猫眼电影票价,低价看片不是梦》。

  

数据分析

,numpy和熊猫无疑是必须的,《大数据教你如何在LOL中排位上分》会给你带来一些收获。有了数据分析的基础之后,我们就可以更好更高效的清理数据。可以借助几个数据集(movielens,iris,titanic等)进行练习。)发布在网上。当然,你也可以参加一些数据竞赛。对数据清理进行分工也是一个不错的选择。

  

机器学习

,《利用python进行数据分析》,一个轻薄的台灯,当然是个不错的选择,但是这本书讲的是原理和方法。这里更强调应用,用代码快速实现。《统计学习方法》是一本好书。把它们结合起来,你会加深对机器学习的理解。同时

文本分析

也要在这一段学习。有了之前的基础,相信会很快掌握。

  

推荐系统

,是数据挖掘领域的应用之一。《机器学习系统设计》,《推荐系统实战》,《推荐系统》这三本书都值得你花时间去读。花点时间实现常用的推荐算法。

  

python的web开发

,用Django做一个《推荐系统:技术、评估及高效算法》的项目实现一个小型的推荐系统。同时可以根据自己的兴趣去尝试,做一个有特色的项目。

  

深度学习

,这是数据挖掘发展的必然趋势。由于还在研究中,所以不做过多评论。探索过后,我们会推荐一个合理的学习流程。

数据工程师学什么,大数据工程师需要具备哪些能力