数据分析师需要具备什么技能,数据分析师的技能和专业的要求
最近在知乎上看到一个问题:“数据分析师应该注意什么样的计算机技能培训?”
问题的背景是这样的:
某211高校传播学专业。毕业后在运营商工作7年多,从事通信网络运维、规划,最近两年负责运营商的数据分析(网络部、业务分析)。
由于职业发展瓶颈,从去年11月份开始打算跳槽,花了半年时间学习基础统计学、SQL、Python等。
最近跳槽到互联网产品部,做互联网产品(APP)的数据分析师,支持产品部的数据分析(偏向业务分析,不负责数据仓库、ETL等IT偏向的工作)。工作内容差别很大,包括分析的粒度,工作方法(比如自己写shell脚本),工作内容。所以迫切提升自己的linux(shell编程)、SQL等技能,加快熟悉业务的速度,但还是感觉亚历山大。
个人想继续往数据分析方向发展,我知道数据分析包括计算机科学、统计学、商业三个部分。目前我缺的是计算机科学。如果我想向数据分析师(数据科学)方向发展,可以给我一些提高计算机科学技能的建议吗?
今天我也想借这个问题系统的回答一下“数据分析师”的职业发展,这也是我最近一直在思考的事情。
根据我近10年的工作经验,包括在甲方IT部门担任BI项目经理和在乙方运营部门担任业务分析经理,以及乙方数据分析项目(EDW/BI/大数据/AI机器学习)的咨询和项目实施经验,我认为我应该按照由易到难的高级步骤掌握这些技能:
首先,Excel。看起来这很简单,其实未必。Excel不仅可以制作简单的二维表格、复杂的嵌套表格,还可以绘制折线图/柱形图/条形图/面积图/饼图/雷达图/Combo char/散点图/胜败图等。除此之外,它还可以实现更高级的功能,包括透视表(类似于BI的多维分析模型Cube)和Vlookup等复杂功能。一百万条以下的数据处理问题不大。最后,很多更高级的工具都有Excel插件,比如一些AI机器学习的开发工具。
2.掌握SQL Server或Oracle的SQL语句。虽然你是一个业务分析师,但是如果你能在较少依赖IT人员和IT工具的情况下获取数据(比如BI的多维分析模型,有时候你并不能得到你想要的数据),那么对于做业务分析无疑是如虎添翼。我见过华为的会计写七层嵌套的SQL语句,很惊讶。包括连接、分组、排序、相异、求和、计数、平均、各种统计函数等。
3.掌握可视化工具,比如BI,比如Cognos/Tableau/FineBI等。取决于企业用什么工具,像我之前用FineBI。这些工具非常便于可视化,尤其是分析报告可以包含这些数字,这肯定会引起高层领导的注意,让他们一目了然,洞察业务的本质。此外,作为专业分析师,多维分析模型Cube可以轻松定制报表,大大提高了效率。
总结:至此,以上80%的技能才算是一名合格的分析师。在这个阶段,数据分析师需要知道如何使用工具处理数据,以及业务场景,并能够分析和解决基本问题。这里需要强调的是,一个数据分析师最重要的是熟悉业务,懂的更好。了解了业务,分析的逻辑就会清晰而概括,大部分无用的尝试也可以排除。以前对于自己了解的业务,对比数据就知道问题出在哪里。
之后如果想往技术上深挖,甚至往数据科学家方向发展。
进阶篇
1、系统的学好统计学
纯机器学习注重算法的预测能力和实现,而统计学一直强调“可解释性”。举个例子,鉴于今天微博股票发行上涨了20%,你把你预测股票涨跌的两个模型放到新浪的例子上,然后给你老板看。这就是统计学的作用。
统计方法
定量方法(时间线分析、概率模型、优化)
决策分析(多目标决策分析、决策树、影响图、敏感性分析)
建立竞争优势的分析(通过项目和成功案例学习基本的分析概念)
数据库介绍(数据模型、数据库设计)
预测分析(时间线分析、主成分分析、非参数回归、统计过程控制)
数据管理(ETL(提取、转换、加载)、数据治理、管理责任、元数据)
优化和启发式(整数规划、非线性规划、局部探索、超启发式(模拟退火、遗传算法))
大数据分析(学习非结构化数据的概念、MapReduce技术、大数据分析方法)
数据挖掘(聚类(k-means方法、分段方法)、关联规则、因素分析、生存时间分析)
其他,选择以下两项(社交网络、文本分析、网页分析、金融分析、服务业分析、能源、医疗保健、供应链管理、整合营销传播中的概率模型)
风险分析和操作分析的计算机模拟
软件级别的分析(组织级别的分析主题、IT和业务用户、变更管理、数据主题以及结果的呈现和交流方法)
2、掌握AI Machine Learning算法,会用工具(比如Python/R)进行建模。
传统BI分析能回答过去发生的事情吗?现在发生了什么?但是以后会怎么样呢?必须依靠算法。虽然Tableau、FineBI等自助式BI已经内置了一些分析模型,但是分析师还需要Python/R这样的数据挖掘工具进行更全面、更深入的探索。另外,大数据之间的隐藏关系是传统工具人工分析做不到的。这时候如果用算法实现,无疑会有更多的惊喜。
其中,用于统计分析的开源编程语言及其运行环境“R”备受关注。r的优势不仅在于其丰富的统计分析库,还在于其可视化结果的高质量图表生成功能,可以通过简单的命令运行。此外,它还有一个名为CRAN(综合R存档网络)的包扩展机制。通过导入扩展包,您可以使用标准状态下不支持的函数和数据集。虽然R语言很强大,但是它的学习曲线很陡。个人建议先从python开始,里面有丰富的统计库,NumPy,SciPy.org,Python数据分析库,matplotlib: python绘图。
最后,怎么说呢?不管什么时候教商业分析、数据分析、数据科学,他的价值还是在于商业价值。数据人才的最终发展也一定是要住企业运营VP和战略参谋。例如,数据战略家可以利用IT知识和经验进行商业决策,数据科学家可以结合对专业知识的深入理解,利用IT技术开发复杂的模型和算法,分析顾问可以结合实际的商业知识和分析经验,专注于下一次行业爆发。
所以你需要具备沟通、组织、管理能力和商业思维,不局限于某个职位,需要站在更高的角度思考,为企业谋福利。同时也要思考如何用“数据分析”这张牌在公司发挥价值,用数据驱动企业运营。这是值得思考的。
推荐课程如果想快速建立对数据分析的认知,找到学习方向,推荐陆琴老师《7周入门数据分析》。
如果你想从事或者曾经从事过数据工作,比如“表哥表哥”,需要一个热情的棒球来帮忙教你,这里有一个安利的培训课程叫《决策菁英》。
这个课程是我见过的比较完整和接地气的。从行业背景、个人定位、工具技术学习、业务需求协调、职业发展、数据分析在企业的影响力等方面都有详细解答。
尤其是成为数据分析师后,你可能会面临一些问题:比如你根据数据分析得出的结论和建议,领导不会接受,决策困难,你自己也做不出什么成绩。如果你的发展顺利,公司成立了数据中心,你作为领导,为了满足现在和未来的各种业务需求,可能需要设计开发数据产品。你的工作很大一部分涉及到如何与业务和技术(si)和(bi)沟通。
最后,要成为数据部门的老板,你可能需要考虑如何放大个人和部门在企业中的影响力。在这里,数据分析可能要在全公司推广,数据分析的决策可能也要上升到影响战略的层面,还有很多技能之外的东西。