BI数据分析培训,bi数据分析培训课程

本文目录：

　　数据分析师的工作内容，数据分析师的能力要求，数据分析与数据挖掘，数据分析师的困境，数据分析师的推荐总结

　　虽然数据分析师是很多互联网公司设立的职位，但是不同的公司对于这个职位的定位是不一样的。即使是统一的公司，数据分析师的职责、角色、地位在不同的团队中也可能有所不同。

　　本文结合作者自身的实践经验，总结了数据分析师工作的内容、要求、工具、技巧等方面。由于经验不足，文章内容难免有所遗漏。请原谅我。也欢迎交流。

一、数据分析师的工作内容

　　从定位上来说，数据分析师是一个“业务支持”类型的工作。数据分析本身就是通过数据最终解决业务问题的过程。

　　按照支持的方向可以分为产品数据分析师和运营数据分析师。

　　产品数据分析师，顾名思义，专注于支持产品分析，包括但不限于产品埋藏、产品功能分析、产品核心指标分析、产品用户分析。

　　数据分析师的工作主要包括运营策略评估、运营活动分析、日常运营分析、业务效果分析等。两者的共同点是，都需要通过各种方法从数据中找出当前业务中存在的问题和不足，提出改进策略推至地面，并对策略或功能上线后的效果进行评估。

　　因此，他们的输出通常包括基础数据表、在线数据报表、数据分析报告以及其他相关文档(如埋藏文档、PPT报告等。).分析师的输出可以给产品经理、运营人员等业务方，也可以给高层领导。前一种情况下，分析师通常拥有一定的主动权和话语权，后一种情况下，可能相对被动(当然需要具体分析)。但是，在这两种情况下，数据分析师都是帮助业务方从更深层次了解业务，洞察业务，发现新的增长点。

　　具体来说，数据分析师的工作包括以下几个方面：

　　1.1数据嵌入的策划、确认和整理。无论是新的产品功能，还是运营活动，上线前都必须对嵌入进行规划，确保核心数据指标的嵌入上报逻辑正确。数据分析师需要配合产品经理一起整理埋点，不是所有的点都能埋，也不能遗漏核心埋点，更不能上线后再补埋点。还需要了解如何从对应的数据表中获取被埋数据，是否与已有的被埋数据有冲突，不同版本的被埋数据之间是否存在差异。再者，可能有一些埋藏数据需要经常使用，而埋藏数据的底层表通常数据量较大，直接检索效率可能相对较低。这时候可以考虑对我们关心的数据做一个每日的预定任务，每天生成一个表格，供后期分析。

　　1.2数据指标体系的指标是业务场景的定义。它需要索引的名称和值、相应的算法，必要时还需要SQL。指标体系是由许多既独立又相互联系的指标组成的统一整体。指标体系通常可以按照指标集维度集的思想来构建。指标集是围绕核心指标的一系列指标，维度集包括时间维度和空间维度，如年、月、日、周、分、秒、全国各省市等。维度还可以包括业务细分维度，如操作系统、新老用户、支付方式等。在日常工作中，数据分析师需要梳理不同层次的指标体系，明确其计算逻辑、口径和使用场景，确保能够使用最合适的指标，更好地服务于业务。

　　1.3日常业务分析与主题分析的前一部分紧密相连。日常分析包括在线产品功能的收入分析，以及关键指标的日常监控和交易分析。在线产品分析需要结合具体功能。指标监控和交易分析需要一些经验。常见的交易分析方法有维度拆解、漏斗分析、公式拆解、指标相关性分析等。有时还需要与外部环境和运营事件相结合。要真正找出原因，可能需要前期的一些探索。业务成熟后，这部分可以考虑作为一个归因分析系统，自动定位原因，提高效率。其实这是一个“数据分析思维产品化”的过程，既可以沉淀自己的方法论，也可以通过产品化推广，让更多人受益。

　　主题分析是作品中价值输出比较大的一部分。相比日常分析，可能更全面，但没有明确的边界。一般来说，分为三个阶段，六个步骤：

　　第一阶段是问题识别和构建。

　　第一步：找出问题

　　第二步：回顾之前的发现

　　第二阶段是定位问题，给出解决方案。

　　第三步：建模(变量选择)

　　第四步：收集数据

　　第五步：分析数据

　　第三阶段是传达结果，把结果推到地上。

　　第六步：将数据分析结果传达给相关方，并采取行动。

　　来源：

　　1.4数据报告的配置和构建

　　数据可以采取多种形式，如每日邮报、表格、其他在线报告等。它也可以有不同的时间段，如每日、每周和每月报告。在线报告通常以统计图和统计表的形式呈现。日报和周报除了基础数据外，还需要文字解读、意见建议等。配置在线报表时，通常需要依赖一定的调度任务(每天定时自动产生数据表，在线报表直接或间接呈现这些表的数据)。

二.、数据分析师的能力要求

　　2.1技能要求必须指出的是，任何技能都只是工具。只要能达到最后的结果，不管用什么手段，简单、高效、熟悉就很重要。我们从数据采集、数据预处理、数据分析和结果呈现几个方面进行了阐述。

　　数据采集SQL技巧。我们工作中的业务数据主要来源于自己的数据库或者数据仓库。这些数据中的大部分已经由几个仓库的学生进行了处理和组织。使用SQL(这里是广义的概念，其实主要是Hive SQL)是获取数据最简单有效的方法。SQL本身入门门槛低，入门快，也不是很专业。多写多练，熟能生巧。但是一定要注意SQL逻辑和口径的准确性，这就需要我们使用正确的表格，准确的限定条件，根据经验判断检索结果。还要注意SQL的执行效率。

　　Python爬虫。除了数据库中的数据，我们还经常需要从公司外部获取数据，而python爬虫是获取互联网数据的一种常见而有效的方式，所以掌握爬虫技能是非常重要和必要的。爬虫主要包括网页获取、网页分析、数据存储等步骤。Python主要涉及requests、lxml、BeautifulSoup、pyquery、pymysql、pymongo、selenium、scrapy等工具包。

　　数据预处理

　　这个阶段包括两个部分：数据清洗和数据预处理。数据清洗的目标是提高数据质量，为后续分析奠定基础，是高质量数据的最后一道屏障。数据质量的标准可以概括为“完全统一”(参考极客时间《数据分析实战45讲》课程)。“完成”是指完整性：不能有空值、空行等。在数据中。“全”指的是全面性：主要指同一列数据。单位要统一，定义要清晰。“符合”是指合法：所有数据的取值都要在合理的范围内，不能有异常数据或非法字符。“一”意味着唯一性：相同的数据不能存在多次。因此，这个阶段可能的任务包括：数据格式转换、缺失值填充、重复值删除、非法字符处理等。数据预处理主要包括数据集成、数据转换等。数据集成是通过一定的手段对不同来源的数据进行集成，工业数据集成需要专业的ETL工具。数据转换主要是指数据的归一化，比如Max-Min归一化和Z-score归一化。以python为例。在实践中，pandas将用于数据清洗、数据集成和数据转换的sklearn工具包。

　　数据分析这个阶段是数据分析的核心，也是最能体现数据分析师价值的地方。要从“高质量”的数据入手，基于对业务场景的理解，从数据趋势、数据分布、数据计算等方面总结业务状态，提出业务改进建议。常见的数据分析方法有：象限法、公式拆解法、对比分析法、归因分析法、漏斗分析法、留存分析法、同期分组分析法、AB实验法等。

　　实际上，我们通常会使用一些可视化方法来提高分析效率。可视化工具有很多，Excel就是一个，简单易用，适合大多数人。此外，还有Tableau。虽然比较厉害，但是需要付费。python中也有很多数据可视化工具包，如matplotlib、seaborn、pyecharts、bokeh等。r也是经常被选择用于数据可视化的工具。视觉呈现常用的图表有柱形图、散点图、折线图、扇形图、气泡图、雷达图及其变体和组合。实现方式没有优劣之分。你只需要选择自己擅长的，达到结果。

　　这里的结果包括分析报告和报表的输出。主要是指分析报告以各种形式输出，可能是excel表格，word文档，大多数情况下是PPT。无论哪种方式，都需要有书面的结论，也需要用图表把问题说明清楚。所以要求熟练使用office套件。

　　报表的输出通常需要对基础平台有一定的了解，使用Shell、SQL、HDFS、spark、数据仓库等。能够处理异常情况，排除故障等。还需要能够及时准确的处理上线后可能出现的各种bug。

　　2.2这里的技能要求主要是指对业务的深入理解，同时结合一些已有的经典模型和理论。比如AARRR模型、RFM模型、二八法则、鱼骨图、cxdxgz需求理论、生命周期理论等。这些经典的方法可以帮助我们找到想法，并测试我们当前工作的完整性。这就需要一定的知识储备，更多的经济学、心理学、战略管理等方面的知识。

　　此外，数据分析师需要具备一定的数据敏感度。对于业务或行业数据，要有一定的估算和判断能力，把握一个大概的量级。对于一个数据的可信度，第一时间做出判断是数据分析师必备的能力。

　　我们在上一篇文章中提到了“产品化”，这是数据分析师在工作中需要经常总结和思考的。

三、数据分析与数据挖掘

　　广义的数据分析包括数据挖掘，比如基于业务建立数据模型。这里将使用一些经典的数据挖掘算法，如决策树、朴素贝叶斯、逻辑回归和K-Means。这部分工作在数据分析师的日常工作中也会遇到，但可能只是一小部分。不同的公司和团队不一样，要看具体情况。一般的商业分析可能不会用到这些方法，但是对它们有一定的了解是很有必要的。不仅数据分析师有时需要使用和产生这些模型，而且他们可能还需要与算法工程师联系。因此，有必要了解常见的机器学习模型(分类、聚类、降维等。)甚至深度学习的原理。个人认为，相比算法工程师，数据分析师更贴近业务，对代码能力和工程能力的要求没有那么高。

四、数据分析师的困境

　　目前很多数据分析师的岗位都存在一个问题：职称是数据分析师，其实是计数工程师。

　　数据分析师在工作中缺乏主动性和话语权，只被视为数据工具，违背了这个岗位原本的价值取向。要改变这种状况，分析师需要提高主动性，发现问题，提出自己的想法和建议，持续跟进分析结论和效果反馈，提高自己的“存在感”。改变这种状况可能不是一个人或者一夜之间就能完成的。也许需要自上而下的推动，也许需要长时间的摸索，但可以肯定的是，SQL boy这个角色并没有真正起到分析师的作用。