大数据运维工程师需要哪些知识,大数据平台运维工程师做什么
大数据运维工程师需要及时反馈技术处理过程中的异常情况，及时向上级反馈告警，积极协调资源推动问题解决。以下是边肖编制的大数据运维工程师岗位主要职责。
大数据运维工程师岗位1主要职责
1)承担团队的日常管理工作，如职责安排、工作分配、日常考核等。
2)组织制定和完善与本部门相关的管理制度、SOP、MOP和应急预案；
3)组织制定中央基础设施维护计划，做好相关计划的实现、控制和优化；
4)审核、报批、组织实施各类变更申请和事件报告，做好相关应急工作的指挥和处理；
5)组织数据中心基础设施运维相关的培训、训练和演练；
6)协助商务部与外包服务商谈判相关维护服务合同，监督服务实施并要求审计和评估，确保相关基础设施稳定运行；
7)负责数据中心基础设施资源统计和容量预警，做好月度水电统计、PUE统计和分析；
8)配合数据中心常驻客户的选址、平面布局、改造实施、常驻管理等支持协调工作；
9)编制和提交月度基础设施报告和环境报告；
10)数据中心基础设施的持续优化和改进；
1)负责上级领导交办的其他工作。
大数据运维工程师岗位二主要职责
职责：
根据产品需求，完成产品功能的设计、编码、测试和发布；
现场项目支持，分析、定位和解决现场反馈工单的问题；
分析、设计和完成现场项目提出的新需求；
根据产品和技术开发的需求，完成平台的设计、开发和维护。
工作要求：
本科以上学历，计算机或软件工程专业，3年以上相关工作经验；
精通sql、greenplum/postgresql、impala、oracle、mysql中至少一项技术，并能集成灵活使用；
熟悉zookeeper、hdfs、spark、MR、hbase等hadoop平台常用组件的运行原理；
基于linux/unix平台的shell和python通用脚本开发。
大数据运维工程师岗位3主要职责
职责：
1.负责公司大数据平台自动化运维的开发、监控和优化，确保数据平台服务的稳定性和可用性；
2.负责公司Hadoop核心技术组件的日常运维；
3.负责公司大数据平台的现场故障处理和排查；
4.研究大数据前沿技术，完善现有系统的服务和运维架构，增强系统的可靠性和可操作性；
工作要求：
1.本科以上学历，计算机、软件工程等相关专业。具有3年以上相关经验。
2.精通Linux运维命令，熟悉Linux维护管理，熟悉Shell/Python脚本开发，掌握Scala/JAVA者优先；
3.熟悉大数据项目的实施：包括Kafka、Hadoop、Hive、Hbase、Spark等大数据生态系统的平台搭建、监控和调优；
4.良好的团队精神、服务意识、沟通协调能力；
大数据运维工程师岗位4主要职责
职责：
1.负责Hadoop、HBase、Hive、Spark等大数据平台的规划、部署、监控和系统优化，保证高可用性；
2.负责公司大数据平台的运维管理、集群容量规划、扩容和性能优化；
3.处理公司大数据平台的各类异常和故障，保证系统平台的稳定运行；
4.设计并实现大规模分布式集群的运行、维护、监控和管理平台；
5.对操作的深入研究
职责：
1.负责大数据管理平台产品的运维支持，包括项目实施(安装、调优、培训)、项目联调及其他日常维护等。
2.负责大数据管理平台产品自动化运维相关脚本的开发和维护；
3.参与大数据管理平台的其他相关工作；
4.领导交办的其他事项。
工作要求：
1.熟悉Linux(redhat/centos)软硬件环境、系统管理和优化，熟练部署和优化各种常用服务，熟练使用Linux命令；
2.具有一定的故障排查能力，能够独立排查和解决操作系统层面的各种问题，具有良好的技术敏感度和风险识别能力，熟悉一种以上脚本语言(Shell/Python等。);
3.熟悉Hadoop大数据生态系统，包括但不限于Zookeeper、HDFS、YARN、Hive、Hbase、Spark、Kafka、Flume、ES、MySQL等。
4.熟悉Hadoop组件的原理和实现，具有实际部署、维护、管理(包括元数据管理)和优化经验，具备持续调优能力。有大型数据平台运维管理经验者优先；
5.熟悉常用的安全协议和组件服务，配置和管理hadoop组件的权限、安全和kerberos。熟悉SSL、ACL、kerberos等的使用。在大数据环境场景下；
6.大型节假日需要低频维护的各种项目，可以延期；
7.有良好的服务意识，善于主动思考，自我驱动。良好的沟通协调能力、团队精神和较强的文档写作能力；
8.211、985等国内知名高校本科或硕士优先(注意只是加分项，不是必须项)；
9.有实际工作经验者优先；
相关文章：
