大数据运维工程师岗位的主要职责(通用29篇)
大数据运维工程师岗位的主要职责 篇1
1) 承担团队的日常管理,如值班安排、工作分配、日常考评等;
2) 组织制订、完善与本部门相关的管理制度、标准操作手册SOP、维护操作MOP和等;
3) 组织制定中心基础设施保养计划,做好相关计划的实现、控制及优化工作;
4) 审核、报批、组织实施各类变更申请、事件报告工作,做好相关应急工作的指挥与处理;
5) 组织开展数据中心基础设施运行维护相关培训、训练与演练;
6) 协助商务部与外包服务商洽谈相关维护服务,监督服务实施并要求进行审核与考评,确保相关基础设施的稳定运行;
7) 负责数据中心基础设施资源统计、容量预警工作,做好每月用水用电统计、PUE统计与分析;
8) 配合数据中心进驻客户的场地选址、平面布局、改造实施、进驻管理等支持协调工作;
9) 基础设施月报、环境报告的编写和提交;
10) 数据中心基础设施的持续优化和改善;
11) 负责上级主管领导交办的其它工作。
大数据运维工程师岗位的主要职责 篇2
职责:
根据产品需求,完成产品功能的设计、编码、测试和发布;
现场项目支持工作,对现场反馈工单问题进行分析、定位和解决;
对现场项目提出的新需求进行分析、设计并完成;
根据产品和技术发展要求,完成平台的设计、开发和支持维护工作。
职位要求:
本科及以上学历,计算机、软件工程相关专业,3年以上相关工作经验;
精通sql、greenplum/postgresql、impala、oracle、mysql至少1种技术、可融汇贯通灵活转换使用;
熟悉hadoop平台zookeeper、hdfs、spark、MR及hbase等常用组件的运行原理;
基于linux/unix平台进行shell、python的常用脚本开发。
大数据运维工程师岗位的主要职责 篇3
职责:
1、负责公司大数据平台自动化运维开发、监控和优化工作,保障数据平台服务的稳定性和可用性;
2、负责公司Hadoop核心技术组件日常运维工作 ;
3、负责公司大数据平台现场故障处理和排查工作;
4、研究大数据前沿技术,改进现有系统的服务和运维架构,提升系统可靠性和可运维性;
任职要求:
1、本科或以上学历,计算机、软件工程等相关专业,3年以上相关从业经验
2、精通Linux运维命令,熟悉Linux的维护和管理,熟悉Shell/Python脚本开发,掌握Scala/JAVA优先;
3、熟悉大数据项目实施:包括不限于Kafka、Hadoop、Hive、Hbase、Spark等大数据生态的平台搭建,监控和调优;
4、良好团队精神服务意识,沟通协调能力;
大数据运维工程师岗位的主要职责 篇4
职责:
1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等,确保高可用;
2、负责公司大数据平台的运维管理工作,集容量规划、扩容及性能优化;
3、处理公司大数据平台各类异常和故障,确保系统平台的稳定运行;
4、设计实现大规模分布式集的运维、监控和管理平台;
5、深入研究大数据业务相关运维技术,持续优化集服务架构,探索新的大数据运维技及发展方向。
任职要求:
1、熟悉Hadoop/HBase/Hive/Spark/Kafka/Zookeeper等开源项目的安装与调试,升级扩容;
2、熟悉Hadoop大数据生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、Kafka、Flume等;
3、精通一门以上脚本语言(shell/perl/python等),熟练掌握Linux系统及常规命令与工具,熟练的Shell脚本编写能力。
大数据运维工程师岗位的主要职责 篇5
职责:
1.负责大数据管理平台产品的运维支撑工作,包括项目实施(安装、调优、培训)、项目联调以及其他日常维护等;
2.负责大数据管理平台产品的自动化运维相关脚本的开发、维护等;
3.参与大数据管理平台其他相关工作;
4.领导交付的其他事宜任职要求
任职要求:
1.熟悉Linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务,熟练使用Linux 命令;
2.具备一定的故障排查能力,能够独立排查及解决操作系统层的各类问题,有良好的技术敏感度和风险识别能力,熟悉一门以上脚本语言(Shell/Python等);
3.熟悉Hadoop大数据生态圈,包括但不限于Zookeeper、HDFS、YARN、Hive、Hbase、Spark、Kafka、Flume、ES、MySQL等;
4.熟悉Hadoop各组件的原理和实现,有实际部署维护、管理( 包括元数据管理)及优化经验,并拥有持续调优能力,运维管理过大规模数据平台经验者优先考虑;
5.熟悉掌握常用的安全协议和组件服务,对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉SSL、ACL、kerberos等在大数据环境场景的使用;
6.大型节假日需低频次维护各项目,可以调休;
7.具备良好的服务意识,善于主动思考,自我驱动力强。有良好的沟通、协调能力,富有团队精神,有较强的文档编写能力;
8.本科或硕士毕业于211、985等国内知名高校者优先(注意,仅是加分项,不是必须);
9.有实际工作经验者优先;
大数据运维工程师岗位的主要职责 篇6
职责:
1、 负责应用系统的日常维护,解决常见应用问题;
2、 负责应用系统上线工作,包括环境的搭建、应用的部署和数据库用户的初始化;
3、 通过部署脚本对生产环境程序和日志进行备份,并传输到备份服务器保存;
4、 负责测试平台与生产平台一致性部署和维护等工作;
5、 事件处理、变更流程。
hbase官方文档任职要求:
1,本科以上学历;
2,3年以上MySQL数据库管理相关经验,有银行从业经验的优先;
3,精通MySQL数据库的运行维护,熟悉mycat分布式中间件管理;
4,具备很强的故障排查能力,有很好的技术敏感度和风险识别能力。