大数据工程师岗位职责（集锦5篇）
1.大数据工程师岗位职责 第1篇
职责
1、负责基于hadoop/spark生态系统、亿级别数据的全文检索，搜索引擎的产品研发;
2、基于海量用户行为数据和其他数据，分析和研究数据与实际业务的关联关系，并与实际业务应用相结合开发;
3、负责大数据分析需求设计和开发，承担数据抽取、清洗、转化等数据处理程序开发。
任职要求：
1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技术及其生态圈，具备相关项目开发经验，有数据实时计算项目经验优先;
2、有搜索引擎全文检索开发经验 ，如：elasticsearch、solr;
3、熟悉python、R任意一门开发语言;
4、有SAAS，PAAS企业级应用平台或者互联网，金融等大型应用平台开发经验优先考虑;
5、 本科及以上学历，计算机/软件工程/统计学/数学等相关专业，互联网/金融等行业3年以上工作经验;
6、拥有良好的代码习惯，要求结构清晰、命名规范、逻辑性强、代码冗余率低，代码注释清晰;
scala python7、熟悉使用svn，禅道等项目管理工具，有良好的团队协作开发经验.
2.大数据工程师岗位职责 第2篇
职责：
1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发;
2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发;
3、大数据平台各类数据业务抽象及模型化;
4、参与大数据管理平台的开发及维护;
5、负责大数据平台数据及相关的应用开发，调优及维护;
6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;
7、良好的团队合作与沟通能力。
任职要求：
1、本科及以上学历，2年以上大数据应用开发经验;
2、具备Java、Python、Scala其中两种语言的开发经验;
3、了解泛Hadoop大数据生态圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术，并有实际的项目开发经验，有相关源码研究者优先;
4、具备ETL开发与运维能力，有Flume、kettle经验优先;
5、熟悉大数据平台的搭建过程，熟悉数据处理流程，有TB级以上数据处理经验优先，有实时数据处理经验者优先;
6、熟悉离线和实时数据处理流程，熟练使用Spark，Flink处理TB级数据优先;
7、熟悉Linux系统环境，有shell等脚本编写经验，熟悉Mysql、PostgreSql、Oracle等常用关系数据库，熟练编写SQL语句;
8、熟悉Yarn,Kubernetes,Azkaban等资源调度框架者优先;
9、熟悉Datax的二次开发，并有实际开发经验优先。
3.大数据工程师岗位职责 第3篇
职责：
1、负责公司大数据平台的部署、管理、优化、监控报警，保障平台服务7_24稳定可靠高效运行;
2、深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长;
3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具;
4、负责Hadoop/spark/Mysql等集服务、业务监控、持续交付、应急响应、容量规划等。
任职要求：
1、3年以上互联网运维相关工作经验，2年以上大数据平台运维相关工作经验;
2、具备一定的故障排查能力，有良好的技术敏感度和风险识别能力，精通一门以上脚本语言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等协议;
3、熟悉Hadoop大数据生态圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;
4、熟悉Hadoop各组件的原理和实现，有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力，运维管理过大规模数据平台;
5、熟悉 Kubernetes(K8s) 集 Docker 在大数据环境场景的使用;
6、熟悉Linux(redhat/centos)软硬件环境、系统管理和优化，熟练部署、优化各种常用服务
7、有Java开发经验和阅读源码能力者优先。
4.大数据工程师岗位职责 第4篇
职责：
负责公司大数据业务集的运维工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等)确保高可用;
负责大数据平台的日常部署、升级、扩容、迁移;
设计实现大规模分布式集的运维、监控和管理平台;
参与业务架构设计，在设计阶段给出可运维性改进建议;
深入研究大数据业务相关运维技术，持续优化集服务架构，探索新的大数据运维技及发展方向;
兼顾应用系统的运维工作。
任职要求：
要求掌握java、shell语言，有Spring Cloud微服务架构开发经验的优先;
了解Docker，可以做简单应用;
熟悉Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等开源项目优先;
熟悉Linux操作系统的配置、管理及优化，能够独立排查及解决操作系统层面的问题;
掌握puppet、kerberos应用的优先;
良好的客户服务意识，强烈的责任心和使命感，执行力强，富有团队合作精神;
对大数据方向运维有很高的热情和兴趣，能主动学习了解相关知识;
5.大数据工程师岗位职责 第5篇
职责：
负责公司大数据平台的运维保障;
负责大数据平台的架构审核、业务监控、持续交付、应急响应、容量规划等;
为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;
负责生产及测试集诸如故障定位恢复、系统安全、性能优化等;
任职要求：
计算机相关专业本科及以上学历，3年以上相关工作经验
精通Hadoop大数据生态圈，熟悉Hadoop各组件的原理，并有实际部署维护经验;包括但不限于HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等;
具备很强故障排查能力，有很好的技术敏感度和风险识别能力,良好的服务意识，善于团队协作，项目管理，主动思考，自我驱动力强;
有相关动态编排容器技术和虚拟化技术工作经验者优先;
深入理解Hadoop各组件的原理和实现，有阅读源码能力者优先;
具备很强的ownership，故障排查能力，有很好的技术敏感度和风险识别能力。