Operations Engineer - Big Data

我们的愿景

团队介绍

岗位职责

• 负责PB规模大数据集群的部署、监控、维护和优化，保证集群的稳定性和性能；.
• 监控和分析系统日志，快速定位和解决故障；
• 深入研究Doris、Hbase、k8s、Flink等组件的原理，持续优化服务架构；
• 定期进行大数据组件的性能评估，提出改进措施，持续提升平台稳定性；
• 推进自动化运维平台建设，提升运维工作效率；
• 编写和维护运维文档，包括使用手册和应急影响流程。

任职资格

• 计算机相关专业本科及以上学历，3年以上大数据平台运维经验；
• Doris：熟悉FE/BE架构、数据分片、表模型优化；
• Flink：掌握作业调度、状态管理、资源监控（特别是On YARN/K8s环境）；
• HBase：精通读写性能优化、Phoenix集成、HDFS存储层调优；
• Kafka：熟悉ISR机制、副本同步、消费者组管理及Kafka Connect应用；
• 具备扎实的Linux系统运维能力，熟练使用Shell/Python编写运维脚本；
• 掌握Prometheus+Grafana监控体系搭建，具备Zabbix/ELK等工具使用经验；
• 熟悉容器化技术（Docker/K8s），了解CI/CD流水线建设；
• 具备强烈的责任心，优秀的故障排查能力和抗压能力。

加分项

• 有PB级大数据平台运维经验；
• 熟悉Hadoop生态组件；
• 具备云原生大数据平台运维经验（AWS EMR）；
• 熟悉数据中台产品。

Gate价值观

我们的公司