大数据开发工程师

1. 负责大数据平台基础组件的开发, 负责大数据ETLs、pipelines开发和维护，持续优化大数据平台的计算和存储效率。

1. 本科及以上学历，计算机及相关专业 ，3年以上工作经验

2. 熟悉大规模数据处理、分布式计算等相关技术，如Hadoop 、Hive、Spark、MapReduce等更佳。

3. 熟悉HDFS、 HIVE、 KAFKA、ZOOKEEPER、 SPARK、FLINK等大数据软件体系架构及源码，了解核心组件内部原理。

4. 有大数据系统项目经验，有海量数据处理和分析经验，了解如何搭建分布式处理系统。

5. 熟悉实时计算引擎，掌握Spark、Flink等至少一个实时组件开发、部署、性能调优。

6. 了解云原生技术，对k8S，Docker等有实际的项目经验，对微服务架构有一定的实践经验

7. 有基于大数据平台的数据治理、 作业调度、大数据开发套件等大数据平台应用组件的设计开发经验优先

8. 熟悉数据资产管理思想，如：元数据管理、数据血線、指标管理、数据质量、数据安全等，有实际的产品落地经验者优先。