[上海-浦东新区]大数据开发工程师工作职责

1、计算机相关专业；

2、1年以上工作经验，有大数据、数据仓库相关项目经验；

3、熟悉Hadoop生态圈主流技术，熟练使用CDH平台，并精通hdfs、MapReduce、yarn、hive、spark、impala、Hbase、kudu、flume、kafka、flink、ZooKeeper等常用组件；

4、理解Spark和MapReduce的原理，能够根据日志分析程序运行出现错误的原因，并对程序运行的参数进行优化，给予数据开发人员建议和支持；

5、熟悉分布式系统、分布式计算系统的工作机制，熟悉Hadoop生态圈相关核心技术的工作机理；

6、有使用hive、华为Libra等产品做ETL、数据迁移、存储过程调优等经验；

7、有spark streaming或Flink大型项目开发经验；

8、良好的沟通能力，工作细心负责，富有创新精神、团队精神，学习能力强，抗压能力强；

参考工资：1-1.8万/月