[深圳-南山区]Python开发工程师工作职责

岗位职责：

1. 负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作

2. 负责网页信息和app数据抽取、清洗、消重等工作，提升平台的抓取效率

3. 参与爬虫核心算法和策略优化，熟悉采集系统的调度策略

4. 实时监控爬虫的进度和预警反馈。

5. 建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善

岗位要求：

1. 熟悉爬虫原理，熟悉常见的反爬技术，有爬虫相关项目经验者优先

2. 熟练掌握Python，掌握htpp协议，熟悉html，dom，xpath等常见的数据抽取技术

3. 了解大数据平台框架和产品组件原理和应用场景，如消息队列，Spark，hadoop，hive，Flink，Hbase等。

4. 有大规模数据处理，信息提取等经验者优先

参考工资：1.5-2.5万/月