[深圳-南山区]python开发工程师工作职责

1、参与数据层建设，专注于基础数据采集平台建设，研究各种网页特点和规律，负责网页信息抽取、数据清洗等研发和优化工作；

2、负责设计和开发分布式网络爬虫系统，参与数据爬取平台相关工具平台的架构设计与产品开发等工作；

3、熟悉python语言、正则表达式网页解析语言、http协议；收集/抓取相关平台的数据；

4、负责定期爬取指定网站（如亚马逊、shopify）的数据，为业务部门提供数据支持；

岗位要求：

1.熟练运用装饰器方法；

2.熟悉分布式、多线程/协程/进程;

3.熟悉scrapy,scrapy-redis分布式,selenium；

 4.有 MySQL, Redis 或 MongoDB 等相关数据库使用经验。 

加分项： 1、有主流电商网站抓取经验，有模拟登陆、解决账号和ip检测相关问题的经验； 

2、熟悉反中间人攻击，对此有一套成熟的策略；了解安卓或者ios逆向

参考工资：6-7千/月