[北京-海淀区]python爬虫高级开发工程师工作职责

岗位职责:

1、 设计和开发汽车垂直网站已知账号密码下的账户爬取系统，负责爬虫核心算法和调度策略优化;

2、 负责网络网页自动图形、文字验证码的自动登录，信息精准抽取等搜索核心技术，构建高可用性、高可扩展性的网络信息搜集软件;

3、熟悉爬虫的应用策略和网站的防爬机制，解决各类验证码识别机制，提升网页抓取的效率和质量;

4、负责多个汽车垂直业务网站和APP数据的数据爬取、解析、过滤，清洗、消重、结构化处理等工作，提升平台的抓取效率。

5、软件的日常维护

任职要求:

1.       大学本科及以上学历，计算机相关专业，基础扎实;开发过类似软件

2.       Python工作经验2年以上，熟悉Python常用函数库，熟练掌握Xpath和正则表达式;

3.       精通常用Python爬虫框架中的一种或多种，熟悉Scrapy、Pyspider框架中的至少一种;

4.       熟练掌握Linux系统;

5.       熟练掌握MySql、Redis、MongoDB等，有丰富的mysql性能优化经验;

6.       熟练掌握网页抓取原理及解析技术，对SQL优化有一定的经验熟悉基于正则表达式、XPath、CSS等网页信息抽取技术;

7.       具有优秀的团队合作和沟通协作能力，善于学习，能承受较大的工作压力。

参考工资：1-3万/月