招聘人数:若干
到岗时间:不限
年龄要求:不限
性别要求:不限
婚况要求:不限
1. 负责分布式爬虫系统的开发,维护,与优化2. 负责各类数据抓取、清洗、消重、入库等工作3. 实时监控爬虫的进度和警报反馈4. 研究爬虫和反爬虫策略,并能应用到现有项目中任职要求1. 3年以上爬虫项目开发经验2. 熟悉 Python 语言,熟悉常用爬虫框架中的一种或多种,如pyspider, Scrapy等3. 熟悉 xml/HTML/JS/CSS/Ajax/Cookie 等相关知识,熟悉 urllib、PyQuery、BeautifulSoup、Puppeteer 等工具4. 熟悉网页抓取原理及技术,熟悉正则表达式、XPath,可以从结构化的和非结构化的数据中获取信息5. 熟悉linux系统,熟悉Internet基本协议(如TCP/IP, HTTP等),熟悉 HTTP 代理6. 阅读英文技术文档无障碍
求职提醒:求职过程请勿缴纳费用,谨防诈骗!若信息不实请举报。