职位福利
91
职位详情
- 招聘人数：若干
- 到岗时间：不限
- 年龄要求：不限
- 性别要求：不限
- 婚况要求：不限
1. 负责分布式爬虫系统的开发，维护，与优化2. 负责各类数据抓取、清洗、消重、入库等工作3. 实时监控爬虫的进度和警报反馈4. 研究爬虫和反爬虫策略，并能应用到现有项目中任职要求1. 3年以上爬虫项目开发经验2. 熟悉 Python 语言，熟悉常用爬虫框架中的一种或多种，如pyspider， Scrapy等3. 熟悉 xml/HTML/JS/CSS/Ajax/Cookie 等相关知识，熟悉 urllib、PyQuery、BeautifulSoup、Puppeteer 等工具4. 熟悉网页抓取原理及技术，熟悉正则表达式、XPath，可以从结构化的和非结构化的数据中获取信息5. 熟悉linux系统，熟悉Internet基本协议（如TCP/IP, HTTP等），熟悉 HTTP 代理6. 阅读英文技术文档无障碍
