爬虫开发高级工程师

招聘人数：若干 到岗时间：不限 年龄要求：不限 性别要求：不限 婚况要求：不限 1. 负责多平台信息爬取和页面内容的提取分析；2. 参与爬虫系统的架构设计和研发，独立进行抓取和清洗工作；3. 负责技术难点的攻克；4. 负责大规模数据爬虫的性能优化工作；任职要求：1. 计算机相关专业，本科及以上学历；3年以上实际爬虫开发、内容提取工作经验；能独立解决实际开发过程碰到的各类问题；2. 熟悉Java 、Python、Groovy等语言的开发，熟悉Linux命令；3. 深入了解Http协议 和 web登录认证机制，熟悉web前端，可读懂js代码；4. 了解多线程、多进程、网络通信编程相关知识，有过海量数据爬取经验、清洗项目经验； 5. 掌握网页抓取原理及技术，了解基于Session的登录原理，熟悉基于正则表达式、XPath、CSS等网页信息抽取技术；6.熟悉Mysql，redis，mongdb，oracle至少之二，有过数据库调优和海量数据存储经验优先；7.有验证码破解，反爬，分布式爬虫架构，数据挖掘，搭建数据仓库经验者优先；8.具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先。9 了解APP模拟及接口验签破解技术，了解APP用户授权访问机制，掌握Selenium，APP破解技术优先；10. 工作认真细致踏实，优秀的学习能力与抗压能力； 11.掌握简单的验证码识别技术、爬虫高并发技术，流式处理经验者优先。