爬虫工程师

招聘人数：1-3人 到岗时间：不限 年龄要求：不限 性别要求：不限 婚况要求：不限 岗位职责：1.负责分布式抓取平台的核心技术研发，通过对抓取、解析、调度、存储等模块的拆分与优化，构建和完善统一的抓取服务平台；2.负责爬虫需求的分析与梳理，完成方案的详细设计与实现，持续优化产品与系统架构，提供疑难技术的解决方案；3.负责垂直领域数据爬取，进行多平台信息分析，保障产品丰富、优质的内容源。任职要求：1.计算机及相关专业本科及以上学历，3年以及以上爬虫开发、内容提取工作经验；2.精通至少一种开发语言，如Java、Python，熟悉Linux系统、Shell等脚本语言，熟练掌握正则表达式；3.熟练掌握一种开源爬虫框架，如scrapy、webmagic、nutch、heritrix等，有研发爬虫框架经验者优先；4.熟悉高并发、高性能的分布式系统的设计及应用，有数据库调优、海量数据存储与处理经验者优先；5.对网络通信、TCP协议有较为深入的理解，有相关安全领域经验者优先；6.逻辑思维缜密，善于独立分析并解决核心问题，如爬虫策略、防屏蔽规则、数据破解策略、App爬取、死链检测、验证码识别技术等；7.对常规统计分析有一定的理解，有数据挖掘相关工作经验者优先；8.熟悉Hadoop、Spark、Hive等大数据处理工具者优先；9.具有创新思维，学习能力强，有一定的抗压能力，善于沟通和团队协作，乐于分享。