技术氛围好,发展空间大
工作职责
1. 负责分布式爬虫系统,分布式数据分析系统的架构设计和实现;
2. 负责网页信息抽取等核心算法的研究和优化;
3. 参与爬虫核心算法的策略优化研究,提升网页抓取的效率和质量;
4. 负责爬虫系统的后台监控、报警模块的开发。
职位要求
1. 有扎实的编程功底,热爱编程;
2. 优秀的学习能力,分析和解决问题的能力和强烈的进取心;
3. 熟悉Linux/Unix开发环境,熟悉至少一种开发语言(Python / Scala / Go / Java / C 等);
4. 熟悉Mysql,Redis,Mongdb三者至少之一;
5. 了解HTTP协议、正则表达式、xpath等;
6. 2018及以后毕业,每周实习不低于4天,至少保证实习6个月以上;
优先条件
1. 熟悉Scrapy, Pyspider,Selenium等框架;
2. 有GitHub帐号,向开源项目提交过Patch;
3. 对大数据技术有钻研热情,乐于分享。
PS: 请记得留下你的 GitHub 、技术博客等 ID,方便我们更好地了解你