大数据互联网公司,发展空间大,公司环境好
1、负责数据的抓取和提取处理
2、分析数据结构,解析、过滤、去重、结构化处理
3、参与算法和策略的优化研究,提升抓取效率和质量
4、负责爬虫系统的运维,爬虫脚本开发,及其他相关的研发工作
要求:
1、理解计算机数据结构,清楚常见算法思路,熟悉 java, javascript, 正则, XPath
2、有一定的爬虫采集经验,熟悉各种基础库或相关工具(scrapy/pyspider/Selenium/Beautiful Soup/PhantomJS)
3、熟悉Http传输协议相关知识,熟悉json、xpath网页解构,熟悉代理池、分布式网络爬虫等技术
4、快速学习能力,工作积极主动,有创业热情