工作职责:
1、负责构建并完善大规模分布式抓取系统;
-2、负责特定网站范围内网页的抓取、解析、分类、去重 -3、负责数据的自动化分析处理工作,对海量数据进行挖掘和分析,产出数据分布规律、变化趋势
职位要求:
1、计算机、通信及相关专业本科以上学历
2、熟练掌握C/C++/Python等编程语言3、熟悉常见的算法和数据结构
4、熟悉mysql,web开发优先5、具备很强的分析和解决问题的能力,对于攻关疑难问题具有强烈的兴趣 6、注重团队协作,有良好的沟通能力