【岗位职责】 1、编写抓取互联网及数据库内容的网络爬虫以获取潜在线索； 2、应用机器学习对合格线索进行分类、排序及评估； 3、使用机器学习搜索新线索； 4、开发并应用自定义Selenium程序以全自动化线索获取过程； 5、研究互联网新前沿技术及程序，实现搜索化； 6、识别所需内容关键字，实现信息获取化； 7、通过网页对比确保相关抓取数据的准确度。 【工作要求】 1、熟悉Python，熟悉Scrapy框架； 2、有丰富的爬虫系统开发、反爬虫经验者优先； 3、熟悉Linux操作系统、熟悉HTTP协议及常用数据结构及算法； 4、熟悉NoSQL数据库(Redis/MongoDB等)，有数据分析经验者优先； 5、熟悉Selenium，有自动化测试经验； 6、熟悉机器学习理论，常用框架以及参数优化等，有良好的数学基础。