岗位职责:
1、设计和开发网络爬虫算法,从多平台采集数据并整理入库;
2、维护爬虫程序与数据接口,规避反爬措施,提升数据抓取的效率和质量;
3、独立解决爬虫开发和维护过程中的各类问题;
4、完成mysql基础建表、数据入库、基本操作、维护等;
5、根据业务需求,寻找需要的数据源;
6、配合团队完成其他相关工作任务。
任职要求:
具有良好的Python基础和编码风格,熟悉正则表达式、有Python多线程、多进程编程经验;
能够使用urllib、BS、Request、Scrapy、Selenium、PySpider等开发爬虫算法,处理登录、验证、cookie等;
有相关爬虫经验优先
熟悉网页前端相关语言、工具与数据结构(HTML、JS、JQuery、Ajax、DOM、json等),了解后端原理与相关框架;
掌握常用数据库(SQLServer、MySQL)及相应的DDL、DML,熟悉数据库日常维护、备份;
具有较强的学习能力、良好的沟通、团队协作和计划能力,能够独立解决技术问题;
熟悉金融、证券、基金、私募者优先;
熟悉js、html等前端技术者优先。
相关福利
1. 难忘的创业工作经历,在小团队内建立紧密的人际关系和良好愉快的工作氛围,见证创业团队的发展壮大,有望成为长久的工作伙伴或合伙人。
2. 如参与项目,会有项目奖金
3. 实习证明
4. 导师工作指导
5. 相关工作小组的人脉、知识、资源分享