职位描述：
职责描述：
1、负责各主流网站公开数据的爬取（文本，图片，视频）
2、负责网站数据采集，分析数据来源，提高数据质量。
任职要求：
1、熟练掌握python开发，有扎实的编程功底，熟悉常用的数据结构和算法。
2、熟悉爬虫框架，熟练掌握多线程、多进程开发；
3、能处理常见的主流网站反爬机制，并制定相应的反爬措施；
4、至少掌握一种数据库的操作，如mysql，mongdb等。
5、掌握验证码识别技术，有过相关爬虫项目经历，掌握app数据爬虫者优先；
6、一年以上爬虫工作经验。