数据开发
qy2021-03-10
岗位职责：
1、负责设计、开发、维护分布式爬虫系统；
2、负责跨平台的数据抓取（app、web等），为公司业务提供稳定正确的数据；
3、负责爬虫系统的后台监控、报警模块的开发；
4、持续完善爬虫框架及性能，保证稳定性及可扩展性。
岗位要求：
1、3年或以上的开发经验，熟练掌握 Python、了解Java/Nodejs的优先；
2、熟悉反中间人攻击，对此有一套成熟的策略；了解安卓或者ios逆向；
3、熟悉 HTML、XPath、正则表达式、AJAX等；
4、具有分布式、多线程/协程/进程的编程经验;
5、有 MySQL, Redis 或 MongoDB 等相关数据库使用经验;
6、有数据意识，有产品数据方面相关经验。
加分项：
1、有大数据开发经验，数仓建模、数据治理经验，或了解相关开发流程；
2、有主流电商网站抓取经验，有模拟登陆、解决账号和ip检测相关问题的经验；
