職責描述:
1、負責數據采集系統的技術架構設計與核心功能開發;產品開發和技術研究工作,解決各類技術疑難問題;
2、負責核心算法的策略優化研究,充分利用資源,避免限制;
3、有良好的成本意識,對產品性能有比較高的追求,好的大局觀,有良好的學習能力。
任職要求:
1、有3年以上爬蟲工作經驗并有高并發大量采集項目經驗優先考慮;
2、有較強的責任心、溝通協調能力,工作主動積極;
3、熟練Python編程語言,掌握反爬技術,圖片識別碼,滑動塊識驗碼等技術優先考慮;
4、熟悉Scrapy,Django,Flask, Tornado等至少一種框架;
5、熟悉關系型數據庫(MySQL/PostgreSQL/Oracle),緩存數據庫(Redis/Memcached)優先考慮;
6、精通一種開源爬蟲框架,如scrapy等,有開發爬蟲框架、構建過分布式爬蟲系統者優先;
7、有獨立項目(前后臺)開發經驗優先;
8、能力突出可以帶Python團隊。