公司名稱：某知名互聯(lián)網(wǎng)公司
工作地點(diǎn)：北京
職位描述：
分布式爬蟲開發(fā)
負(fù)責(zé)爬蟲算法/反爬策略/代理IP優(yōu)化研究及落地實(shí)施，提高爬取實(shí)時(shí)性、成功率
對(duì)抓取后的數(shù)據(jù)進(jìn)行清洗、存儲(chǔ)等，并持續(xù)優(yōu)化平臺(tái)
負(fù)責(zé)爬蟲自動(dòng)化平臺(tái)的開發(fā)和持續(xù)優(yōu)化
任職資格：
熟悉常用的爬蟲技術(shù)及架構(gòu)，具有一定的反爬分析對(duì)抗能力，2年及以上爬蟲經(jīng)驗(yàn) 有大型電商/直播/社媒/本地生活平臺(tái)爬取經(jīng)驗(yàn)，Android/iOS14逆向破解經(jīng)驗(yàn)者優(yōu)先
熟練使用Scrapy、Redis、MongoDB、Mysql、Git
熟悉Linux開發(fā)環(huán)境，熟悉Python
熟悉Selenium、Pyppeteer
