崗位職責(zé)：
1. 負(fù)責(zé)移動客戶端數(shù)據(jù)采集、識別與正確解析。
2. 負(fù)責(zé)移動端爬蟲架構(gòu)設(shè)計（包括基礎(chǔ)資源，如移動設(shè)備群集技術(shù)、代理池技術(shù)、反反爬技術(shù)、移動設(shè)備群控技術(shù)等等）與核心技術(shù)研發(fā)。
3. 負(fù)責(zé)移動端數(shù)據(jù)的特征挖掘，主要對移動設(shè)備數(shù)據(jù)請求協(xié)議、移動端交互數(shù)據(jù)、資源變化趨勢等進(jìn)行數(shù)據(jù)抓取、分析和特征建模。
4. 設(shè)計策略和算法，提升數(shù)據(jù)抓取的效率和質(zhì)量，進(jìn)一步解決系統(tǒng)的網(wǎng)頁排重、垃圾控制、資源劃分等問題 。
5. 分析爬蟲系統(tǒng)的技術(shù)缺陷，對策略架構(gòu)做出合理地調(diào)整和改進(jìn)。
任職要求：
1. 精通Java/C++/Python語言編程，熟悉linux平臺開發(fā)與部署。
2. 熟悉HTTP、XML、JSON、SOAP、tcp/ip、網(wǎng)絡(luò)代理等網(wǎng)絡(luò)協(xié)議。
3. 熟悉APK反編譯、IDA、Android Studio等常用客戶端逆向分析工具，熟悉客戶端動態(tài)調(diào)試技術(shù)。
4. 熟悉常見的移動端反爬機(jī)制及對應(yīng)的應(yīng)對措施，如ua、cookie識別。
5. 精通隊列通信、分布式、多線程開發(fā)技術(shù)。
6. 有較強(qiáng)的數(shù)據(jù)分析與建模能力。
7. 有開源網(wǎng)頁爬蟲開發(fā)經(jīng)驗(yàn)者優(yōu)先。
