崗位職責(zé):

1. 遵守robots協(xié)議，采集互聯(lián)網(wǎng)公開可用的數(shù)據(jù)信息；
2. 開展網(wǎng)頁數(shù)據(jù)抽取相關(guān)算法的技術(shù)研究與開發(fā)工作，持續(xù)優(yōu)化數(shù)據(jù)采集的效率與準(zhǔn)確性；
3. 參與分布式網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)的設(shè)計與實現(xiàn)，獨立解決開發(fā)中遇到的實際問題（如調(diào)度優(yōu)化、并發(fā)控制、抓取覆蓋率等），提升系統(tǒng)的整體性能與效果；
4. 負(fù)責(zé)數(shù)據(jù)采集后的解析、存儲入庫，以及系統(tǒng)運行異常的監(jiān)控與告警處理。

任職要求:

1. 具備良好的編程基礎(chǔ)、出色的設(shè)計思維與代碼規(guī)范意識，工作認(rèn)真負(fù)責(zé)，有較強的主動性；
2. 熟練掌握HTML、JavaScript、Python及Scrapy等技術(shù)，能夠高效編寫數(shù)據(jù)采集腳本；
3. 熟悉主流網(wǎng)頁數(shù)據(jù)采集工具與框架，如Selenium、Puppeteer、PhantomJS、Scrapy等；
4. 對NLP基礎(chǔ)技術(shù)有一定了解，有實際應(yīng)用Fasttext、N-gram、Bert、GPT等模型和算法者優(yōu)先考慮；
5. 掌握常見的服務(wù)器訪問限制應(yīng)對策略，具備真實場景下的數(shù)據(jù)獲取實踐經(jīng)驗。