【工作職責】
1、負責構建高效可靠的網(wǎng)絡爬蟲系統(tǒng)，實現(xiàn)對多平臺、多種類型數(shù)據(jù)的采集與處理。
2、深入分析各類反爬策略，如驗證碼識別、IP限制、行為監(jiān)控等，并制定有效應對措施，確保數(shù)據(jù)抓取的連續(xù)性與穩(wěn)定性。
3、參與數(shù)據(jù)清洗、去重、存儲及初步分析流程的設計與開發(fā)工作。
4、協(xié)同前后端團隊，支持數(shù)據(jù)可視化功能、數(shù)據(jù)管理平臺及相關內(nèi)部工具的建設與維護。
5、參與系統(tǒng)架構優(yōu)化，改進爬蟲調(diào)度機制與數(shù)據(jù)存儲方案，提升整體性能和擴展能力。
6、關注爬蟲技術發(fā)展趨勢，持續(xù)迭代數(shù)據(jù)采集方法與工具體系。
7、協(xié)助團隊完成日常技術問題定位及系統(tǒng)運維保障任務。

【任職要求】
1、本科及以上學歷，計算機、軟件工程或相關專業(yè)背景。
2、具有3年以上爬蟲開發(fā)經(jīng)驗，掌握常見反爬蟲機制及其解決方案。
3、具備全棧開發(fā)能力，熟悉前后端開發(fā)技術：
前端：熟練使用HTML/CSS/JavaScript，至少掌握Vue.js或React其中之一；
后端：熟悉Java及Spring Boot/Spring Cloud框架，或具備Node.js開發(fā)能力。
4、掌握數(shù)據(jù)抽取與清洗技術（如XPath、正則表達式、解析庫等），有結構化與非結構化數(shù)據(jù)處理實踐經(jīng)驗。
5、了解主流數(shù)據(jù)存儲方案，包括關系型數(shù)據(jù)庫（MySQL、PostgreSQL等）和NoSQL數(shù)據(jù)庫（MongoDB、Redis等）。
6、熟悉網(wǎng)絡協(xié)議及HTTP/HTTPS通信原理，能夠分析請求與響應過程，熟練使用抓包工具（如Charles、Fiddler等）。

優(yōu)先/加分條件：
1、精通Python及常用爬蟲框架（如Scrapy、Selenium、Playwright等），了解分布式爬蟲架構原理。
2、具備分布式爬蟲系統(tǒng)設計經(jīng)驗，熟悉消息隊列（Kafka、RabbitMQ等）和任務調(diào)度機制。

【工作形式】
1、支持 100% 遠程辦公（無需到崗），或以項目制方式兼職合作（按交付節(jié)點結算）；
2、工作時間靈活，按時完成項目節(jié)點即可，需配合團隊進行線上進度同步。