高級爬蟲工程師
1.8-2.6萬元/月一、工作職責(zé)
1、電商業(yè)務(wù)數(shù)據(jù)采集
針對跨境平臺/獨(dú)立站/第三方數(shù)據(jù)源/競品站點(diǎn),采集:價(jià)格、促銷、庫存、排名、評論/星級、變體、類目、上新、廣告位、關(guān)鍵詞趨勢等。
2、分布式爬蟲平臺與穩(wěn)定性建設(shè)
負(fù)責(zé)采集系統(tǒng)的任務(wù)編排、調(diào)度、隊(duì)列、去重、限流、容錯(cuò)、熔斷、重試、斷點(diǎn)續(xù)跑、監(jiān)控告警與SLA。
建立采集鏈路可觀測性:成功率/延遲/成本/失敗原因分布,推動(dòng)持續(xù)優(yōu)化。
3、反爬/風(fēng)控對抗與瀏覽器自動(dòng)化
解決動(dòng)態(tài)渲染、簽名/加密參數(shù)、指紋與行為風(fēng)控、驗(yàn)證碼、登錄態(tài)與賬號池管理等問題。
結(jié)合Playwright/Selenium等實(shí)現(xiàn)“可控、可回放”的瀏覽器級采集/自動(dòng)化策略,提高穩(wěn)定性與可維護(hù)性。
4、RPA流程自動(dòng)化
使用RPA平臺(如影刀/UiPath/AutomationAnywhere/PowerAutomate)或自研自動(dòng)化,落地電商高頻流程
5、數(shù)據(jù)治理與交付
建立字段口徑與數(shù)據(jù)標(biāo)準(zhǔn)化,輸出可消費(fèi)的數(shù)據(jù)服務(wù)(API/表/消息流),為選品、運(yùn)營、供應(yīng)鏈、廣告團(tuán)隊(duì)提供穩(wěn)定數(shù)據(jù)底座。
二、任職要求
1、本科及以上學(xué)歷;5年以上相關(guān)經(jīng)驗(yàn)(爬蟲/后端/自動(dòng)化方向);具備平臺化與線上穩(wěn)定性經(jīng)驗(yàn)。
2、精通Python/Go/Java至少一門(Python優(yōu)先),熟悉并發(fā)、網(wǎng)絡(luò)、工程化實(shí)踐。
3、熟練使用Scrapy/Requests/aiohttp/Playwright/Selenium等,能根據(jù)站點(diǎn)特性選型并持續(xù)維護(hù)。
4、有實(shí)際RPA項(xiàng)目經(jīng)驗(yàn):流程設(shè)計(jì)、異常處理、穩(wěn)定性、審計(jì)與權(quán)限控制;能將“人工操作”抽象成可復(fù)用流程。
5、熟悉消息隊(duì)列/任務(wù)調(diào)度(Kafka/RabbitMQ/RedisStream/Airflow等),理解冪等、去重、限流、重試與容錯(cuò)。
6、熟悉MySQL/PostgreSQL/Redis/ES/ClickHouse等至少兩類存儲與性能優(yōu)化;具備數(shù)據(jù)清洗與建模能力。