云平臺(tái)大數(shù)據(jù)開(kāi)發(fā)工程師(外派聯(lián)想)
1-1.5萬(wàn)元/月崗位職責(zé)
基于 Databricks 平臺(tái),規(guī)劃并實(shí)現(xiàn)可靠、高效的數(shù)據(jù) ETL 流程,整合多個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)資源,支撐數(shù)據(jù)分析與報(bào)表系統(tǒng)建設(shè)。
運(yùn)用 PySpark / SQL 完成海量數(shù)據(jù)的清洗、轉(zhuǎn)換、匯總及加工操作,保障數(shù)據(jù)質(zhì)量與時(shí)效表現(xiàn)。
承擔(dān)數(shù)據(jù)倉(cāng)庫(kù)建模任務(wù),搭建分層數(shù)據(jù)結(jié)構(gòu),并持續(xù)優(yōu)化查詢響應(yīng)與計(jì)算性能。
根據(jù)業(yè)務(wù)實(shí)際需求,開(kāi)發(fā)并維護(hù)數(shù)據(jù)報(bào)表和數(shù)據(jù)接口服務(wù),助力業(yè)務(wù)決策支持。
建立并執(zhí)行數(shù)據(jù)校驗(yàn)機(jī)制與監(jiān)控策略,確保數(shù)據(jù)準(zhǔn)確、完整且一致。
不斷改進(jìn)數(shù)據(jù)處理流程,增強(qiáng)數(shù)據(jù)鏈路穩(wěn)定性與運(yùn)算效率。
參與數(shù)據(jù)治理體系的實(shí)施與推動(dòng)工作。
任職要求(必需)
統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)、數(shù)據(jù)科學(xué)、財(cái)務(wù)分析等相關(guān)專業(yè)優(yōu)先考慮。
2年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn),有大型互聯(lián)網(wǎng)或科技公司(大廠)工作經(jīng)驗(yàn)者更佳。
熟練掌握 SQL,可獨(dú)立完成復(fù)雜查詢編寫(xiě)與性能調(diào)優(yōu);熟悉 PySpark,具備大規(guī)模數(shù)據(jù)處理能力。
具有數(shù)據(jù)倉(cāng)庫(kù)建模背景,了解維度建模等主流方法論。
具備 BI 工具開(kāi)發(fā)經(jīng)歷,熟悉 Power BI 或 Tableau 等可視化工具。
具備較強(qiáng)的數(shù)據(jù)思維與業(yè)務(wù)洞察力,能獨(dú)立完成數(shù)據(jù)需求拆解、開(kāi)發(fā)與交付任務(wù)。
有 Databricks 平臺(tái)實(shí)際項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。
加分項(xiàng)
了解 Delta Lake / Data Lakehouse 架構(gòu)理念及相關(guān)落地實(shí)踐。
接觸過(guò)至少一種主流云平臺(tái)(AWS/Azure/GCP)的基礎(chǔ)服務(wù)組件。
具備 Python 進(jìn)行數(shù)據(jù)處理與分析的實(shí)際應(yīng)用經(jīng)驗(yàn)。
知曉常見(jiàn)機(jī)器學(xué)習(xí)算法原理,有使用 MLflow 或其他 MLOps 工具的經(jīng)驗(yàn)。