大數(shù)據(jù)開(kāi)發(fā)工程師
1.5-2萬(wàn)元/月崗位職責(zé)
1.參與基于Flink/SparkStreaming的實(shí)時(shí)計(jì)算任務(wù)開(kāi)發(fā)及性能調(diào)優(yōu);
2.協(xié)助構(gòu)建并維護(hù)實(shí)時(shí)數(shù)據(jù)鏈路,支撐批流融合架構(gòu)的落地與運(yùn)行;
3.負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)的分層設(shè)計(jì)與ETL流程開(kāi)發(fā),保障數(shù)據(jù)一致性與處理效率;
4.配合媒體領(lǐng)域業(yè)務(wù)場(chǎng)景(如收視分析、廣告追蹤、內(nèi)容推薦等),推進(jìn)數(shù)據(jù)應(yīng)用實(shí)施。
任職要求
1.全日制本科及以上學(xué)歷,計(jì)算機(jī)或相關(guān)專(zhuān)業(yè),具備3年及以上大數(shù)據(jù)領(lǐng)域工作經(jīng)驗(yàn);
2.熟悉Flink/SparkStreaming框架,掌握流式處理核心機(jī)制(如狀態(tài)管理、水印機(jī)制、ExactlyOnce語(yǔ)義);
3.熟悉Kafka/Pulsar等消息系統(tǒng),具有實(shí)時(shí)與離線(xiàn)數(shù)據(jù)處理實(shí)際項(xiàng)目經(jīng)驗(yàn);
4.熟練使用Python/Scala(優(yōu)先)、Hive/SparkSQL、Shell腳本進(jìn)行數(shù)據(jù)開(kāi)發(fā);
5.掌握數(shù)據(jù)倉(cāng)庫(kù)建模理論,具備SQL性能優(yōu)化實(shí)踐能力;
6.具備良好的學(xué)習(xí)意識(shí)與團(tuán)隊(duì)合作精神,有媒體行業(yè)背景者優(yōu)先考慮。