python開發(fā)工程師
2.2-2.6萬元/月崗位職責
1.負責大模型訓練平臺的架構(gòu)設(shè)計、核心模塊研發(fā)及性能調(diào)優(yōu),支撐大規(guī)模分布式訓練任務高效運行;
2.參與數(shù)據(jù)集的構(gòu)建、清洗、預處理以及高效存儲方案的設(shè)計,保障數(shù)據(jù)質(zhì)量與訓練效率;
3.搭建模型微調(diào)(Fine-tuning)全流程工具鏈,涵蓋參數(shù)配置、訓練策略優(yōu)化與資源調(diào)度實現(xiàn);
4.開發(fā)模型驗證與評估系統(tǒng),構(gòu)建自動化測試框架,確保模型表現(xiàn)滿足業(yè)務目標;
5.優(yōu)化從訓練到驗證再到部署的全鏈路流程,提升平臺的穩(wěn)定性和使用體驗;
6.跟進大模型領(lǐng)域前沿技術(shù),推動高性能計算、顯存優(yōu)化等關(guān)鍵技術(shù)的實際應用。
任職要求
1.必備技能:
-計算機相關(guān)專業(yè)??萍耙陨蠈W歷,具備3年以上Python開發(fā)經(jīng)驗;
-熟悉主流大模型訓練框架(如PyTorch、DeepSpeed、Megatron-LM等),有訓練平臺開發(fā)背景;
-具備大模型應用場景或訓練平臺建設(shè)實踐經(jīng)驗;
-熟練使用數(shù)據(jù)處理工具鏈(Pandas/Numpy/Dask等),擁有大規(guī)模數(shù)據(jù)集組織與管理能力;
-熟悉Linux開發(fā)環(huán)境,掌握Docker/Kubernetes等容器化技術(shù);
-理解模型微調(diào)方法(如Lora、Adapter等),可獨立完成訓練流程開發(fā)與參數(shù)調(diào)優(yōu);
-了解常見模型評估指標(如BLEU、ROUGE、準確率等)及相關(guān)驗證工具的開發(fā);
2.必須項:
-具有LLM(如Qwen、ChatGLM、Baichuan等)訓練或性能優(yōu)化實際經(jīng)驗;
-熟悉LangChain、LlamaIndex等開源框架生態(tài);
-掌握模型壓縮、量化或推理加速相關(guān)技術(shù);
-具備智能體開發(fā)的實際項目經(jīng)驗。