2026-多模態(tài)VLA模型開發(fā)工程師
2-4萬元/月崗位職責: 1. VLA模型研發(fā)與算法優(yōu)化 1.1 負責研發(fā)面向機器人操作的具身智能算法,重點設計與開發(fā)視覺-語言-動作(VLA)模型架構,構建從多模態(tài)感知到動作輸出的端到端推理管線。 1.2 優(yōu)化模仿學習、動作生成及強化學習算法,提升模型在復雜任務中的泛化能力、樣本效率與長時序規(guī)劃能力。 1.3 運用目標檢測、語義分割、三維重建等計算機視覺技術,持續(xù)優(yōu)化VLA模型的感知與理解模塊。 2. 仿真驗證、系統(tǒng)集成與實機對接 2.1 利用Isaac Sim、Gazebo等仿真工具進行算法預研、驗證與優(yōu)化,著力解決Sim2Real遷移挑戰(zhàn),實現算法向實機的 few-shot 高效遷移。 2.2 負責算法在機器人系統(tǒng)的集成、部署與調試,核心包括與機械臂等執(zhí)行器的深度對接:在ROS/ROS2框架下實現算法模塊與機械臂控制器(如MoveIt、廠商SDK)的可靠通信與指令交互。 2.3 協同硬件與控制工程師,完成從算法輸出到機械臂關節(jié)軌跡/力矩指令的轉化、實機部署、聯調及性能優(yōu)化,解決實際運行中的時序、精度與穩(wěn)定性問題。 3. 數據管道構建與訓練管理 3.1 構建與管理用于VLA模型訓練的多模態(tài)數據集(視覺、語言、力覺、運動軌跡等),其中包含從真實機械臂平臺采集的交互數據;設計并實施數據清洗、增強及高效預訓練流程。 3.2 管理與優(yōu)化大規(guī)模分布式訓練(多機多卡)任務,提升模型訓練效率與資源利用率。 4. 技術探索與跨團隊協作 4.1 緊密跟蹤機器人操作、多模態(tài)模型、模仿與強化學習等領域的前沿進展,特別是與機器人本體控制、靈巧操作相關的技術,評估并將其創(chuàng)新性方法應用于實際業(yè)務場景。 4.2 協同產品、工程及硬件團隊,推動算法在產品中的落地應用,負責相關技術方案的文檔編寫與知識傳承。 任職要求: 基本要求: 1. 計算機、人工智能、機器人、自動化或相關專業(yè),本科及以上學歷。有VLA(如RT-2, OpenVLA)、多模態(tài)大模型或具身智能相關項目經驗者優(yōu)先。 2. 深刻理解并具備以下至少兩個領域的研發(fā)經驗:視覺-語言多模態(tài)模型(VLM/VLA)、模仿學習與強化學習、機器人動作生成與規(guī)劃。熟悉行為克隆、擴散策略、離線/在線強化學習(如PPO, SAC)等算法,并有實際應用經驗。 3. 熟練掌握Python,精通PyTorch/TensorFlow等至少一種主流深度學習框架。具備扎實的編程和軟件工程能力。掌握目標檢測、語義分割、三維重建等計算機視覺算法,并能將其用于機器人感知任務。 4. 熟悉機器人操作系統(tǒng)ROS/ROS2,有在仿真環(huán)境(如Isaac Sim, Gazebo)和真實機器人平臺進行算法開發(fā)、部署與調試的實際經驗。 加分項: 1. 具備與機械臂等執(zhí)行器對接的實操經驗,熟悉機器人運動學/動力學基礎,了解MoveIt或類似運動規(guī)劃框架,能實現算法與底層控制器的可靠集成與調試。 2. 對機器人技術和人工智能前沿保持高度熱情,具備優(yōu)秀的自主學習、分析問題和解決復雜技術難題的能力。 3. 具備良好的溝通能力和團隊協作精神,能夠與算法、硬件、控制等多背景同事有效合作,共同推動項目落地。 4. 在機器人會議(如RSS, CoRL, ICRA, IROS)或人工智能頂級會議(如NeurIPS, ICML, CVPR)上有相關論文發(fā)表者優(yōu)先。