大模型評估
1.2-1.3萬元/月崗位職責(zé):
1. 負(fù)責(zé)視頻生成、視頻可控應(yīng)用、多模態(tài)理解大模型、音視頻生成大模型等相關(guān)方向算法項目的交付質(zhì)量保障,涵蓋數(shù)據(jù)集設(shè)計與完善、標(biāo)注質(zhì)量審核、成果驗收及評測報告輸出;
2. 開展音視頻質(zhì)量評估工作,對大模型生成的音視頻內(nèi)容進(jìn)行主觀評價,重點評估視頻編輯能力、可控性表現(xiàn),以及畫面表現(xiàn)力、音頻清晰度、播放流暢性、音畫同步匹配度等方面,提供專業(yè)化的評估意見;
3. 參與評測方案的制定與落地執(zhí)行,負(fù)責(zé)測試集構(gòu)建,組織并指導(dǎo)標(biāo)注團(tuán)隊開展工作,確保標(biāo)注結(jié)果準(zhǔn)確可靠,保障評測結(jié)論的有效性;
4. 對評測過程中產(chǎn)生的各類數(shù)據(jù)進(jìn)行系統(tǒng)整理與深入分析,識別音視頻生成中的潛在問題,輸出完整的評測報告,為項目組提供專業(yè)參考和優(yōu)化建議,助力模型迭代提升;
5. 跟進(jìn)競品動態(tài),開展競品分析,參與算法效果對比、問題歸因分析及行業(yè)評測方法的研究與探索。
任職要求:
1. 具備視頻生成、視頻可控應(yīng)用、多模態(tài)理解大模型、音視頻生成大模型等相關(guān)領(lǐng)域項目質(zhì)量管控經(jīng)驗,熟悉數(shù)據(jù)集建設(shè)、標(biāo)注質(zhì)量檢查、交付驗收流程及評測報告撰寫;
2. 能夠獨立完成大模型生成音視頻的主觀質(zhì)量評估,熟練判斷視頻功能實現(xiàn)、音頻清晰度、流暢性及與畫面內(nèi)容的一致性,并給出專業(yè)評估結(jié)論;
3. 具有評測方案設(shè)計與實施能力,能參與測試集規(guī)劃,具備對標(biāo)注團(tuán)隊的培訓(xùn)與管理經(jīng)驗,可有效控制標(biāo)注質(zhì)量和評測準(zhǔn)確性;
4. 具備良好的數(shù)據(jù)分析能力,能夠從評測數(shù)據(jù)中發(fā)現(xiàn)問題、歸納規(guī)律,形成高質(zhì)量的分析報告,為模型優(yōu)化提供有力支持;
5. 關(guān)注行業(yè)動態(tài),有競品調(diào)研經(jīng)驗,能參與算法效果評估、問題溯源分析及前沿評測技術(shù)的探索工作。