支付寶(杭州)數(shù)字服務(wù)技術(shù)有限公司 體系工程師 招聘（工資待遇要求）

職責(zé)描述:
1. 評(píng)測(cè)體系設(shè)計(jì)與平臺(tái)化落地：主導(dǎo)設(shè)計(jì)數(shù)據(jù)驅(qū)動(dòng)的LLM/多模態(tài)/Agent評(píng)測(cè)體系，建設(shè)自動(dòng)化評(píng)測(cè)分析能力，支持在平臺(tái)上完成評(píng)測(cè)任務(wù)的適配、調(diào)度與規(guī)模化分析。
2. 評(píng)測(cè)洞察與缺陷定位：基于對(duì)抗性分析、錯(cuò)誤歸因、能力邊界挖掘等方法，系統(tǒng)定位模型在金融、醫(yī)療、小程序/APP等場(chǎng)景的核心短板，推動(dòng)形成“評(píng)測(cè)-反饋-優(yōu)化”的技術(shù)閉環(huán)。
3. Benchmark與數(shù)據(jù)資產(chǎn)建設(shè)：負(fù)責(zé)評(píng)測(cè)數(shù)據(jù)采集、清洗、標(biāo)注、版本管理與標(biāo)準(zhǔn)制定，構(gòu)建高質(zhì)量、多樣化的Benchmark資產(chǎn)：
○ 金融領(lǐng)域：構(gòu)建并落地多個(gè)覆蓋金融知識(shí)、推理、合規(guī)性的專業(yè)評(píng)測(cè)基準(zhǔn)，并完成在平臺(tái)上的自動(dòng)化適配與調(diào)度。
○ 醫(yī)療領(lǐng)域：針對(duì)個(gè)性化、專業(yè)人設(shè)、共情能力、長(zhǎng)程記憶等高階交互能力，產(chǎn)出多個(gè)創(chuàng)新評(píng)測(cè)基準(zhǔn)，定義下一代智能健康助手的評(píng)估標(biāo)準(zhǔn)。
○ 小程序/APP生態(tài)領(lǐng)域：針對(duì)海量小程序、APP等復(fù)雜交互場(chǎng)景，構(gòu)建衡量智能體（Agent）端到端任務(wù)完成能力的評(píng)測(cè)基準(zhǔn)，覆蓋多模態(tài)UI理解、任務(wù)規(guī)劃與工具調(diào)用等核心維度。
4. 前沿評(píng)測(cè)范式探索：追蹤全球前沿Benchmark與評(píng)估技術(shù)，研究RLHF/DPO等對(duì)齊數(shù)據(jù)驅(qū)動(dòng)的新評(píng)估范式，探索仿真環(huán)境、Agent鏈路評(píng)測(cè)等新方法，保持技術(shù)領(lǐng)先。
5. 快速迭代與工程協(xié)同：面向模型快速迭代節(jié)奏，提升評(píng)測(cè)鏈路自動(dòng)化與迭代效率，支撐多團(tuán)隊(duì)、多模型、多版本的高頻評(píng)測(cè)與回歸。
任職要求:
● 計(jì)算機(jī)、人工智能、數(shù)學(xué)等相關(guān)專業(yè)，研究生及以上學(xué)歷優(yōu)先。
● 3年以上AI/NLP/模型評(píng)測(cè)相關(guān)經(jīng)驗(yàn)，至少1年大模型相關(guān)項(xiàng)目經(jīng)驗(yàn)。
● 優(yōu)秀的數(shù)據(jù)敏感度與邏輯分析能力，能從復(fù)雜數(shù)據(jù)中定位關(guān)鍵問(wèn)題并給出可落地方案。
● 深入理解大模型全鏈路：訓(xùn)練、推理、微調(diào)、評(píng)估與對(duì)齊。
● 扎實(shí)的Python與算法基礎(chǔ)，熟悉PyTorch等主流深度學(xué)習(xí)框架；具備良好的工程化能力。
● 強(qiáng)烈技術(shù)好奇心、自我驅(qū)動(dòng)力；跨團(tuán)隊(duì)溝通協(xié)作能力強(qiáng)，適應(yīng)高頻迭代節(jié)奏。
加分項(xiàng)：
● 主導(dǎo)或核心參與過(guò)業(yè)界知名的開源評(píng)測(cè)項(xiàng)目或 Benchmark 建設(shè)。
● 擁有豐富的大模型微調(diào)（SFT/RLHF/DPO）或復(fù)雜應(yīng)用落地項(xiàng)目經(jīng)驗(yàn)。
● 在 NeurIPS、ICML、ACL、EMNLP 等相關(guān)頂會(huì)發(fā)表過(guò)高質(zhì)量論文。