今天分享一篇騰訊WorkBuddy團(tuán)隊(duì)最新發(fā)表的論文他們給自己造的內(nèi)部尺子現(xiàn)在把它開源了。這篇論文不是孤立的學(xué)術(shù)工作而是 WorkBuddy 產(chǎn)品工程的副產(chǎn)品——把內(nèi)部的模型選型評測、Harness 回歸測試、任務(wù)分布洞察打包成一個(gè)開源 Benchmark。騰訊把多模型 Agent 工作臺的選型底牌攤開了——GLM-5.2 在安全域雙殺閉源模型、GPT-5.5 最省 token、Claude Opus 綜合最強(qiáng)這些數(shù)據(jù)直接解釋了 WorkBuddy 為什么要做多模型切換而不是綁定混元。提速500倍29s學(xué)會(huì)一個(gè)新Skill清華和自變量開源HOST框架一、WorkBuddy優(yōu)勢WorkBuddy Bench 優(yōu)點(diǎn)任務(wù)分布對齊真實(shí)工作distribution-informed但完全開源可審計(jì)。Figure 1: Tencent WorkBuddy Bench 總覽四個(gè)子集各有獨(dú)立的評分儀器分?jǐn)?shù)跨賽道不可比套件刻意不報(bào)總平均分——這是設(shè)計(jì)決策不是缺陷。表1套件一覽四個(gè)子集雙 Harness 評分二、核心方法論抗污染來自真實(shí)業(yè)務(wù)論文把提示詞可被搜索引擎找到視為最重要的污染路徑然后在任務(wù)生產(chǎn)環(huán)節(jié)就把它堵死表2開源清單——運(yùn)行、評分、審計(jì)一個(gè)任務(wù)所需的一切全部公開任務(wù)來源每個(gè)任務(wù)錨定一個(gè)真實(shí)上游工件開源倉庫的歷史 commit / PR、真實(shí) CVE或具體業(yè)務(wù)場景。匹配的不是原始請求本身而是內(nèi)部使用分布查詢意圖類別、請求結(jié)構(gòu)模式——任何原始用戶 prompt、會(huì)話數(shù)據(jù)都不進(jìn)入任務(wù)。改寫協(xié)議逆向工程后改寫成簡短、口語化、刻意欠規(guī)格underspecified的請求。Code 賽道還通過五種角色發(fā)聲開發(fā)者、算法工程師、產(chǎn)品經(jīng)理、QA、運(yùn)維?？桃馇芬?guī)格請求只給意圖和約束不給目標(biāo)文件、接口定義、邊界情況——Agent 必須自己從工作區(qū)里找回缺失的上下文。這考的是需求消歧與 grounding而不只是代碼合成。賽后評測隔離評分資產(chǎn)在 Agent 行動(dòng)期間完全不可見結(jié)束后才注入沙箱。“Hidden tests”指的是解題時(shí)不可見而非發(fā)布后保密——全部測試隨開源一起放出。三、四大賽道拆解3.1 Code80 個(gè)任務(wù)里只有 10 個(gè)是修 BugCode 子集把 Agent 扔進(jìn)一個(gè) checkout 到基線 commit 的完整開源倉庫要求它自己定位代碼、改完、并保證隱藏測試通過。和 SWE-bench 最大的不同是角色與任務(wù)類型多樣性五種角色、18 個(gè)細(xì)分類目Bug 修復(fù)只占 10/80。Figure 2: Code 與 Web 任務(wù)構(gòu)成表3Code 子集來源家族A34BC46表4Code 子集構(gòu)成80 任務(wù)開源版準(zhǔn)入門機(jī)制值得一提每個(gè)候選任務(wù)先對未改動(dòng)的工作區(qū)跑一遍驗(yàn)證器baseline reward 必須 ≤ 0.3證明任務(wù)不是”白給”再打上 gold patch 跑一遍oracle reward 必須 1.0證明任務(wù)可解。構(gòu)建期的早期評測還暴露了兩類零分模式Agent 陷入改測試文件的死循環(huán)直到超時(shí)在大倉庫里迷路、改了完全不相干的文件——難度來自導(dǎo)航與定位而非代碼合成。Figure 3: Code 任務(wù)與評測工作流3.2 Web交付物契約——說得再好路徑下沒有可運(yùn)行工件就是零分Web 子集的硬核設(shè)定是artifact-not-chat 契約Agent 必須在聲明的輸出路徑產(chǎn)出可運(yùn)行工件如 HTML 入口聊天里寫得天花亂墜但路徑下沒東西直接掛。70 個(gè)任務(wù)橫跨生成、修改、分析、質(zhì)檢四類前端工作。Figure 4: Web 任務(wù)與評測工作流3.3 Office評的是最終工作區(qū)狀態(tài)不是答案文本Office 子集測的是混合格式文件表格、文檔、PDF、JSON、Markdown、文件樹里的完整工作交接。評測盯的是最終工作區(qū)狀態(tài)——寫了一份看似合理的總結(jié)卻沒更新它描述的那張工作簿照樣丟分這是純文本評分抓不到的失敗。Figure 5: Office 50 任務(wù)的構(gòu)建路線與校準(zhǔn)難度Figure 6: Office 四維覆蓋評分是雙通道確定性 Rule checks 驗(yàn)證文件、schema、數(shù)值、跨文件關(guān)系、狀態(tài)變更、副作用邊界LLM Judge 基于任務(wù)結(jié)束后生成的固定證據(jù)評估二元語義 rubric不看實(shí)時(shí)工作區(qū)、也不能改寫 Rule 結(jié)果。每個(gè)任務(wù)預(yù)配自己的 Rule 權(quán)重 w_i ∈ [0.70, 0.95]。Figure 7: Office 評測流3.4 Security60 個(gè)任務(wù)全程無 LLM 裁判 五層反作弊Security 子集覆蓋紅藍(lán)隊(duì)全景漏洞發(fā)現(xiàn)與安全利用32紅、惡意軟件分析14藍(lán)、安全運(yùn)營8藍(lán)、Agent 安全6紅——38 紅 vs 22 藍(lán)難度刻意偏硬。Figure 8: Security 子集總覽白盒審計(jì)任務(wù)復(fù)現(xiàn) binutils、curl、nginx、vim、jq、fluent-bit 等廣泛部署項(xiàng)目的真實(shí)歷史 CVE采用 find-vuln → poc-verify 兩步結(jié)構(gòu)先讀源碼定位漏洞路徑過閾值才解鎖第二步再提交能在沙箱里穩(wěn)定觸發(fā) ASAN crash 的 PoC。表5Security 子集構(gòu)成60 任務(wù)四塊粒度四、榜單結(jié)果沒有全能冠軍Harness 一換排名就洗牌表6WorkBuddy Bench 總榜0–100think 模式三次運(yùn)行均值八塊榜三分天下Opus 4.8 拿五塊Code 雙榜、Web 雙榜、Office cbcGLM-5.2 以開源權(quán)重身份拿下 Security 雙榜——開源與閉源的差距是分板塊的不是均勻碾壓GPT-5.5 拿 Office cc 一塊。Harness 敏感性的幾個(gè)爆點(diǎn)Code 排名在雙 Harness 間直接換位GPT-5.5 在 cbc 下領(lǐng)先 GLM-5.272.90 vs 71.54在 cc 下被反超76.63 vs 77.06。Security 洗牌最狠七模型平均絕對位移 8.6 分GPT-5.5 從 cbc 第六躥到 cc 第二MiniMax-M3 從第二跌到第五。Office 最穩(wěn)七個(gè)雙跑模型里五個(gè)位移不到 2 分中位數(shù) 0.86。工程細(xì)節(jié)能值 4 分HY-3 開啟跨輪 reasoning passback 后 Code 分?jǐn)?shù) cbc 3.82、cc 1.92。拒答也值得記錄Opus 4.8 在 Claude Code 下對安全任務(wù)出現(xiàn) 13 次任務(wù)級拒答cbc 下為零GPT-5.5 在 cbc 下 2 次。最難的類目暴露了真問題Code 子集里最難的是 bug_fix均值 0.47和 api_contract0.47——真實(shí)倉庫的回歸修復(fù)和嚴(yán)守契約的接口活最易的是 feature_pipeline0.94和 testing0.88。product_analytics 類目模型間差距幾乎拉滿 0–1.0 全程高分模型會(huì)正確推斷”別把隔很久才買的算進(jìn)來”這個(gè)隱含歸因窗口低分模型代碼跑得干干凈凈但把全部購買都算了進(jìn)去——差距完全在業(yè)務(wù)語義理解不在代碼能不能跑。另一個(gè)典型失敗是”語義對但契約錯(cuò)”行為合理卻丟了一兩個(gè)必需字段如 OpenAPI 的 deprecated、examples驗(yàn)證器一打 per-field 布爾檢查就連環(huán)清零。Figure 9: Office 按難度與任務(wù)類型的結(jié)果表7Code 子集每輪開銷輪次 / 輸出 token / 含緩存輸入 token千為單位花錢多 ≠ 分?jǐn)?shù)高DeepSeek-V4-Flash 在 cc 下輸出約為 GPT-5.5 的 3.3 倍28.6k vs 8.7k分?jǐn)?shù)卻低 14.74 分GLM-5.2 的 cc 榜首成績 77.06 花了 22.0k 輸出 token而 GPT-5.5 只用 8.7k 拿到 76.63。GPT-5.5 是全場四賽道一致的”最省高分者”cbc 下 Code 6.9k / Web 13.5k / Office 10.2k / Security 7.5k 輸出。Security 是最重的賽道30–89 輪/次MiniMax-M3 在 cbc 下平均 88.8 輪、約 11.1M 含緩存輸入 token 換 74.14 分。六、與現(xiàn)有工作的對位表8Web 方向 Benchmark 能力矩陣? 全覆蓋? 部分覆蓋空白 未覆蓋這些是自報(bào)的設(shè)計(jì)期對比不是跨榜單實(shí)測。差異化在于廣度與框架而非新任務(wù)類型——Security 子集是公開 Benchmark 稀缺的紅藍(lán)全覆蓋 全確定性評分Office 把混合格式多交付物工作流當(dāng)”完整交接”來測Code 用五角色 18 類目跳出”修 issue”框架。學(xué)AI大模型的正確順序千萬不要搞錯(cuò)了2026年AI風(fēng)口已來各行各業(yè)的AI滲透肉眼可見超多公司要么轉(zhuǎn)型做AI相關(guān)產(chǎn)品要么高薪挖AI技術(shù)人才機(jī)遇直接擺在眼前有往AI方向發(fā)展或者本身有后端編程基礎(chǔ)的朋友直接沖AI大模型應(yīng)用開發(fā)轉(zhuǎn)崗超合適就算暫時(shí)不打算轉(zhuǎn)崗了解大模型、RAG、Prompt、Agent這些熱門概念能上手做簡單項(xiàng)目也絕對是求職加分王給大家整理了超全最新的AI大模型應(yīng)用開發(fā)學(xué)習(xí)清單和資料手把手幫你快速入門學(xué)習(xí)路線:?大模型基礎(chǔ)認(rèn)知—大模型核心原理、發(fā)展歷程、主流模型GPT、文心一言等特點(diǎn)解析?核心技術(shù)模塊—RAG檢索增強(qiáng)生成、Prompt工程實(shí)戰(zhàn)、Agent智能體開發(fā)邏輯?開發(fā)基礎(chǔ)能力—Python進(jìn)階、API接口調(diào)用、大模型開發(fā)框架LangChain等實(shí)操?應(yīng)用場景開發(fā)—智能問答系統(tǒng)、企業(yè)知識庫、AIGC內(nèi)容生成工具、行業(yè)定制化大模型應(yīng)用?項(xiàng)目落地流程—需求拆解、技術(shù)選型、模型調(diào)優(yōu)、測試上線、運(yùn)維迭代?面試求職沖刺—崗位JD解析、簡歷AI項(xiàng)目包裝、高頻面試題匯總、模擬面經(jīng)以上6大模塊看似清晰好上手實(shí)則每個(gè)部分都有扎實(shí)的核心內(nèi)容需要吃透我把大模型的學(xué)習(xí)全流程已經(jīng)整理好了抓住AI時(shí)代風(fēng)口輕松解鎖職業(yè)新可能希望大家都能把握機(jī)遇實(shí)現(xiàn)薪資/職業(yè)躍遷這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】