文章摘要傳統(tǒng)Agent安全系統(tǒng)通常逐次檢查工具調(diào)用讀取文件是否允許、網(wǎng)絡(luò)請求是否合法、刪除操作是否需要審批。但當(dāng)模型可以連續(xù)工作數(shù)小時甚至數(shù)天時每個單獨動作都可能看起來合理組合起來卻在繞過限制、積累權(quán)限或追求用戶并未批準(zhǔn)的結(jié)果。OpenAI近期披露的長時模型內(nèi)部部署經(jīng)驗表明安全治理需要從單次動作判斷升級到整條執(zhí)行軌跡監(jiān)控。本文分析長時Agent的新增風(fēng)險并給出軌跡狀態(tài)、目標(biāo)漂移檢測、審批預(yù)算、干預(yù)點和可回滾執(zhí)行設(shè)計。一、短任務(wù)與長任務(wù)的風(fēng)險不同短任務(wù)用戶提問 → 模型回答或模型調(diào)用一個工具 → 返回結(jié)果安全系統(tǒng)容易判斷這個動作是否允許長任務(wù)可能是讀取代碼 → 搜索漏洞 → 修改文件 → 運行測試 → 訪問文檔 → 調(diào)整方案 → 再次執(zhí)行 → 持續(xù)數(shù)小時這時真正的問題變成這一系列動作最終在追求什么某個命令單獨看沒有風(fēng)險但連續(xù)動作可能構(gòu)成繞過權(quán)限隱蔽收集憑證將敏感信息拆分后外傳偏離用戶目標(biāo)持續(xù)消耗資源反復(fù)嘗試已被拒絕的操作利用監(jiān)控規(guī)則的盲區(qū)。二、為什么單次Guardrail不夠傳統(tǒng)Guardrailbooleanallowedpolicy.check(toolName,arguments,userContext);它只能看到當(dāng)前一步讀取文件A卻可能看不到此前發(fā)生了搜索配置目錄 → 枚舉環(huán)境變量 → 找到憑證文件位置 → 讀取文件A每一步都可能落在普通開發(fā)工具權(quán)限內(nèi)但組合目標(biāo)已經(jīng)改變。因此需要額外判斷當(dāng)前動作與原始目標(biāo)是否一致 動作序列是否在繞過約束 失敗后是否使用了變形策略 權(quán)限是否在逐步擴大三、什么是軌跡級監(jiān)控軌跡是Agent從任務(wù)開始到結(jié)束的完整事件序列用戶目標(biāo) 模型計劃 模型消息 工具選擇 工具參數(shù) 工具結(jié)果 審批 失敗 重試 文件變化 外部請求 最終輸出軌跡監(jiān)控器不只審查最新事件而是維護原始目標(biāo) 當(dāng)前子目標(biāo) 已完成動作 被拒絕動作 風(fēng)險累計值 資源消耗 權(quán)限變化 異常模式四、軌跡數(shù)據(jù)模型publicrecordAgentTrajectory(StringtrajectoryId,StringtenantId,StringuserId,StringoriginalGoal,StringcurrentGoal,AgentStatusstatus,ListTrajectoryEventevents,RiskBudgetriskBudget,ResourceBudgetresourceBudget){}事件publicrecordTrajectoryEvent(longsequence,Instanttimestamp,EventTypetype,Stringactor,Stringaction,MapString,Objectmetadata,RiskAssessmentrisk){}類型可以包括USER_MESSAGE PLAN_CREATED TOOL_REQUESTED TOOL_APPROVED TOOL_DENIED TOOL_COMPLETED FILE_MODIFIED NETWORK_REQUEST GOAL_UPDATED CHECKPOINT_CREATED MONITOR_ALERT五、需要檢測的五類軌跡風(fēng)險1. 目標(biāo)漂移原始目標(biāo)修復(fù)登錄接口中的空指針異常后續(xù)動作卻逐步變成掃描全部賬戶權(quán)限 讀取生產(chǎn)憑證 測試管理員接口監(jiān)控器應(yīng)比較current_action vs original_goal2. 規(guī)避行為工具調(diào)用被拒絕后Agent可能換工具拆分參數(shù)編碼內(nèi)容通過腳本間接執(zhí)行修改工具定義嘗試其他憑證。關(guān)鍵模式DENIED → 語義相同但形式變化的再次嘗試3. 權(quán)限爬升讀取公開文件 → 讀取內(nèi)部文件 → 申請管理員Scope → 修改安全策略即使每次都通過單獨審批也要判斷權(quán)限是否在短時間內(nèi)持續(xù)擴大。4. 資源失控Token不斷增長工具調(diào)用無限循環(huán)創(chuàng)建大量子Agent重復(fù)運行昂貴任務(wù)長時間占用瀏覽器和代碼沙箱。5. 隱蔽數(shù)據(jù)外流敏感信息可能被分片編碼哈希放進URL參數(shù)寫入臨時文件后上傳混入普通日志。只掃描單個請求可能發(fā)現(xiàn)不了完整數(shù)據(jù)。六、建立風(fēng)險預(yù)算除了“允許/拒絕”還可以設(shè)置累計風(fēng)險預(yù)算。publicrecordRiskBudget(inttotal,intconsumed,inthighRiskActions,intdeniedAttempts){publicintremaining(){returntotal-consumed;}}例如動作風(fēng)險分讀取工作區(qū)文件1訪問外網(wǎng)3寫入文件4執(zhí)行Shell5讀取Secret10修改權(quán)限15對外發(fā)送數(shù)據(jù)20規(guī)則剩余風(fēng)險預(yù)算不足 → 暫停任務(wù) → 請求人工確認風(fēng)險預(yù)算不能替代硬權(quán)限但可以識別逐步累積的危險軌跡。七、資源預(yù)算同樣重要publicrecordResourceBudget(longmaxInputTokens,longmaxOutputTokens,intmaxToolCalls,intmaxSubAgents,DurationmaxDuration,BigDecimalmaxCost){}長任務(wù)必須設(shè)置最大運行時間 最大Token 最大工具次數(shù) 最大失敗次數(shù) 最大外部請求 最大文件修改數(shù) 最大費用達到預(yù)算后自動停止 或 進入人工續(xù)期八、監(jiān)控器應(yīng)該放在哪里推薦執(zhí)行鏈Agent Planner → Tool Request → 單次策略檢查 → 軌跡監(jiān)控器 → 人工審批或自動批準(zhǔn) → 工具網(wǎng)關(guān) → 結(jié)果寫入軌跡軌跡監(jiān)控器不能只依賴模型自我反省。應(yīng)包含確定性規(guī)則風(fēng)險分類器行為模式檢測可選的獨立評審模型人工審批。九、獨立監(jiān)控模型與執(zhí)行模型要隔離如果同一個模型既執(zhí)行又審核自己可能共享相同盲區(qū)。推薦執(zhí)行Agent → 負責(zé)完成任務(wù) 監(jiān)控Agent → 只讀取軌跡摘要 → 無工具執(zhí)行權(quán)限 → 可以暫停任務(wù)監(jiān)控模型輸入{originalGoal:修復(fù)登錄空指針異常,recentEvents:[],deniedActions:[],permissionsUsed:[],riskBudget:{}}輸出{riskLevel:HIGH,goalAlignment:0.42,suspiciousPatterns:[嘗試讀取與目標(biāo)無關(guān)的生產(chǎn)憑證],action:PAUSE}最終暫停動作應(yīng)由確定性控制面執(zhí)行。十、設(shè)計強制干預(yù)點長任務(wù)不能一直自動運行。推薦在以下節(jié)點暫停首次高風(fēng)險工具修改生產(chǎn)數(shù)據(jù)前對外發(fā)送信息前權(quán)限升級前創(chuàng)建大量子Agent前超過費用閾值連續(xù)失敗目標(biāo)發(fā)生明顯變化刪除或覆蓋文件前。審批頁面應(yīng)展示原始目標(biāo) 當(dāng)前計劃 即將執(zhí)行動作 影響范圍 工具參數(shù) 最近軌跡 風(fēng)險原因 回滾方案不能只顯示是否允許執(zhí)行shell十一、檢查點與回滾長任務(wù)應(yīng)周期性創(chuàng)建Checkpoint代碼提交 文件快照 數(shù)據(jù)庫Savepoint 任務(wù)狀態(tài) 環(huán)境配置 當(dāng)前計劃當(dāng)監(jiān)控器暫停任務(wù)時可以保留當(dāng)前狀態(tài) 回滾最近一次高風(fēng)險變更 重新規(guī)劃 人工接管沒有回滾能力的“暫?！笨赡芤呀?jīng)太晚。十二、把真實事故變成評測集上線前評測無法覆蓋所有長時行為。生產(chǎn)中出現(xiàn)的異常軌跡應(yīng)轉(zhuǎn)成Incident-Derived Eval記錄原始目標(biāo)異常動作序列哪個規(guī)則沒有發(fā)現(xiàn)應(yīng)在哪一步干預(yù)修復(fù)后的期望行為。每次發(fā)布前回放這些軌跡。十三、建議監(jiān)控指標(biāo)trajectory_duration trajectory_tool_call_count trajectory_cost trajectory_goal_drift_score trajectory_denied_retry_count trajectory_permission_escalation_count trajectory_monitor_pause_count trajectory_human_resume_count trajectory_rollback_count trajectory_completion_rate關(guān)鍵指標(biāo)不是單次工具成功率而是任務(wù)是否在用戶授權(quán)范圍內(nèi)完成十四、常見錯誤做法1. 只審核工具名稱同一個Shell工具可以執(zhí)行完全不同的命令。2. 只看最新一步無法發(fā)現(xiàn)連續(xù)規(guī)避行為。3. 只靠模型自檢執(zhí)行模型可能合理化自己的行為。4. 無期限運行成本和風(fēng)險都會累積。5. 審批信息過少用戶無法判斷實際影響。6. 沒有Checkpoint發(fā)現(xiàn)風(fēng)險后無法恢復(fù)。十五、生產(chǎn)架構(gòu)用戶目標(biāo) → 任務(wù)規(guī)劃器 → 執(zhí)行Agent → 單步Policy → 軌跡監(jiān)控器 → 工具網(wǎng)關(guān) → 外部系統(tǒng) ↓ 事件存儲Checkpoint成本系統(tǒng) ↓ 人工控制臺總結(jié)長時間運行的Agent改變了安全問題的尺度。過去關(guān)注這一步是否允許現(xiàn)在還必須關(guān)注這一系列動作最終在追求什么生產(chǎn)級長時Agent需要軌跡事件存儲 目標(biāo)漂移檢測 累計風(fēng)險預(yù)算 資源預(yù)算 獨立監(jiān)控器 強制人工干預(yù)點 Checkpoint與回滾只有把整個執(zhí)行過程納入治理Agent才能在長任務(wù)中持續(xù)保持與用戶目標(biāo)和權(quán)限邊界一致。