化學(xué)習(xí)破解多能源調(diào)度難題：建模、算法與工程實(shí)踐)
1. 多能源調(diào)度問題的本質(zhì)為什么傳統(tǒng)方法開始吃力1.1 多能源調(diào)度到底在調(diào)度什么先說個背景。多能源調(diào)度不是單純的“電多了就少發(fā)點(diǎn)”而是把電力、熱力、燃?xì)?、儲能、新能源等不同能源形式放在一個系統(tǒng)里統(tǒng)籌安排。以典型園區(qū)為例來源包括光伏、風(fēng)電這類不穩(wěn)定的可再生電源還會有燃?xì)廨啓C(jī)、電鍋爐、儲電、儲熱甚至電轉(zhuǎn)氣負(fù)荷側(cè)則同時(shí)有電負(fù)荷和熱負(fù)荷。目標(biāo)是滿足這些負(fù)荷需求的前提下把運(yùn)行成本壓到最低同時(shí)兼顧碳排放約束和設(shè)備壽命本質(zhì)上是一個帶復(fù)雜約束的動態(tài)優(yōu)化問題。傳統(tǒng)方法做這件事靠的是建模加求解最常見的組合是混合整數(shù)線性規(guī)劃加滾動優(yōu)化。這個路線的問題很直接光伏出力隨機(jī)波動、電價(jià)隨市場變化、負(fù)荷預(yù)測有誤差再加上設(shè)備啟停狀態(tài)的離散變量模型稍微一復(fù)雜求解器就會非常吃力。即使勉強(qiáng)算出來往往也需要簡化約束而簡化之后得到的方案在工程上又不一定好用。強(qiáng)化學(xué)習(xí)切入的角度完全不同。它不依賴精確的未來預(yù)測也不要求把整個問題的數(shù)學(xué)模型寫得清清楚楚而是讓智能體在運(yùn)行過程中通過與環(huán)境的交互不斷學(xué)習(xí)策略。這就意味著面對光伏波動、電價(jià)突變這些不確定性智能體學(xué)到的是“應(yīng)對方式”而不是“擬合結(jié)果”。打個比方傳統(tǒng)方法像用地圖規(guī)劃一條最優(yōu)路線強(qiáng)化學(xué)習(xí)更像讓司機(jī)在實(shí)際道路上反復(fù)開車最終憑經(jīng)驗(yàn)知道什么時(shí)段走哪條路更穩(wěn)。1.2 傳統(tǒng)優(yōu)化方法的三座大山第一座是不確定性處理能力有限。光伏出力預(yù)測再準(zhǔn)也有誤差而基于預(yù)測的調(diào)度方案在誤差大的時(shí)候?qū)嶋H效果會顯著偏離預(yù)期。傳統(tǒng)方法常見的做法是魯棒優(yōu)化或隨機(jī)規(guī)劃但它們要么過于保守要么需要大量場景抽樣計(jì)算負(fù)擔(dān)很大。第二座是非線性約束難以處理。設(shè)備效率隨負(fù)載率變化、儲能充放電效率與功率水平非線性相關(guān)這些細(xì)節(jié)在傳統(tǒng)模型里要么線性化近似要么干脆忽略。我在做一個熱電聯(lián)產(chǎn)項(xiàng)目時(shí)就遇到過設(shè)備效率曲線帶明顯彎曲的情況線性近似之后算出的分配方案和實(shí)際能效差了不少最后只能換成分段線性建模求解時(shí)間也上去了。第三座是在線計(jì)算時(shí)間不足。調(diào)度周期越短對求解速度的要求越高。日內(nèi)滾動優(yōu)化往往只有幾分鐘的窗口一旦模型規(guī)模上去混合整數(shù)線性規(guī)劃求解器不一定能在這個時(shí)間內(nèi)給出可行解更不用提全局最優(yōu)了。強(qiáng)化學(xué)習(xí)階段性的優(yōu)勢恰好體現(xiàn)在這幾處訓(xùn)練時(shí)可以忍受大量試錯和離線計(jì)算訓(xùn)練完成后策略生成的速度非?？觳恍枰诰€求解優(yōu)化問題對模型精度的依賴低策略直接來自數(shù)據(jù)交互非線性關(guān)系也能通過神經(jīng)網(wǎng)絡(luò)自動擬合。1.3 強(qiáng)化學(xué)習(xí)切入的方式把調(diào)度問題交給強(qiáng)化學(xué)習(xí)核心思路是把運(yùn)行過程抽象為馬爾可夫決策過程。智能體在每個調(diào)度周期觀察當(dāng)前狀態(tài)比如實(shí)時(shí)負(fù)荷、天氣預(yù)測、設(shè)備運(yùn)行狀態(tài)、電價(jià)、儲能荷電狀態(tài)然后根據(jù)當(dāng)前策略選擇一個動作比如各機(jī)組的出力、儲能是否充放電環(huán)境執(zhí)行動作后給出獎勵信號同時(shí)轉(zhuǎn)移到下一個狀態(tài)如此循環(huán)往復(fù)。這個過程中智能體唯一的目標(biāo)就是最大化累計(jì)獎勵把經(jīng)濟(jì)成本、碳排放、設(shè)備損耗這些目標(biāo)都折算進(jìn)獎勵里。最終學(xué)到的策略本質(zhì)上是一個從狀態(tài)到動作的映射運(yùn)行的時(shí)候直接查這個映射就能決策從“在線求解”變成“在線查表”從“建模優(yōu)化”變成“經(jīng)驗(yàn)決策”。下面我按自己做項(xiàng)目時(shí)踩過的坑從建模、算法選型、仿真訓(xùn)練三個層面把實(shí)操經(jīng)驗(yàn)展開講。2. 建模把能源調(diào)度問題喂給強(qiáng)化學(xué)習(xí)之前先做對這幾件事2.1 MDP建模的核心要素狀態(tài)、動作、獎勵模型設(shè)計(jì)在所有步驟里最重要也最容易出錯。狀態(tài)空間、動作空間和獎勵函數(shù)這三個要素定義得好不好直接決定訓(xùn)練能不能收斂以及最終策略是否實(shí)用。狀態(tài)空間需要包含三個維度的信息系統(tǒng)外部環(huán)境、系統(tǒng)內(nèi)部狀態(tài)、歷史或預(yù)測信息。簡單說外部環(huán)境包括電價(jià)、光照強(qiáng)度、風(fēng)速、室外溫度、負(fù)荷需求其中負(fù)荷和新能源出力如果無法直接觀測可以加入短期預(yù)測值作為輔助信息內(nèi)部狀態(tài)包括各個設(shè)備的啟停狀態(tài)、儲能的荷電狀態(tài)、儲熱罐的溫度、機(jī)組當(dāng)前出力等歷史信息則包含上一時(shí)段的實(shí)際出力、前幾個時(shí)段的負(fù)荷偏差等。我見過一個常見錯誤是狀態(tài)設(shè)置得過于精簡比如只用當(dāng)前負(fù)荷和光伏出力做輸入結(jié)果訓(xùn)練出來的策略明顯出現(xiàn)短視行為看到當(dāng)前負(fù)荷低就完全不蓄能等到下個時(shí)段負(fù)荷高了才匆匆忙忙啟動機(jī)組運(yùn)行成本高了很多。后來在狀態(tài)里加了未來6小時(shí)的負(fù)荷預(yù)測曲線和儲能荷電狀態(tài)策略立刻合理了很多。動作空間的定義方式有兩種思路。離散化動作用整數(shù)表示機(jī)組出力檔位適合燃?xì)廨啓C(jī)這類本身就有明確工作檔位的設(shè)備連續(xù)動作直接輸出功率目標(biāo)值適合儲能、電鍋爐這類調(diào)節(jié)靈活的功率型設(shè)備。實(shí)際項(xiàng)目中更多用混合動作空間但很多強(qiáng)化學(xué)習(xí)框架對混合動作支持不友好所以常見做法是把連續(xù)量離散化或者把動作分層上層用離散動作選擇運(yùn)行模式下層用連續(xù)動作輸出具體功率。動作空間一定要考慮可行性約束也就是動作必須落在設(shè)備允許的范圍內(nèi)。儲能充電功率不能超過額定值機(jī)組爬坡速率不能太大這些物理限制在環(huán)境里就應(yīng)該直接處理掉否則訓(xùn)練過程中大量動作是“無效動作”相當(dāng)于讓智能體在一個大部分區(qū)域不可達(dá)的地圖里亂走學(xué)習(xí)效率極低。獎勵函數(shù)的設(shè)計(jì)是整個建模過程的靈魂也是最容易出問題的地方。典型的形式是$$r -\left(C_{op} \lambda_1 C_{carbon} \lambda_2 P_{penalty}\right)$$其中 (C_{op}) 是運(yùn)行成本(C_{carbon}) 是碳排放成本或折算后的數(shù)值(P_{penalty}) 是各種約束違反的懲罰項(xiàng)(\lambda_1)、(\lambda_2) 是權(quán)重系數(shù)。負(fù)號表示我們希望最小化成本。這里有個權(quán)重調(diào)參的經(jīng)驗(yàn)懲罰項(xiàng)的權(quán)重如果設(shè)得過大訓(xùn)練的時(shí)候智能體會變得極度保守寧可犧牲經(jīng)濟(jì)性也要避開懲罰導(dǎo)致策略僵化設(shè)得過小約束又形同虛設(shè)。我一般先把這個權(quán)重設(shè)在正常成本量級的3到5倍確保約束優(yōu)先滿足然后再慢慢調(diào)低觀察策略是否在安全前提下優(yōu)化了經(jīng)濟(jì)性。懲罰項(xiàng)還有個技巧是使用平滑的二次懲罰而不是線性懲罰。線性懲罰在邊界處梯度不變智能體可能學(xué)會“貼著邊界操作”二次懲罰在接近邊界時(shí)會給出更強(qiáng)的梯度信號策略會被自然推向遠(yuǎn)離邊界的安全區(qū)域。2.2 狀態(tài)設(shè)計(jì)的實(shí)操經(jīng)驗(yàn)狀態(tài)的特征工程直接決定模型的表達(dá)能力。我常用的幾個關(guān)鍵特征包括歸一化后的數(shù)據(jù)避免不同量綱的數(shù)據(jù)混在一起。電價(jià)可能是一百多儲能SOC在0到1如果不歸一化神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)低數(shù)值特征會被淹沒。負(fù)荷和新能源出力的短期預(yù)測值這部分信息相當(dāng)于給了一個“未來視角”很多時(shí)候比當(dāng)前值還有用。時(shí)間特征比如小時(shí)編號、星期幾用正弦余弦編碼效果比直接用數(shù)值好因?yàn)榭梢员磉_(dá)周期性。上一時(shí)段的動作結(jié)果比如實(shí)際執(zhí)行后的功率偏差這能幫助智能體感知執(zhí)行誤差并做校正。我踩過一個比較深的坑把開關(guān)機(jī)狀態(tài)這種二值變量直接和連續(xù)變量一起拼進(jìn)狀態(tài)向量網(wǎng)絡(luò)前期訓(xùn)練不穩(wěn)定后來把二值變量做成一熱編碼并在網(wǎng)絡(luò)輸入層單獨(dú)處理離散特征穩(wěn)定了很多。2.3 動作空間怎么定義最合理定義動作空間前先回答三個問題這個設(shè)備是離散控制還是連續(xù)控制它的調(diào)節(jié)周期是多長動作執(zhí)行有沒有延遲回答完這三個問題動作空間的框架基本就定了。以某典型園區(qū)的調(diào)度為例設(shè)備包括1臺燃?xì)廨啓C(jī)、1臺電鍋爐、1個儲能電池、1個儲熱罐動作設(shè)計(jì)如下設(shè)備動作類型動作空間說明燃?xì)廨啓C(jī)離散30%-100%連續(xù)出力按5%間隔離散化電鍋爐連續(xù)0%-100%負(fù)載率可直接連續(xù)控制儲能電池連續(xù)-1到1歸一化負(fù)值放電、正值充電儲熱罐連續(xù)-1到1歸一化負(fù)值放熱、正值儲熱這里有個細(xì)節(jié)儲能動作用正負(fù)號統(tǒng)一編碼會比分開兩個動作維度好很多因?yàn)槌浞殴灿靡惶自O(shè)備天然存在互斥關(guān)系用單個變量可以從結(jié)構(gòu)上避免“同時(shí)充放電”這種物理上不合理但數(shù)值上卻可能出現(xiàn)的情況。2.4 獎勵函數(shù)設(shè)計(jì)的陷阱獎勵稀疏會讓訓(xùn)練幾乎無法進(jìn)行。能源調(diào)度問題還好每個時(shí)間步都有成本信號不算稀疏。但真正的問題是獎勵信號的“時(shí)延性”很難體現(xiàn)比如今天多充點(diǎn)電明天光伏多發(fā)時(shí)就能少買高價(jià)電這個好處要過好幾個時(shí)間步才體現(xiàn)出來。獎勵設(shè)計(jì)如果不考慮這種時(shí)延智能體很可能只盯著眼前的小便宜形成短視策略。解決辦法之一是給儲能行為一個“未來價(jià)值估計(jì)”的輔助獎勵也就是讓獎勵函數(shù)中隱式包含電池余電的價(jià)值而不是只懲罰當(dāng)下的購電成本。更常見的做法是依靠強(qiáng)化學(xué)習(xí)算法本身的折扣回報(bào)機(jī)制用合適的折扣因子讓智能體學(xué)會權(quán)衡短期與長期收益。獎勵函數(shù)還要注意量綱和尺度。成本和碳排放的量級可能差很多倍如果直接把兩個量相加數(shù)值大的那個會主導(dǎo)梯度方向訓(xùn)練出來的策略只關(guān)心碳排放成本完全失控或者反過來。我每次都會先做獎勵分項(xiàng)的可視化分析畫出成本部分和碳排部分在每個episode的分解曲線看清楚各自量級后再定權(quán)重。3. 主流強(qiáng)化學(xué)習(xí)算法在多能源場景的選型與實(shí)戰(zhàn)3.1 DQN適合小規(guī)模離散動作Deep Q-Network把Q表格替換成神經(jīng)網(wǎng)絡(luò)配合經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)一度是離散動作領(lǐng)域最常用的算法。對多能源調(diào)度來說如果系統(tǒng)規(guī)模不大機(jī)組數(shù)量和儲能不能太多動作空間離散化之后還能控制在幾千以內(nèi)的量級DQN確實(shí)是個可行的起點(diǎn)。我在一開始做仿真驗(yàn)證時(shí)就用過DQN優(yōu)點(diǎn)是想明白網(wǎng)絡(luò)結(jié)構(gòu)就能跑通調(diào)參門檻低。缺點(diǎn)是面對稍復(fù)雜一點(diǎn)的場景動作空間稍微爆炸就學(xué)不動了而且對環(huán)境噪聲敏感訓(xùn)練還容易高估Q值導(dǎo)致策略不夠穩(wěn)定。如果你打算用DQN起步記得優(yōu)先處理動作空間規(guī)模問題別一上來就追求超大規(guī)模調(diào)度。3.2 PPO目前最穩(wěn)的在線策略選擇Proximal Policy Optimization是目前多能源調(diào)度里使用最廣泛的深度強(qiáng)化學(xué)習(xí)算法之一。它的核心機(jī)制是限制策略更新的幅度讓每一步更新都在一個可信域內(nèi)保證舊策略到新策略的過渡不發(fā)生過激變化訓(xùn)練穩(wěn)定性明顯比傳統(tǒng)策略梯度算法好。PPO用的是Actor-Critic架構(gòu)Actor網(wǎng)絡(luò)直接輸出連續(xù)動作的概率分布或離散動作的概率Critic網(wǎng)絡(luò)估計(jì)狀態(tài)價(jià)值。在多能源調(diào)度場景中PPO的優(yōu)勢體現(xiàn)在策略平滑性上由于有裁剪約束更新幅度被限制策略輸出的變化不會太劇烈這對于設(shè)備啟停、出力調(diào)節(jié)這類需要平穩(wěn)運(yùn)行控制的場景非常重要。我在給燃?xì)廨啓C(jī)儲能系統(tǒng)做調(diào)度策略時(shí)試過幾種算法PPO在訓(xùn)練穩(wěn)定性和最終策略成本上的綜合表現(xiàn)是最穩(wěn)的。但PPO也有自己的問題最明顯的是超參數(shù)敏感尤其是裁剪系數(shù)、學(xué)習(xí)率、GAE參數(shù)這些一個沒調(diào)好就可能不收斂。后面我在實(shí)操部分會列出我的參考配置。3.3 TD3和SAC連續(xù)動作空間的備選方案TD3和SAC都把連續(xù)動作控制往前推了一步。TD3的核心思路是雙Q網(wǎng)絡(luò)加延遲更新加目標(biāo)策略平滑專門針對連續(xù)控制中常見的過估計(jì)問題做了修改。SAC則引入熵正則項(xiàng)讓策略在積累獎勵的同時(shí)保持足夠探索。對于含大規(guī)模連續(xù)儲能設(shè)備和多臺連續(xù)調(diào)節(jié)機(jī)組的調(diào)度系統(tǒng)TD3和SAC往往比PPO的上限更高但訓(xùn)練難度也更高。我在一個包含電鍋爐、儲熱罐、電儲能和少量光伏的小型園區(qū)試過SAC訓(xùn)練曲線很不穩(wěn)定階段性效果很好下一階段又突然崩潰超參數(shù)調(diào)起來比PPO辛苦得多。如果你項(xiàng)目的時(shí)間緊我建議多能源調(diào)度場景優(yōu)先用PPO穩(wěn)定跑通基線如果效果不夠再考慮TD3和SAC的方案。3.4 離線強(qiáng)化學(xué)習(xí)與因果強(qiáng)化學(xué)習(xí)的新應(yīng)用IQL離線強(qiáng)化學(xué)習(xí)解決的是數(shù)據(jù)效率與安全性的問題。多能源調(diào)度系統(tǒng)開發(fā)過程中歷史運(yùn)行數(shù)據(jù)大量存在但這些數(shù)據(jù)來自過去的運(yùn)行策略很多邊緣情況沒有被覆蓋到。IQL這類離線強(qiáng)化學(xué)習(xí)算法可以直接在歷史數(shù)據(jù)集上學(xué)習(xí)策略而無需和真實(shí)環(huán)境交互也不需要完整重放所有交互過程。對于那些不允許過度試錯的生產(chǎn)系統(tǒng)離線強(qiáng)化學(xué)習(xí)把歷史數(shù)據(jù)變成了訓(xùn)練素材。具體來說IQL通過約束策略不偏離行為策略太遠(yuǎn)避免探索過程中遇到分布外狀態(tài)從而保證學(xué)習(xí)的策略在真實(shí)環(huán)境中能夠穩(wěn)定執(zhí)行。我在一個從仿真向?qū)嶋H遷移的儲能調(diào)度項(xiàng)目里嘗試過IQL效果比想象中好關(guān)鍵是歷史數(shù)據(jù)的質(zhì)量和覆蓋度要過關(guān)策略才不會嚴(yán)重退化。因果強(qiáng)化學(xué)習(xí)的核心機(jī)制比較特別它將因果推斷工具嵌入強(qiáng)化學(xué)習(xí)流程關(guān)鍵能力包括識別狀態(tài)變量之間的因果結(jié)構(gòu)、區(qū)分哪些信息是真正的決策依據(jù)、哪些只是相關(guān)性噪音以及提供策略干預(yù)的反事實(shí)推理能力。這對多能源調(diào)度非常有啟發(fā)。傳統(tǒng)強(qiáng)化學(xué)習(xí)容易學(xué)到一種“虛假相關(guān)”比如某個時(shí)段電價(jià)和某個設(shè)備狀態(tài)總是同時(shí)出現(xiàn)模型可能把設(shè)備狀態(tài)當(dāng)成決定因素實(shí)際上驅(qū)動電價(jià)的完全是另一套邏輯。因果強(qiáng)化學(xué)習(xí)嘗試通過因果圖先解出變量間的因果方向再讓策略去參考真正的因果因素這樣不僅提升泛化能力也給調(diào)度策略帶來更強(qiáng)的可解釋性也是我目前比較看好的方向。4. 仿真環(huán)境搭建與訓(xùn)練流程4.1 環(huán)境建模工具從Gym自定義環(huán)境開始動手做強(qiáng)化學(xué)習(xí)項(xiàng)目第一步是先把環(huán)境定義清楚。我習(xí)慣用Gym風(fēng)格的自定義環(huán)境接口規(guī)范簡單和主流的強(qiáng)化學(xué)習(xí)庫都能直接對接。環(huán)境的核心接口包括狀態(tài)觀測空間、動作空間、步進(jìn)函數(shù)、獎勵計(jì)算、重置函數(shù)和約束處理。一個最小可用的多能源調(diào)度環(huán)境基本輪廓如下class MultiEnergyEnv(gym.Env): def __init__(self, config): super().__init__() self.action_space spaces.Box(low-1, high1, shape(n_actions,)) self.observation_space spaces.Box(low-np.inf, highnp.inf, shape(n_states,)) self.load_profile config[load_profile] self.pv_profile config[pv_profile] self.price_profile config[price_profile] self.storage_soc 0.5 self.time_step 0 def step(self, action): action self._map_action(action) violation self._check_constraints(action) cost self._calculate_cost(action) reward -cost - violation self.time_step 1 done self.time_step self.episode_length return self._get_state(), reward, done, {} def reset(self): self.time_step 0 self.storage_soc 0.5 return self._get_state()這里有個很關(guān)鍵的細(xì)節(jié)動作空間用歸一化區(qū)間把真實(shí)動作的映射放進(jìn)_map_action里這樣做的好處是讓策略網(wǎng)絡(luò)始終輸出一個限定范圍的數(shù)值避免不同設(shè)備物理范圍差異過大對訓(xùn)練造成干擾。4.2 訓(xùn)練流程的關(guān)鍵步驟完整訓(xùn)練流程我一般分成六步生成或?qū)攵嗄茉聪到y(tǒng)的運(yùn)行數(shù)據(jù)包括負(fù)荷曲線、光伏出力曲線、電價(jià)序列、設(shè)備參數(shù)注意把訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)時(shí)段分開避免被評估時(shí)用到訓(xùn)練過的數(shù)據(jù)。定義環(huán)境和獎勵函數(shù)先用簡單情況驗(yàn)證環(huán)境邏輯正確比如儲能只有充放電時(shí)獎勵值是否和手工計(jì)算一致。選定強(qiáng)化學(xué)習(xí)算法并構(gòu)建網(wǎng)絡(luò)Actor網(wǎng)絡(luò)結(jié)構(gòu)不必太復(fù)雜兩層64節(jié)點(diǎn)加激活函數(shù)對大部分調(diào)度場景已經(jīng)夠用。配置超參數(shù)包括學(xué)習(xí)率、折扣因子、batch size、GAE lambda、更新頻率。訓(xùn)練并實(shí)時(shí)監(jiān)控每個episode的累計(jì)獎勵和平均獎勵保存訓(xùn)練過程中性能最好的模型而不是只保存最后一個因?yàn)橛?xùn)練后期可能會出現(xiàn)性能回退。在測試集上評估對比傳統(tǒng)方法的效果檢驗(yàn)策略的合理性。訓(xùn)練的時(shí)候我有一個習(xí)慣每周固定跑幾個隨機(jī)種子做對比。強(qiáng)化學(xué)習(xí)訓(xùn)練受隨機(jī)性影響非常大單次訓(xùn)練的結(jié)果不能代表策略的真實(shí)水平我一般跑5到10個隨機(jī)種子取平均和標(biāo)準(zhǔn)差來對比這個方法在做算法選型時(shí)特別有用。4.3 參數(shù)調(diào)整與收斂性判斷在多能源調(diào)度項(xiàng)目中我常用的PPO參數(shù)配置如下參數(shù)推薦值說明actor學(xué)習(xí)率3e-4初始值觀察loss下降慢就適當(dāng)調(diào)大critic學(xué)習(xí)率1e-3通常比actor稍大保持價(jià)值估計(jì)穩(wěn)定折扣因子0.99調(diào)度周期短可以設(shè)更高0.995GAE lambda0.95平衡偏差和方差的關(guān)鍵參數(shù)裁剪系數(shù)0.2訓(xùn)練不穩(wěn)定可以降到0.1batch size256數(shù)據(jù)量小的場景可以降低每幕最大步數(shù)24或96對應(yīng)小時(shí)級或15分鐘級調(diào)度周期怎么判斷訓(xùn)練是否收斂我的經(jīng)驗(yàn)是不要只看累計(jì)獎勵曲線因?yàn)楠剟钋€波動大肉眼看著容易誤判。我會同時(shí)關(guān)注三個信號actor的loss是否基本平穩(wěn)、critic的loss是否下降并趨于穩(wěn)定、策略輸出是否有合理的變化規(guī)律。還有一個更實(shí)用的判斷辦法在驗(yàn)證集上跑訓(xùn)練好的模型看生成的調(diào)度方案在人工審視下是否合理。比如儲能是否在電價(jià)低的時(shí)候充電、電價(jià)高的時(shí)候放電機(jī)組是否在負(fù)荷高峰前提前升出力。如果策略在驗(yàn)證集上的表現(xiàn)符合這些基本邏輯說明學(xué)到的東西真的可用。4.4 幾種常見的不收斂現(xiàn)象我歸納了四種最容易碰到的訓(xùn)練問題震蕩型不收斂訓(xùn)練曲線一直在很大范圍內(nèi)波動沒有下降趨勢。多數(shù)情況是學(xué)習(xí)率太高或batch太小策略在每次更新時(shí)都跳過頭先降到原來的四分之一試試。過早收斂到局部最優(yōu)訓(xùn)練很早就不動了但獎勵值不高。通常是探索太少PPO的話可以調(diào)大熵系數(shù)給探索更多空間或者把裁剪系數(shù)調(diào)大。后期崩潰訓(xùn)練到后半段突然性能大降。常見原因是價(jià)值函數(shù)估計(jì)偏差累積導(dǎo)致策略更新方向錯誤?？梢越档蛯W(xué)習(xí)率或者檢查是否由于歸一化沒做好導(dǎo)致數(shù)值不穩(wěn)定。獎勵尺度問題獎勵值數(shù)量級極大或極小loss出現(xiàn)NaN。這種情況先把獎勵做標(biāo)準(zhǔn)化處理確保在一個合理區(qū)間再檢查輸入數(shù)據(jù)是否含NaN。5. 常見問題與排查技巧實(shí)錄5.1 獎勵設(shè)計(jì)不合理導(dǎo)致訓(xùn)練不收斂這個問題遇到最多。表現(xiàn)是訓(xùn)練過程中獎勵曲線不降反升或者非常劇烈地震蕩。有一個項(xiàng)目里我把碳排放懲罰設(shè)得過大智能體發(fā)現(xiàn)任何發(fā)電行為都會帶來高懲罰于是傾向于把所有設(shè)備都關(guān)掉系統(tǒng)就無法滿足負(fù)荷需求獎勵反而越來越差。排查獎勵問題需要用追蹤手段。我會在訓(xùn)練代碼里記錄每個episode的獎勵拆分項(xiàng)輸出成分項(xiàng)分解曲線。有時(shí)候會發(fā)現(xiàn)懲罰項(xiàng)始終是0或始終是最大值說明約束根本沒有被有效感知。還有一個技巧是做“獎勵 sanity check”比如讓智能體執(zhí)行一個明顯合理的策略比如“低電價(jià)充電、高電價(jià)放電”看這個策略計(jì)算出來的獎勵是多少如果算出來的獎勵比訓(xùn)練后期得到的還低說明獎勵函數(shù)本身有問題。5.2 狀態(tài)空間過大導(dǎo)致采樣效率問題多能源系統(tǒng)狀態(tài)量很多直接全塞進(jìn)去會導(dǎo)致采樣效率非常低。一個典型的案例我朋友做某工廠綜合能源調(diào)度狀態(tài)包括設(shè)備詳細(xì)級狀態(tài)變量、環(huán)境變量、預(yù)測數(shù)據(jù)總共六十多個維度訓(xùn)練了一個月策略還是不理想。從這個案例學(xué)到的排查方法是先做狀態(tài)量分析和相關(guān)性分析把明顯與調(diào)度效果無關(guān)的狀態(tài)剔除比如某些外部預(yù)測數(shù)據(jù)幾乎不波動對策略沒有貢獻(xiàn)。還要注意狀態(tài)頻率與調(diào)度頻率的匹配電網(wǎng)頻率很快但調(diào)度周期是按小時(shí)算頻率信號不足以支持每小時(shí)決策遠(yuǎn)高于決策粒度的數(shù)據(jù)要先做聚合。5.3 模型過擬合到訓(xùn)練集強(qiáng)化學(xué)習(xí)也會有類似監(jiān)督學(xué)習(xí)的過擬合問題。我把訓(xùn)練集數(shù)據(jù)畫出來看如果模型在訓(xùn)練集上表現(xiàn)很好一到測試集就崩就要懷疑過擬合了。解決思路有三個數(shù)據(jù)層面的做法是增加不同季節(jié)、不同天氣類型的數(shù)據(jù)覆蓋算法層面是不要訓(xùn)練太多個epoch早期停止可以在訓(xùn)練曲線在驗(yàn)證集上開始變差時(shí)觸發(fā)策略層面則是限制策略復(fù)雜度比如使用更小的網(wǎng)絡(luò)容量、增加熵正則項(xiàng)等。5.4 實(shí)測數(shù)據(jù)下的調(diào)參經(jīng)驗(yàn)有一次項(xiàng)目從仿真環(huán)境切換到真實(shí)歷史的實(shí)測場景原來的訓(xùn)練模型在仿真環(huán)境表現(xiàn)很好但遷移到真實(shí)數(shù)據(jù)后性能明顯下降。原因主要是仿真環(huán)境對新能源出力做了平滑處理而真實(shí)數(shù)據(jù)有大量突發(fā)波動。我的處理方法是先確認(rèn)真實(shí)數(shù)據(jù)的波動程度在狀態(tài)空間中加入多步歷史差分特征來增強(qiáng)對突變的感知能力。接著把訓(xùn)練數(shù)據(jù)的采樣周期從原來的一小時(shí)細(xì)化為十五分鐘提高對環(huán)境變化的響應(yīng)頻率再補(bǔ)充了一些極端天氣場景的數(shù)據(jù)然后重訓(xùn)。這套組合下來效果提升明顯。核心思路是讓智能體通過輸入特征感知到環(huán)境的不確定性而不是依賴環(huán)境本身做出精確的未來預(yù)測。6. 從Demo到落地強(qiáng)化學(xué)習(xí)調(diào)度策略的工程化思考6.1 仿真到實(shí)際的差距仿真環(huán)境永遠(yuǎn)無法完全模擬真實(shí)運(yùn)行。真實(shí)系統(tǒng)有通訊延遲、設(shè)備故障、數(shù)據(jù)質(zhì)量問題、人機(jī)交互不確定性這些在仿真里都沒有。我在一個現(xiàn)場項(xiàng)目中測試過訓(xùn)練好的策略發(fā)現(xiàn)第一個現(xiàn)實(shí)問題就是數(shù)據(jù)質(zhì)量——某些實(shí)時(shí)數(shù)據(jù)在短時(shí)間內(nèi)反復(fù)跳變導(dǎo)致狀態(tài)觀測結(jié)果異常策略被干擾得很明顯。這個問題的解決辦法是在狀態(tài)輸入里加一套數(shù)據(jù)合理性檢查邏輯對異常值做平滑或插值處理保證進(jìn)入策略網(wǎng)絡(luò)的觀測數(shù)據(jù)是健康的。第二個差距是執(zhí)行誤差。仿真中策略給出的動作會精確執(zhí)行但真實(shí)設(shè)備存在響應(yīng)延遲、控制死區(qū)和機(jī)械磨損實(shí)際出力和指令值往往有偏差。如果環(huán)境建模時(shí)沒有考慮執(zhí)行誤差策略訓(xùn)練出來后在實(shí)際系統(tǒng)上會碰到性能損失。一個務(wù)實(shí)的做法是在仿真環(huán)境里注入一定比例的執(zhí)行噪聲比如功率指令和實(shí)際出力之間有5%左右的隨機(jī)偏差讓智能體學(xué)會在這種不確定性下做決策。6.2 可解釋性的問題調(diào)度系統(tǒng)牽扯到運(yùn)行安全、設(shè)備責(zé)任、操作規(guī)程不能接受“黑箱”決策。如果調(diào)度員不了解當(dāng)前策略為什么選擇這個方案就不會信任它。強(qiáng)化學(xué)習(xí)的可解釋性處理可以從三個層面入手。第一層是簡單的行為可視化把策略生成的控制方案、狀態(tài)觀測量和獎勵構(gòu)成畫出來讓調(diào)度員看到在不同場景下策略如何響應(yīng)。第二層是使用注意力機(jī)制或重要性分析找出哪些狀態(tài)量對最終決策貢獻(xiàn)最大比如電價(jià)和儲能SOC往往在多數(shù)時(shí)刻占據(jù)主導(dǎo)地位。第三層就是前面提到的因果強(qiáng)化學(xué)習(xí)通過因果結(jié)構(gòu)解釋“為什么這個狀態(tài)下策略會這樣決策”。我在項(xiàng)目里還喜歡做一件事把訓(xùn)練好的策略和傳統(tǒng)優(yōu)化方法做每日成本對比按周匯總分析得出“本周策略在哪些場景下比傳統(tǒng)方法更優(yōu)、哪些場景下更差”的結(jié)論。這些具體案例是最直接的信任建立材料比任何理論分析都好用。6.3 我對這個方向的個人體會做了多個多能源調(diào)度的強(qiáng)化學(xué)習(xí)項(xiàng)目之后總體體會是強(qiáng)化學(xué)習(xí)確實(shí)能解決傳統(tǒng)優(yōu)化方法在不確定性和計(jì)算時(shí)間上的核心痛點(diǎn)但不是銀彈。適合強(qiáng)化學(xué)習(xí)的場景有幾個共同特點(diǎn)有足夠的訓(xùn)練數(shù)據(jù)或高保真仿真環(huán)境決策周期比較短且決策頻率高存在明顯的時(shí)序依賴和不確定性以及目標(biāo)函數(shù)和約束可以被清晰地量化為獎勵。反過來如果系統(tǒng)非常小傳統(tǒng)優(yōu)化幾秒鐘就能算出最優(yōu)解那就沒必要用強(qiáng)化學(xué)習(xí)。如果安全約束極其嚴(yán)格根本沒有試錯空間直接上強(qiáng)化學(xué)習(xí)風(fēng)險(xiǎn)也很大這時(shí)候可以考慮離線強(qiáng)化學(xué)習(xí)先做預(yù)訓(xùn)練再配合保守策略部署。多能源調(diào)度這個領(lǐng)域最有價(jià)值的地方是它會不斷出現(xiàn)新的約束和新類型的不確定性。電價(jià)越來越市場化新能源滲透率越來越高碳交易機(jī)制逐漸落地這些變化都會讓調(diào)度問題更加復(fù)雜強(qiáng)化學(xué)習(xí)的適應(yīng)能力正好派上用場。但整個過程必須保持深度設(shè)計(jì)和工程思維從建模、算法、訓(xùn)練、評估到部署每一步都值得認(rèn)真規(guī)劃和驗(yàn)證。最后再分享一個實(shí)操習(xí)慣。我在訓(xùn)練多能源調(diào)度策略時(shí)一定會把基線模型一直保留到最后。每訓(xùn)練一個新版本都先在驗(yàn)證集上對比舊版本只有新版本在成本、約束滿足率、魯棒性上全面領(lǐng)先才切換。有很多次訓(xùn)練過程中看起來新版本獎勵更高但在驗(yàn)證集上一跑約束違反率比舊版本高了不少果斷回退舊版本。這個習(xí)慣幫我避免過不少次調(diào)度事故發(fā)生越到項(xiàng)目后期越覺得落地交付最終比拼的不是某個算法的新穎程度而是能不能讓一個決策模型長期運(yùn)行穩(wěn)定不“翻車”。 強(qiáng)化學(xué)習(xí)破解多能源調(diào)度難題：建模、算法與工程實(shí)踐
1. 多能源調(diào)度問題的本質(zhì)為什么傳統(tǒng)方法開始吃力1.1 多能源調(diào)度到底在調(diào)度什么先說個背景。多能源調(diào)度不是單純的“電多了就少發(fā)點(diǎn)”而是把電力、熱力、燃?xì)?、儲能、新能源等不同能源形式放在一個系統(tǒng)里統(tǒng)籌安排。以典型園區(qū)為例來源包括光伏、風(fēng)電這類不穩(wěn)定的可再生電源還會有燃?xì)廨啓C(jī)、電鍋爐、儲電、儲熱甚至電轉(zhuǎn)氣負(fù)荷側(cè)則同時(shí)有電負(fù)荷和熱負(fù)荷。目標(biāo)是滿足這些負(fù)荷需求的前提下把運(yùn)行成本壓到最低同時(shí)兼顧碳排放約束和設(shè)備壽命本質(zhì)上是一個帶復(fù)雜約束的動態(tài)優(yōu)化問題。傳統(tǒng)方法做這件事靠的是建模加求解最常見的組合是混合整數(shù)線性規(guī)劃加滾動優(yōu)化。這個路線的問題很直接光伏出力隨機(jī)波動、電價(jià)隨市場變化、負(fù)荷預(yù)測有誤差再加上設(shè)備啟停狀態(tài)的離散變量模型稍微一復(fù)雜求解器就會非常吃力。即使勉強(qiáng)算出來往往也需要簡化約束而簡化之后得到的方案在工程上又不一定好用。強(qiáng)化學(xué)習(xí)切入的角度完全不同。它不依賴精確的未來預(yù)測也不要求把整個問題的數(shù)學(xué)模型寫得清清楚楚而是讓智能體在運(yùn)行過程中通過與環(huán)境的交互不斷學(xué)習(xí)策略。這就意味著面對光伏波動、電價(jià)突變這些不確定性智能體學(xué)到的是“應(yīng)對方式”而不是“擬合結(jié)果”。打個比方傳統(tǒng)方法像用地圖規(guī)劃一條最優(yōu)路線強(qiáng)化學(xué)習(xí)更像讓司機(jī)在實(shí)際道路上反復(fù)開車最終憑經(jīng)驗(yàn)知道什么時(shí)段走哪條路更穩(wěn)。1.2 傳統(tǒng)優(yōu)化方法的三座大山第一座是不確定性處理能力有限。光伏出力預(yù)測再準(zhǔn)也有誤差而基于預(yù)測的調(diào)度方案在誤差大的時(shí)候?qū)嶋H效果會顯著偏離預(yù)期。傳統(tǒng)方法常見的做法是魯棒優(yōu)化或隨機(jī)規(guī)劃但它們要么過于保守要么需要大量場景抽樣計(jì)算負(fù)擔(dān)很大。第二座是非線性約束難以處理。設(shè)備效率隨負(fù)載率變化、儲能充放電效率與功率水平非線性相關(guān)這些細(xì)節(jié)在傳統(tǒng)模型里要么線性化近似要么干脆忽略。我在做一個熱電聯(lián)產(chǎn)項(xiàng)目時(shí)就遇到過設(shè)備效率曲線帶明顯彎曲的情況線性近似之后算出的分配方案和實(shí)際能效差了不少最后只能換成分段線性建模求解時(shí)間也上去了。第三座是在線計(jì)算時(shí)間不足。調(diào)度周期越短對求解速度的要求越高。日內(nèi)滾動優(yōu)化往往只有幾分鐘的窗口一旦模型規(guī)模上去混合整數(shù)線性規(guī)劃求解器不一定能在這個時(shí)間內(nèi)給出可行解更不用提全局最優(yōu)了。強(qiáng)化學(xué)習(xí)階段性的優(yōu)勢恰好體現(xiàn)在這幾處訓(xùn)練時(shí)可以忍受大量試錯和離線計(jì)算訓(xùn)練完成后策略生成的速度非?？觳恍枰诰€求解優(yōu)化問題對模型精度的依賴低策略直接來自數(shù)據(jù)交互非線性關(guān)系也能通過神經(jīng)網(wǎng)絡(luò)自動擬合。1.3 強(qiáng)化學(xué)習(xí)切入的方式把調(diào)度問題交給強(qiáng)化學(xué)習(xí)核心思路是把運(yùn)行過程抽象為馬爾可夫決策過程。智能體在每個調(diào)度周期觀察當(dāng)前狀態(tài)比如實(shí)時(shí)負(fù)荷、天氣預(yù)測、設(shè)備運(yùn)行狀態(tài)、電價(jià)、儲能荷電狀態(tài)然后根據(jù)當(dāng)前策略選擇一個動作比如各機(jī)組的出力、儲能是否充放電環(huán)境執(zhí)行動作后給出獎勵信號同時(shí)轉(zhuǎn)移到下一個狀態(tài)如此循環(huán)往復(fù)。這個過程中智能體唯一的目標(biāo)就是最大化累計(jì)獎勵把經(jīng)濟(jì)成本、碳排放、設(shè)備損耗這些目標(biāo)都折算進(jìn)獎勵里。最終學(xué)到的策略本質(zhì)上是一個從狀態(tài)到動作的映射運(yùn)行的時(shí)候直接查這個映射就能決策從“在線求解”變成“在線查表”從“建模優(yōu)化”變成“經(jīng)驗(yàn)決策”。下面我按自己做項(xiàng)目時(shí)踩過的坑從建模、算法選型、仿真訓(xùn)練三個層面把實(shí)操經(jīng)驗(yàn)展開講。2. 建模把能源調(diào)度問題喂給強(qiáng)化學(xué)習(xí)之前先做對這幾件事2.1 MDP建模的核心要素狀態(tài)、動作、獎勵模型設(shè)計(jì)在所有步驟里最重要也最容易出錯。狀態(tài)空間、動作空間和獎勵函數(shù)這三個要素定義得好不好直接決定訓(xùn)練能不能收斂以及最終策略是否實(shí)用。狀態(tài)空間需要包含三個維度的信息系統(tǒng)外部環(huán)境、系統(tǒng)內(nèi)部狀態(tài)、歷史或預(yù)測信息。簡單說外部環(huán)境包括電價(jià)、光照強(qiáng)度、風(fēng)速、室外溫度、負(fù)荷需求其中負(fù)荷和新能源出力如果無法直接觀測可以加入短期預(yù)測值作為輔助信息內(nèi)部狀態(tài)包括各個設(shè)備的啟停狀態(tài)、儲能的荷電狀態(tài)、儲熱罐的溫度、機(jī)組當(dāng)前出力等歷史信息則包含上一時(shí)段的實(shí)際出力、前幾個時(shí)段的負(fù)荷偏差等。我見過一個常見錯誤是狀態(tài)設(shè)置得過于精簡比如只用當(dāng)前負(fù)荷和光伏出力做輸入結(jié)果訓(xùn)練出來的策略明顯出現(xiàn)短視行為看到當(dāng)前負(fù)荷低就完全不蓄能等到下個時(shí)段負(fù)荷高了才匆匆忙忙啟動機(jī)組運(yùn)行成本高了很多。后來在狀態(tài)里加了未來6小時(shí)的負(fù)荷預(yù)測曲線和儲能荷電狀態(tài)策略立刻合理了很多。動作空間的定義方式有兩種思路。離散化動作用整數(shù)表示機(jī)組出力檔位適合燃?xì)廨啓C(jī)這類本身就有明確工作檔位的設(shè)備連續(xù)動作直接輸出功率目標(biāo)值適合儲能、電鍋爐這類調(diào)節(jié)靈活的功率型設(shè)備。實(shí)際項(xiàng)目中更多用混合動作空間但很多強(qiáng)化學(xué)習(xí)框架對混合動作支持不友好所以常見做法是把連續(xù)量離散化或者把動作分層上層用離散動作選擇運(yùn)行模式下層用連續(xù)動作輸出具體功率。動作空間一定要考慮可行性約束也就是動作必須落在設(shè)備允許的范圍內(nèi)。儲能充電功率不能超過額定值機(jī)組爬坡速率不能太大這些物理限制在環(huán)境里就應(yīng)該直接處理掉否則訓(xùn)練過程中大量動作是“無效動作”相當(dāng)于讓智能體在一個大部分區(qū)域不可達(dá)的地圖里亂走學(xué)習(xí)效率極低。獎勵函數(shù)的設(shè)計(jì)是整個建模過程的靈魂也是最容易出問題的地方。典型的形式是$$r -\left(C_{op} \lambda_1 C_{carbon} \lambda_2 P_{penalty}\right)$$其中 (C_{op}) 是運(yùn)行成本(C_{carbon}) 是碳排放成本或折算后的數(shù)值(P_{penalty}) 是各種約束違反的懲罰項(xiàng)(\lambda_1)、(\lambda_2) 是權(quán)重系數(shù)。負(fù)號表示我們希望最小化成本。這里有個權(quán)重調(diào)參的經(jīng)驗(yàn)懲罰項(xiàng)的權(quán)重如果設(shè)得過大訓(xùn)練的時(shí)候智能體會變得極度保守寧可犧牲經(jīng)濟(jì)性也要避開懲罰導(dǎo)致策略僵化設(shè)得過小約束又形同虛設(shè)。我一般先把這個權(quán)重設(shè)在正常成本量級的3到5倍確保約束優(yōu)先滿足然后再慢慢調(diào)低觀察策略是否在安全前提下優(yōu)化了經(jīng)濟(jì)性。懲罰項(xiàng)還有個技巧是使用平滑的二次懲罰而不是線性懲罰。線性懲罰在邊界處梯度不變智能體可能學(xué)會“貼著邊界操作”二次懲罰在接近邊界時(shí)會給出更強(qiáng)的梯度信號策略會被自然推向遠(yuǎn)離邊界的安全區(qū)域。2.2 狀態(tài)設(shè)計(jì)的實(shí)操經(jīng)驗(yàn)狀態(tài)的特征工程直接決定模型的表達(dá)能力。我常用的幾個關(guān)鍵特征包括歸一化后的數(shù)據(jù)避免不同量綱的數(shù)據(jù)混在一起。電價(jià)可能是一百多儲能SOC在0到1如果不歸一化神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)低數(shù)值特征會被淹沒。負(fù)荷和新能源出力的短期預(yù)測值這部分信息相當(dāng)于給了一個“未來視角”很多時(shí)候比當(dāng)前值還有用。時(shí)間特征比如小時(shí)編號、星期幾用正弦余弦編碼效果比直接用數(shù)值好因?yàn)榭梢员磉_(dá)周期性。上一時(shí)段的動作結(jié)果比如實(shí)際執(zhí)行后的功率偏差這能幫助智能體感知執(zhí)行誤差并做校正。我踩過一個比較深的坑把開關(guān)機(jī)狀態(tài)這種二值變量直接和連續(xù)變量一起拼進(jìn)狀態(tài)向量網(wǎng)絡(luò)前期訓(xùn)練不穩(wěn)定后來把二值變量做成一熱編碼并在網(wǎng)絡(luò)輸入層單獨(dú)處理離散特征穩(wěn)定了很多。2.3 動作空間怎么定義最合理定義動作空間前先回答三個問題這個設(shè)備是離散控制還是連續(xù)控制它的調(diào)節(jié)周期是多長動作執(zhí)行有沒有延遲回答完這三個問題動作空間的框架基本就定了。以某典型園區(qū)的調(diào)度為例設(shè)備包括1臺燃?xì)廨啓C(jī)、1臺電鍋爐、1個儲能電池、1個儲熱罐動作設(shè)計(jì)如下設(shè)備動作類型動作空間說明燃?xì)廨啓C(jī)離散30%-100%連續(xù)出力按5%間隔離散化電鍋爐連續(xù)0%-100%負(fù)載率可直接連續(xù)控制儲能電池連續(xù)-1到1歸一化負(fù)值放電、正值充電儲熱罐連續(xù)-1到1歸一化負(fù)值放熱、正值儲熱這里有個細(xì)節(jié)儲能動作用正負(fù)號統(tǒng)一編碼會比分開兩個動作維度好很多因?yàn)槌浞殴灿靡惶自O(shè)備天然存在互斥關(guān)系用單個變量可以從結(jié)構(gòu)上避免“同時(shí)充放電”這種物理上不合理但數(shù)值上卻可能出現(xiàn)的情況。2.4 獎勵函數(shù)設(shè)計(jì)的陷阱獎勵稀疏會讓訓(xùn)練幾乎無法進(jìn)行。能源調(diào)度問題還好每個時(shí)間步都有成本信號不算稀疏。但真正的問題是獎勵信號的“時(shí)延性”很難體現(xiàn)比如今天多充點(diǎn)電明天光伏多發(fā)時(shí)就能少買高價(jià)電這個好處要過好幾個時(shí)間步才體現(xiàn)出來。獎勵設(shè)計(jì)如果不考慮這種時(shí)延智能體很可能只盯著眼前的小便宜形成短視策略。解決辦法之一是給儲能行為一個“未來價(jià)值估計(jì)”的輔助獎勵也就是讓獎勵函數(shù)中隱式包含電池余電的價(jià)值而不是只懲罰當(dāng)下的購電成本。更常見的做法是依靠強(qiáng)化學(xué)習(xí)算法本身的折扣回報(bào)機(jī)制用合適的折扣因子讓智能體學(xué)會權(quán)衡短期與長期收益。獎勵函數(shù)還要注意量綱和尺度。成本和碳排放的量級可能差很多倍如果直接把兩個量相加數(shù)值大的那個會主導(dǎo)梯度方向訓(xùn)練出來的策略只關(guān)心碳排放成本完全失控或者反過來。我每次都會先做獎勵分項(xiàng)的可視化分析畫出成本部分和碳排部分在每個episode的分解曲線看清楚各自量級后再定權(quán)重。3. 主流強(qiáng)化學(xué)習(xí)算法在多能源場景的選型與實(shí)戰(zhàn)3.1 DQN適合小規(guī)模離散動作Deep Q-Network把Q表格替換成神經(jīng)網(wǎng)絡(luò)配合經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)一度是離散動作領(lǐng)域最常用的算法。對多能源調(diào)度來說如果系統(tǒng)規(guī)模不大機(jī)組數(shù)量和儲能不能太多動作空間離散化之后還能控制在幾千以內(nèi)的量級DQN確實(shí)是個可行的起點(diǎn)。我在一開始做仿真驗(yàn)證時(shí)就用過DQN優(yōu)點(diǎn)是想明白網(wǎng)絡(luò)結(jié)構(gòu)就能跑通調(diào)參門檻低。缺點(diǎn)是面對稍復(fù)雜一點(diǎn)的場景動作空間稍微爆炸就學(xué)不動了而且對環(huán)境噪聲敏感訓(xùn)練還容易高估Q值導(dǎo)致策略不夠穩(wěn)定。如果你打算用DQN起步記得優(yōu)先處理動作空間規(guī)模問題別一上來就追求超大規(guī)模調(diào)度。3.2 PPO目前最穩(wěn)的在線策略選擇Proximal Policy Optimization是目前多能源調(diào)度里使用最廣泛的深度強(qiáng)化學(xué)習(xí)算法之一。它的核心機(jī)制是限制策略更新的幅度讓每一步更新都在一個可信域內(nèi)保證舊策略到新策略的過渡不發(fā)生過激變化訓(xùn)練穩(wěn)定性明顯比傳統(tǒng)策略梯度算法好。PPO用的是Actor-Critic架構(gòu)Actor網(wǎng)絡(luò)直接輸出連續(xù)動作的概率分布或離散動作的概率Critic網(wǎng)絡(luò)估計(jì)狀態(tài)價(jià)值。在多能源調(diào)度場景中PPO的優(yōu)勢體現(xiàn)在策略平滑性上由于有裁剪約束更新幅度被限制策略輸出的變化不會太劇烈這對于設(shè)備啟停、出力調(diào)節(jié)這類需要平穩(wěn)運(yùn)行控制的場景非常重要。我在給燃?xì)廨啓C(jī)儲能系統(tǒng)做調(diào)度策略時(shí)試過幾種算法PPO在訓(xùn)練穩(wěn)定性和最終策略成本上的綜合表現(xiàn)是最穩(wěn)的。但PPO也有自己的問題最明顯的是超參數(shù)敏感尤其是裁剪系數(shù)、學(xué)習(xí)率、GAE參數(shù)這些一個沒調(diào)好就可能不收斂。后面我在實(shí)操部分會列出我的參考配置。3.3 TD3和SAC連續(xù)動作空間的備選方案TD3和SAC都把連續(xù)動作控制往前推了一步。TD3的核心思路是雙Q網(wǎng)絡(luò)加延遲更新加目標(biāo)策略平滑專門針對連續(xù)控制中常見的過估計(jì)問題做了修改。SAC則引入熵正則項(xiàng)讓策略在積累獎勵的同時(shí)保持足夠探索。對于含大規(guī)模連續(xù)儲能設(shè)備和多臺連續(xù)調(diào)節(jié)機(jī)組的調(diào)度系統(tǒng)TD3和SAC往往比PPO的上限更高但訓(xùn)練難度也更高。我在一個包含電鍋爐、儲熱罐、電儲能和少量光伏的小型園區(qū)試過SAC訓(xùn)練曲線很不穩(wěn)定階段性效果很好下一階段又突然崩潰超參數(shù)調(diào)起來比PPO辛苦得多。如果你項(xiàng)目的時(shí)間緊我建議多能源調(diào)度場景優(yōu)先用PPO穩(wěn)定跑通基線如果效果不夠再考慮TD3和SAC的方案。3.4 離線強(qiáng)化學(xué)習(xí)與因果強(qiáng)化學(xué)習(xí)的新應(yīng)用IQL離線強(qiáng)化學(xué)習(xí)解決的是數(shù)據(jù)效率與安全性的問題。多能源調(diào)度系統(tǒng)開發(fā)過程中歷史運(yùn)行數(shù)據(jù)大量存在但這些數(shù)據(jù)來自過去的運(yùn)行策略很多邊緣情況沒有被覆蓋到。IQL這類離線強(qiáng)化學(xué)習(xí)算法可以直接在歷史數(shù)據(jù)集上學(xué)習(xí)策略而無需和真實(shí)環(huán)境交互也不需要完整重放所有交互過程。對于那些不允許過度試錯的生產(chǎn)系統(tǒng)離線強(qiáng)化學(xué)習(xí)把歷史數(shù)據(jù)變成了訓(xùn)練素材。具體來說IQL通過約束策略不偏離行為策略太遠(yuǎn)避免探索過程中遇到分布外狀態(tài)從而保證學(xué)習(xí)的策略在真實(shí)環(huán)境中能夠穩(wěn)定執(zhí)行。我在一個從仿真向?qū)嶋H遷移的儲能調(diào)度項(xiàng)目里嘗試過IQL效果比想象中好關(guān)鍵是歷史數(shù)據(jù)的質(zhì)量和覆蓋度要過關(guān)策略才不會嚴(yán)重退化。因果強(qiáng)化學(xué)習(xí)的核心機(jī)制比較特別它將因果推斷工具嵌入強(qiáng)化學(xué)習(xí)流程關(guān)鍵能力包括識別狀態(tài)變量之間的因果結(jié)構(gòu)、區(qū)分哪些信息是真正的決策依據(jù)、哪些只是相關(guān)性噪音以及提供策略干預(yù)的反事實(shí)推理能力。這對多能源調(diào)度非常有啟發(fā)。傳統(tǒng)強(qiáng)化學(xué)習(xí)容易學(xué)到一種“虛假相關(guān)”比如某個時(shí)段電價(jià)和某個設(shè)備狀態(tài)總是同時(shí)出現(xiàn)模型可能把設(shè)備狀態(tài)當(dāng)成決定因素實(shí)際上驅(qū)動電價(jià)的完全是另一套邏輯。因果強(qiáng)化學(xué)習(xí)嘗試通過因果圖先解出變量間的因果方向再讓策略去參考真正的因果因素這樣不僅提升泛化能力也給調(diào)度策略帶來更強(qiáng)的可解釋性也是我目前比較看好的方向。4. 仿真環(huán)境搭建與訓(xùn)練流程4.1 環(huán)境建模工具從Gym自定義環(huán)境開始動手做強(qiáng)化學(xué)習(xí)項(xiàng)目第一步是先把環(huán)境定義清楚。我習(xí)慣用Gym風(fēng)格的自定義環(huán)境接口規(guī)范簡單和主流的強(qiáng)化學(xué)習(xí)庫都能直接對接。環(huán)境的核心接口包括狀態(tài)觀測空間、動作空間、步進(jìn)函數(shù)、獎勵計(jì)算、重置函數(shù)和約束處理。一個最小可用的多能源調(diào)度環(huán)境基本輪廓如下class MultiEnergyEnv(gym.Env): def __init__(self, config): super().__init__() self.action_space spaces.Box(low-1, high1, shape(n_actions,)) self.observation_space spaces.Box(low-np.inf, highnp.inf, shape(n_states,)) self.load_profile config[load_profile] self.pv_profile config[pv_profile] self.price_profile config[price_profile] self.storage_soc 0.5 self.time_step 0 def step(self, action): action self._map_action(action) violation self._check_constraints(action) cost self._calculate_cost(action) reward -cost - violation self.time_step 1 done self.time_step self.episode_length return self._get_state(), reward, done, {} def reset(self): self.time_step 0 self.storage_soc 0.5 return self._get_state()這里有個很關(guān)鍵的細(xì)節(jié)動作空間用歸一化區(qū)間把真實(shí)動作的映射放進(jìn)_map_action里這樣做的好處是讓策略網(wǎng)絡(luò)始終輸出一個限定范圍的數(shù)值避免不同設(shè)備物理范圍差異過大對訓(xùn)練造成干擾。4.2 訓(xùn)練流程的關(guān)鍵步驟完整訓(xùn)練流程我一般分成六步生成或?qū)攵嗄茉聪到y(tǒng)的運(yùn)行數(shù)據(jù)包括負(fù)荷曲線、光伏出力曲線、電價(jià)序列、設(shè)備參數(shù)注意把訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)時(shí)段分開避免被評估時(shí)用到訓(xùn)練過的數(shù)據(jù)。定義環(huán)境和獎勵函數(shù)先用簡單情況驗(yàn)證環(huán)境邏輯正確比如儲能只有充放電時(shí)獎勵值是否和手工計(jì)算一致。選定強(qiáng)化學(xué)習(xí)算法并構(gòu)建網(wǎng)絡(luò)Actor網(wǎng)絡(luò)結(jié)構(gòu)不必太復(fù)雜兩層64節(jié)點(diǎn)加激活函數(shù)對大部分調(diào)度場景已經(jīng)夠用。配置超參數(shù)包括學(xué)習(xí)率、折扣因子、batch size、GAE lambda、更新頻率。訓(xùn)練并實(shí)時(shí)監(jiān)控每個episode的累計(jì)獎勵和平均獎勵保存訓(xùn)練過程中性能最好的模型而不是只保存最后一個因?yàn)橛?xùn)練后期可能會出現(xiàn)性能回退。在測試集上評估對比傳統(tǒng)方法的效果檢驗(yàn)策略的合理性。訓(xùn)練的時(shí)候我有一個習(xí)慣每周固定跑幾個隨機(jī)種子做對比。強(qiáng)化學(xué)習(xí)訓(xùn)練受隨機(jī)性影響非常大單次訓(xùn)練的結(jié)果不能代表策略的真實(shí)水平我一般跑5到10個隨機(jī)種子取平均和標(biāo)準(zhǔn)差來對比這個方法在做算法選型時(shí)特別有用。4.3 參數(shù)調(diào)整與收斂性判斷在多能源調(diào)度項(xiàng)目中我常用的PPO參數(shù)配置如下參數(shù)推薦值說明actor學(xué)習(xí)率3e-4初始值觀察loss下降慢就適當(dāng)調(diào)大critic學(xué)習(xí)率1e-3通常比actor稍大保持價(jià)值估計(jì)穩(wěn)定折扣因子0.99調(diào)度周期短可以設(shè)更高0.995GAE lambda0.95平衡偏差和方差的關(guān)鍵參數(shù)裁剪系數(shù)0.2訓(xùn)練不穩(wěn)定可以降到0.1batch size256數(shù)據(jù)量小的場景可以降低每幕最大步數(shù)24或96對應(yīng)小時(shí)級或15分鐘級調(diào)度周期怎么判斷訓(xùn)練是否收斂我的經(jīng)驗(yàn)是不要只看累計(jì)獎勵曲線因?yàn)楠剟钋€波動大肉眼看著容易誤判。我會同時(shí)關(guān)注三個信號actor的loss是否基本平穩(wěn)、critic的loss是否下降并趨于穩(wěn)定、策略輸出是否有合理的變化規(guī)律。還有一個更實(shí)用的判斷辦法在驗(yàn)證集上跑訓(xùn)練好的模型看生成的調(diào)度方案在人工審視下是否合理。比如儲能是否在電價(jià)低的時(shí)候充電、電價(jià)高的時(shí)候放電機(jī)組是否在負(fù)荷高峰前提前升出力。如果策略在驗(yàn)證集上的表現(xiàn)符合這些基本邏輯說明學(xué)到的東西真的可用。4.4 幾種常見的不收斂現(xiàn)象我歸納了四種最容易碰到的訓(xùn)練問題震蕩型不收斂訓(xùn)練曲線一直在很大范圍內(nèi)波動沒有下降趨勢。多數(shù)情況是學(xué)習(xí)率太高或batch太小策略在每次更新時(shí)都跳過頭先降到原來的四分之一試試。過早收斂到局部最優(yōu)訓(xùn)練很早就不動了但獎勵值不高。通常是探索太少PPO的話可以調(diào)大熵系數(shù)給探索更多空間或者把裁剪系數(shù)調(diào)大。后期崩潰訓(xùn)練到后半段突然性能大降。常見原因是價(jià)值函數(shù)估計(jì)偏差累積導(dǎo)致策略更新方向錯誤?？梢越档蛯W(xué)習(xí)率或者檢查是否由于歸一化沒做好導(dǎo)致數(shù)值不穩(wěn)定。獎勵尺度問題獎勵值數(shù)量級極大或極小loss出現(xiàn)NaN。這種情況先把獎勵做標(biāo)準(zhǔn)化處理確保在一個合理區(qū)間再檢查輸入數(shù)據(jù)是否含NaN。5. 常見問題與排查技巧實(shí)錄5.1 獎勵設(shè)計(jì)不合理導(dǎo)致訓(xùn)練不收斂這個問題遇到最多。表現(xiàn)是訓(xùn)練過程中獎勵曲線不降反升或者非常劇烈地震蕩。有一個項(xiàng)目里我把碳排放懲罰設(shè)得過大智能體發(fā)現(xiàn)任何發(fā)電行為都會帶來高懲罰于是傾向于把所有設(shè)備都關(guān)掉系統(tǒng)就無法滿足負(fù)荷需求獎勵反而越來越差。排查獎勵問題需要用追蹤手段。我會在訓(xùn)練代碼里記錄每個episode的獎勵拆分項(xiàng)輸出成分項(xiàng)分解曲線。有時(shí)候會發(fā)現(xiàn)懲罰項(xiàng)始終是0或始終是最大值說明約束根本沒有被有效感知。還有一個技巧是做“獎勵 sanity check”比如讓智能體執(zhí)行一個明顯合理的策略比如“低電價(jià)充電、高電價(jià)放電”看這個策略計(jì)算出來的獎勵是多少如果算出來的獎勵比訓(xùn)練后期得到的還低說明獎勵函數(shù)本身有問題。5.2 狀態(tài)空間過大導(dǎo)致采樣效率問題多能源系統(tǒng)狀態(tài)量很多直接全塞進(jìn)去會導(dǎo)致采樣效率非常低。一個典型的案例我朋友做某工廠綜合能源調(diào)度狀態(tài)包括設(shè)備詳細(xì)級狀態(tài)變量、環(huán)境變量、預(yù)測數(shù)據(jù)總共六十多個維度訓(xùn)練了一個月策略還是不理想。從這個案例學(xué)到的排查方法是先做狀態(tài)量分析和相關(guān)性分析把明顯與調(diào)度效果無關(guān)的狀態(tài)剔除比如某些外部預(yù)測數(shù)據(jù)幾乎不波動對策略沒有貢獻(xiàn)。還要注意狀態(tài)頻率與調(diào)度頻率的匹配電網(wǎng)頻率很快但調(diào)度周期是按小時(shí)算頻率信號不足以支持每小時(shí)決策遠(yuǎn)高于決策粒度的數(shù)據(jù)要先做聚合。5.3 模型過擬合到訓(xùn)練集強(qiáng)化學(xué)習(xí)也會有類似監(jiān)督學(xué)習(xí)的過擬合問題。我把訓(xùn)練集數(shù)據(jù)畫出來看如果模型在訓(xùn)練集上表現(xiàn)很好一到測試集就崩就要懷疑過擬合了。解決思路有三個數(shù)據(jù)層面的做法是增加不同季節(jié)、不同天氣類型的數(shù)據(jù)覆蓋算法層面是不要訓(xùn)練太多個epoch早期停止可以在訓(xùn)練曲線在驗(yàn)證集上開始變差時(shí)觸發(fā)策略層面則是限制策略復(fù)雜度比如使用更小的網(wǎng)絡(luò)容量、增加熵正則項(xiàng)等。5.4 實(shí)測數(shù)據(jù)下的調(diào)參經(jīng)驗(yàn)有一次項(xiàng)目從仿真環(huán)境切換到真實(shí)歷史的實(shí)測場景原來的訓(xùn)練模型在仿真環(huán)境表現(xiàn)很好但遷移到真實(shí)數(shù)據(jù)后性能明顯下降。原因主要是仿真環(huán)境對新能源出力做了平滑處理而真實(shí)數(shù)據(jù)有大量突發(fā)波動。我的處理方法是先確認(rèn)真實(shí)數(shù)據(jù)的波動程度在狀態(tài)空間中加入多步歷史差分特征來增強(qiáng)對突變的感知能力。接著把訓(xùn)練數(shù)據(jù)的采樣周期從原來的一小時(shí)細(xì)化為十五分鐘提高對環(huán)境變化的響應(yīng)頻率再補(bǔ)充了一些極端天氣場景的數(shù)據(jù)然后重訓(xùn)。這套組合下來效果提升明顯。核心思路是讓智能體通過輸入特征感知到環(huán)境的不確定性而不是依賴環(huán)境本身做出精確的未來預(yù)測。6. 從Demo到落地強(qiáng)化學(xué)習(xí)調(diào)度策略的工程化思考6.1 仿真到實(shí)際的差距仿真環(huán)境永遠(yuǎn)無法完全模擬真實(shí)運(yùn)行。真實(shí)系統(tǒng)有通訊延遲、設(shè)備故障、數(shù)據(jù)質(zhì)量問題、人機(jī)交互不確定性這些在仿真里都沒有。我在一個現(xiàn)場項(xiàng)目中測試過訓(xùn)練好的策略發(fā)現(xiàn)第一個現(xiàn)實(shí)問題就是數(shù)據(jù)質(zhì)量——某些實(shí)時(shí)數(shù)據(jù)在短時(shí)間內(nèi)反復(fù)跳變導(dǎo)致狀態(tài)觀測結(jié)果異常策略被干擾得很明顯。這個問題的解決辦法是在狀態(tài)輸入里加一套數(shù)據(jù)合理性檢查邏輯對異常值做平滑或插值處理保證進(jìn)入策略網(wǎng)絡(luò)的觀測數(shù)據(jù)是健康的。第二個差距是執(zhí)行誤差。仿真中策略給出的動作會精確執(zhí)行但真實(shí)設(shè)備存在響應(yīng)延遲、控制死區(qū)和機(jī)械磨損實(shí)際出力和指令值往往有偏差。如果環(huán)境建模時(shí)沒有考慮執(zhí)行誤差策略訓(xùn)練出來后在實(shí)際系統(tǒng)上會碰到性能損失。一個務(wù)實(shí)的做法是在仿真環(huán)境里注入一定比例的執(zhí)行噪聲比如功率指令和實(shí)際出力之間有5%左右的隨機(jī)偏差讓智能體學(xué)會在這種不確定性下做決策。6.2 可解釋性的問題調(diào)度系統(tǒng)牽扯到運(yùn)行安全、設(shè)備責(zé)任、操作規(guī)程不能接受“黑箱”決策。如果調(diào)度員不了解當(dāng)前策略為什么選擇這個方案就不會信任它。強(qiáng)化學(xué)習(xí)的可解釋性處理可以從三個層面入手。第一層是簡單的行為可視化把策略生成的控制方案、狀態(tài)觀測量和獎勵構(gòu)成畫出來讓調(diào)度員看到在不同場景下策略如何響應(yīng)。第二層是使用注意力機(jī)制或重要性分析找出哪些狀態(tài)量對最終決策貢獻(xiàn)最大比如電價(jià)和儲能SOC往往在多數(shù)時(shí)刻占據(jù)主導(dǎo)地位。第三層就是前面提到的因果強(qiáng)化學(xué)習(xí)通過因果結(jié)構(gòu)解釋“為什么這個狀態(tài)下策略會這樣決策”。我在項(xiàng)目里還喜歡做一件事把訓(xùn)練好的策略和傳統(tǒng)優(yōu)化方法做每日成本對比按周匯總分析得出“本周策略在哪些場景下比傳統(tǒng)方法更優(yōu)、哪些場景下更差”的結(jié)論。這些具體案例是最直接的信任建立材料比任何理論分析都好用。6.3 我對這個方向的個人體會做了多個多能源調(diào)度的強(qiáng)化學(xué)習(xí)項(xiàng)目之后總體體會是強(qiáng)化學(xué)習(xí)確實(shí)能解決傳統(tǒng)優(yōu)化方法在不確定性和計(jì)算時(shí)間上的核心痛點(diǎn)但不是銀彈。適合強(qiáng)化學(xué)習(xí)的場景有幾個共同特點(diǎn)有足夠的訓(xùn)練數(shù)據(jù)或高保真仿真環(huán)境決策周期比較短且決策頻率高存在明顯的時(shí)序依賴和不確定性以及目標(biāo)函數(shù)和約束可以被清晰地量化為獎勵。反過來如果系統(tǒng)非常小傳統(tǒng)優(yōu)化幾秒鐘就能算出最優(yōu)解那就沒必要用強(qiáng)化學(xué)習(xí)。如果安全約束極其嚴(yán)格根本沒有試錯空間直接上強(qiáng)化學(xué)習(xí)風(fēng)險(xiǎn)也很大這時(shí)候可以考慮離線強(qiáng)化學(xué)習(xí)先做預(yù)訓(xùn)練再配合保守策略部署。多能源調(diào)度這個領(lǐng)域最有價(jià)值的地方是它會不斷出現(xiàn)新的約束和新類型的不確定性。電價(jià)越來越市場化新能源滲透率越來越高碳交易機(jī)制逐漸落地這些變化都會讓調(diào)度問題更加復(fù)雜強(qiáng)化學(xué)習(xí)的適應(yīng)能力正好派上用場。但整個過程必須保持深度設(shè)計(jì)和工程思維從建模、算法、訓(xùn)練、評估到部署每一步都值得認(rèn)真規(guī)劃和驗(yàn)證。最后再分享一個實(shí)操習(xí)慣。我在訓(xùn)練多能源調(diào)度策略時(shí)一定會把基線模型一直保留到最后。每訓(xùn)練一個新版本都先在驗(yàn)證集上對比舊版本只有新版本在成本、約束滿足率、魯棒性上全面領(lǐng)先才切換。有很多次訓(xùn)練過程中看起來新版本獎勵更高但在驗(yàn)證集上一跑約束違反率比舊版本高了不少果斷回退舊版本。這個習(xí)慣幫我避免過不少次調(diào)度事故發(fā)生越到項(xiàng)目后期越覺得落地交付最終比拼的不是某個算法的新穎程度而是能不能讓一個決策模型長期運(yùn)行穩(wěn)定不“翻車”。