1. 期貨量化交易中的過擬合陷阱做量化交易的朋友都知道策略失效是最大的噩夢。去年我團隊開發(fā)的一個CTA策略在回測階段年化收益高達80%結(jié)果實盤運行三個月就虧掉了20%的本金。復(fù)盤時發(fā)現(xiàn)這個策略完美擬合了歷史數(shù)據(jù)中的特定波動模式但對新的市場環(huán)境完全失效——這就是典型的過擬合問題。識別策略是否過擬合本質(zhì)上是在判斷這個策略捕捉到的是市場真實規(guī)律還是僅僅記住了歷史數(shù)據(jù)中的噪聲。這個問題在期貨交易中尤為致命因為期貨市場的高杠桿特性會放大任何微小的預(yù)測誤差。2. 過擬合的典型特征識別2.1 回測與實盤的性能斷層健康的策略在回測和實盤中的表現(xiàn)差異通常在20%以內(nèi)。如果發(fā)現(xiàn)以下情況就要警惕過擬合回測夏普比率2實盤0.5回測最大回撤10%實盤30%回測勝率70%實盤50%去年我們測試過一個基于MACD變體的策略在2016-2020年螺紋鋼數(shù)據(jù)上表現(xiàn)驚艷但2021年實盤時發(fā)現(xiàn)它完全抓不住新的波動節(jié)奏。后來發(fā)現(xiàn)這個策略參數(shù)對2018年的供給側(cè)改革行情存在特殊依賴。2.2 參數(shù)敏感度過高用參數(shù)掃描法測試時如果發(fā)現(xiàn)某個參數(shù)值改變1%收益就下跌50%參數(shù)最優(yōu)值處于參數(shù)空間的邊緣位置不同時間段需要完全不同的參數(shù)組合比如某均線交叉策略當(dāng)快線周期設(shè)為12天時收益最好11天或13天都大幅下降這種尖峰現(xiàn)象就是過擬合的明顯信號。3. 過擬合檢測的實戰(zhàn)方法3.1 樣本外測試(OOS)的正確姿勢我常用的三重驗證法將數(shù)據(jù)分為訓(xùn)練集(60%)、驗證集(20%)、測試集(20%)訓(xùn)練集用于策略開發(fā)驗證集用于參數(shù)優(yōu)化測試集完全不動最后做最終驗證特別注意期貨數(shù)據(jù)要保留最近2年的行情作為最終測試集因為市場微觀結(jié)構(gòu)會隨時間變化。去年測試一個股指期貨套利策略時用2017-2019年數(shù)據(jù)訓(xùn)練表現(xiàn)很好但用2020年疫情行情測試就完全失效。3.2 蒙特卡洛交叉驗證具體操作步驟隨機選取100組訓(xùn)練/測試數(shù)據(jù)組合每組訓(xùn)練集占70%測試集30%計算100次測試的平均收益分布健康策略的收益分布應(yīng)該集中過擬合策略的收益會呈現(xiàn)極端發(fā)散。我開發(fā)的一個商品期貨趨勢策略100次測試中95%的夏普比率在1.2-1.8之間這種穩(wěn)定性就比較好。4. 策略失效的預(yù)警信號4.1 市場環(huán)境變化指標(biāo)我每天會監(jiān)控這些關(guān)鍵指標(biāo)波動率變化當(dāng)前波動率與策略開發(fā)期差異30%成交量變化主力合約成交量偏離均值2個標(biāo)準(zhǔn)差期限結(jié)構(gòu)Contango/Backwardation狀態(tài)改變比如2022年原油期貨從Contango突然轉(zhuǎn)為Backwardation時很多基于展期收益的策略就失效了。4.2 策略本身的表現(xiàn)異常這些是必須立即停止策略的信號連續(xù)5次交易虧損超過歷史最大連虧記錄單日回撤超過策略設(shè)計值的150%交易信號頻率異常升高或降低有個真實的教訓(xùn)我們有個突破策略在鐵礦期貨上突然出現(xiàn)單日10%的回撤檢查發(fā)現(xiàn)是因為交易所調(diào)整了漲跌停板幅度導(dǎo)致策略的止損邏輯失效。5. 過擬合策略的挽救方法5.1 參數(shù)魯棒性優(yōu)化我常用的方法在參數(shù)空間內(nèi)隨機采樣100組參數(shù)選擇其中夏普比率1的參數(shù)組計算這些參數(shù)組的收益相關(guān)性保留相關(guān)性0.7的參數(shù)組構(gòu)建策略組合這樣得到的策略組合在去年滬銅行情中雖然單策略最大回撤15%但組合回撤控制在7%以內(nèi)。5.2 動態(tài)權(quán)重調(diào)整實盤中的調(diào)整技巧每月評估各子策略的近期表現(xiàn)給予過去3個月夏普比率高的策略更高權(quán)重對連續(xù)2個月表現(xiàn)差的策略暫時停用這個方法的實際效果我們的多策略組合在2023年商品震蕩市中通過動態(tài)調(diào)整將年化收益從預(yù)估的25%提升到了38%。6. 從開發(fā)階段預(yù)防過擬合6.1 數(shù)據(jù)預(yù)處理要點必須包含多個完整的牛熊周期商品期貨至少5年數(shù)據(jù)要包含極端行情如2020年原油負(fù)價格事件不同合約的主力切換要處理連續(xù)我開發(fā)股指期貨策略時會特意加入2015年股災(zāi)、2016年熔斷等極端行情的數(shù)據(jù)。6.2 策略設(shè)計原則限制參數(shù)數(shù)量我的經(jīng)驗法則是每10000根K線對應(yīng)1個參數(shù)避免使用未來函數(shù)如交易信號不要用到當(dāng)根K線的收盤價交易邏輯要有經(jīng)濟學(xué)意義不要出現(xiàn)周二下午買周三上午賣這種玄學(xué)規(guī)則有個反例曾經(jīng)見過一個策略在螺紋鋼上表現(xiàn)極好后來發(fā)現(xiàn)它依賴某個特定交易所的夜盤開盤時間規(guī)律政策調(diào)整后立即失效。